14 KiB

Raw Blame History

具身智能入门指南

【 Github Repo, Latest Update: Dec 17, 2024 】

🦉Contributors: 陈天行 (25' 港大PhD), 邹誉德 (25' 上交-浦江实验室联培PhD), 陈思翔 (25' 北大PhD), 叶雯 (25' 中科院自动化所PhD), 陈攒鑫 (深大本科生), 彭时佳 (深大本科生)

Embodied AI (具身智能)入门的路径以及useful信息的总结，期望是按照路线走完后，新手可以快速建立关于这个领域的认知，希望能帮助到各位入门具身智能的朋友,欢迎star与PR🌟~
文章中引用文章的原作者，我们在 🙏 Acknowledgement - 致谢部分进行了致谢，感谢他们的分享🌹

Start Up - 从这里开始

什么是具身智能？
具身智能是指一种基于物理身体进行感知和行动的智能系统，其通过智能体与环境的交互获取信息、理解问题、做出决策并实现行动，从而产生智能行为和适应性。

Useful Info - 有利于搭建认知的资料

具身智能基础技术路线-YunlongDong [2]: PDF, bilibili
AI领域值得关注的博主列表 [3]: zhihu
Robotics实验室总结 [4]: zhihu_1, zhihu_2

Paper Lists - 论文列表

Paper List For EmbodiedAI - Tianxing Chen: repo
Awesome Humanoid Robot Learning - Yanjie Ze: repo
Paper List - Yanjie Ze: repo
Paper Reading List - DeepTimber Community: repo
SOTA Paper Rating - Weiyang Jin: website

Reinforcement Learning - 强化学习

UCB CS285 深度强化学习: website | youtube
台湾大学李宏毅公开课: bilibili
EasyRL - 蘑菇书: website
强化学习的数学原理 - 西湖大学赵世钰: bilibili
实践gymnasium，可以尝试一下把玩一下登月着陆等经典强化学习场景，思考+动手，观察阶段agent的表现并分析，有助于深入理解强化学习

Imitation Learning - 模仿学习

模仿学习简洁教程 - 南京大学LAMDA: PDF
Supervised Policy Learning for Real Robots, RSS 2024 Workshop 教程：真实机器人的监督策略学习, bilibili

LLM for Robotics - 大模型在机器人学中的应用

Robotics+LLM系列通过大语言模型控制机器人 [2]: zhihu
PDDL-wiki: website
An Introduction to PDDL: PDF
AI Agent from IBM: An artificial intelligence (AI) agent refers to a system or program that is capable of autonomously performing tasks on behalf of a user or another system by designing its workflow and utilizing available tools.
Embodied Agent wiki: website
Awesome-LLM-Robotics: A repo contains a curative list of papers using Large Language/Multi-Modal Models for Robotics/RL. website
Lilian Weng 个人博客 - AI Agent 系统综述 [5]: 中文: website 英文: website

3D Vision - 三维视觉

三维视觉导论 - Andreas Geiger: website
GAMES203 - 三维重建和理解: bilibili
Advances in 3D pre-training and downstream tasks: a survey. PDF

3DGS

3D Gaussian Splatting原理速通: bilibili

Control - 控制学

关于控制部分的学习，最好从实践出发！

PID控制：CSDN
彻底搞懂阻抗控制、导纳控制、力位混合控制: CSDN
具身智能ROS1基础: website
具身智能ROS2基础: website
机器人系统教材: website
动手实践Lerobot SO-100：website
斯坦福机器人学导论：website
台大机器人学导论：website
共建全网最全具身智能知识库：website
ROS多传感器时间戳同步：website

Benchmarks & Simulators - 基准 & 仿真器

具身智能常用benchmark总结 [1]: zhihu
常见仿真器wiki: wiki

仿真器	基准
IsaacSim	BEHAVIOR-1K(可跨平台)+omniGibson(工具链) ARNOID
MuJoCo	robosuite+robomimic(工具链) LIBERO MetaWorld Gymnasium-Robotics(Fetch; Shadow Dexterous Hand; Maze; Adroit Hand; Franka Kitchen; MaMuJoCo) RoboCasa RoboHive
Sapien	ManiSkill RoboTwin
CoppeliaSim	RLBench PerAct2 COLOSSEUM
PyBullet	Calvin Ravens VimaBench

Communities - 社区

以下部分资料引用自[7]

DeepTimber Robotics Innovations Community, 深木科研交流社区: website
宇树具身智能社群: website
Simulately: Handy information and resources for physics simulators for robot learning research: website
DeepTimber-地瓜机器人社区: website
HuggingFace LeRobot (Europe, check the Discord): website
K-scale labs (US, check the Discord): website

Companies - 公司

公司	主营产品	Others
松灵AgileX	pipper机械臂移动底盘	面向教育科研
宇树Unitree	Go2机器狗通用人形H1 通用人形G1	许多产出使用宇树的机器人作为硬件基础
方舟无限ARX	X5机械臂 X7双臂平台 R5机械臂	适合复现很多经典的工作，eg. aloha RoboTwin松灵底盘+方舟臂
波士顿动力	spot机器狗 Atlas通用人形	具身智能本体制造商，从液压驱动转向电机驱动
[灵心巧手]
灵巧智能DexRobot	Dexhand 021灵巧手	19自由度量产灵巧手
银河通用		已完成多轮融资
星海图Galaxea	A1机械臂
World Labs		专注于空间智能，致力于打造大型世界模型（LWM），以感知、生成并与 3D 世界进行交互。相关介绍
星动纪元	Star1人形 XHAND1灵巧手	由清华叉院陈建宇教授创建
加速进化	Booster T1人形

🙏 Acknowledgement - 致谢

本文转载/引用了大量博主的文章，我们对他们的知识分享表示感谢，引用列表如下： [1] 知乎穆尧, [2] 知乎东林钟声, GithubYunlong Dong, [3] 知乎强化学徒, [4] 知乎Biang哥, [5] OpenAI Lilian Weng, [6] B站木木具身, [7] Zhuoheng Li

🏷️ License - 许可证

This repository is released under the MIT license. See LICENSE for additional details.

14 KiB Raw Blame History Unescape Escape