EmbodiedAI
/
RoboWaiter
mirror of https://github.com/HPCL-EI/RoboWaiter.git
3
0
Fork 0
Code Issues Packages Projects Releases Wiki Activity
大模型具身智能比赛-机器人控制端
317 Commits 2 Branches 0 Tags 22 MiB
Python 99.8%
Go to file
wuziji 6ce9b1966f NEW: 推送使用ChatGLM扩写数据集的代码 2023-11-24 22:13:55 +08:00
robowaiter NEW: 推送使用ChatGLM扩写数据集的代码 2023-11-24 22:13:55 +08:00
tasks_no_ui update 2023-11-23 21:09:04 +08:00
.gitignore 增加了向量数据库 RoboWaiter\robowaiter\llm_client\passage_retrieval3.py 2023-11-23 23:05:23 +08:00
LICENSE Initial commit 2023-09-20 16:06:37 +08:00
README.md 爬glm代码 2023-11-24 09:47:27 +08:00
requirements.txt ui界面 2023-11-22 17:58:59 +08:00
run_ui.py 增加顾客聊天记录 2023-11-23 11:58:50 +08:00
setup.py 重构了项目代码，进行了项目打包 2023-10-25 10:34:24 +08:00
window.py 更改UI自适应 2023-11-24 11:28:01 +08:00

README.md

RoboWaiter

大模型具身智能比赛-机器人控制端

项目安装（必看）

环境要求

Python=3.10

安装步骤

cd RoboWaiter
pip install -e .

以上步骤将完成robowaiter项目以及相关依赖库的安装

安装UI

  1. 安装 graphviz-9.0.0 (详见官网)
  2. 将软件安装目录的bin文件添加到系统环境中。如电脑是Windows系统，Graphviz安装在D:\Program Files (x86)\Graphviz2.38，该目录下有bin文件，将该路径添加到电脑系统环境变量path中，即D:\Program Files (x86)\Graphviz2.38\bin。
  3. 安装向量数据库 conda install -c conda-forge faiss

快速入门

  1. 安装UE及Harix插件，打开默认项目并运行
  2. 运行 tasks 文件夹下的任意场景即可实现机器人控制端与仿真器的交互

代码框架介绍

Robot

Robot是机器人类，包括从ptml加载行为树的方法，以及执行行为树的方法等

tasks

tasks文件夹中存放的场景定义及运行代码。

缩写 任务
AEM 主动探索和记忆
GQA 具身多轮对话
VLN 视觉语言导航
VLM 视觉语言操作
OT 复杂开放任务
AT 自主任务
CafeDailyOperations 整体展示：咖啡厅的一天
Interact 命令行自由交互

Scene

Scene是场景基类，task_map返回的任务场景都继承于Scene。 该类实现了一些通用的场景操作接口。

调用大模型接口

运行llm_client.py文件调用大模型进行多轮对话。

cd robowaiter/llm_client
python multi_rounds.py

输入字符即可等待回答