做我能做的，而不是我说的：机器人基础语言｜2022【谷歌•机器人】

发布人

Say-Can项目链接：https://say-can.github.io/
论文：Ahn, M., Brohan, A., Brown, N., Chebotar, Y., Cortes, O., David, B., ... &amp; Yan, M. (2022). Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691. https://arxiv.org/abs/2204.01691
大型语言模型可以编码关于世界的大量语义知识。原则上，此类知识对于旨在根据以自然语言表达的高级、时间扩展指令采取行动的机器人非常有用。然而，语言模型的一个显着弱点是它们缺乏上下文基础，这使得很难在给定的现实世界上下文中利用它们进行决策。通过预训练的行为来提供这种基础，这些行为用于调节模型以提出既可行又适合上下文的自然语言动作。机器人可以充当语言模型的“手和眼睛”，而语言模型则提供有关任务的高级语义知识。本文展示了如何将低级任务与大型语言模型相结合，以便语言模型提供有关执行复杂和时间扩展指令的过程的高级知识，而与这些任务相关的价值函数提供连接这些知识所需的基础到特定的物理环境。
Large language models can encode a wealth of semantic knowledge about the world. Such knowledge could in principle be extremely useful to robots aiming to act upon high-level, temporally extended instructions expressed in natural language. However, a significant weakness of language models is that they lack contextual grounding, which makes it difficult to leverage them for decision making within a given real-world context. We propose to provide this grounding by means of pretrained behaviors, which are used to condition the model to propose natural language actions that are both feasible and contextually appropriate. The robot can act as the language model’s “hands and eyes,” while the language model supplies high-level semantic knowledge about the task. We show how low-level tasks can be combined with large language models so that the language model provides high-level knowledge about the procedures for performing complex and temporally extended instructions, while value functions associated with these tasks provide the grounding necessary to connect this knowledge to a particular physical environment. We evaluate our method on a number of real-world robotic tasks, where we show that this approach is capable of completing long-horizon, abstract, natural language instructions on a mobile manipulator.

打开封面下载高清视频观看高清视频视频下载器

做我能做的，而不是我说的：机器人基础语言｜2022【谷歌•机器人】

微小型管道机器人：实现亚厘米级管道探测｜2022｜清华大学【Science Robotics】

飞龙机器人：空中机器人实现了工业阀门操作｜2022【東京大学】

birdbot：一种高效节能的机器人腿｜2022｜Science Robotics【德国马克斯·普朗克研究所】

现代即插即用机器人模块｜CES 2022【韩国现代】

折纸结构启发的软扭转致动器｜2022｜SoRo【南方科技大学】

The avatar robot分身机器人「MELTIN」2020【日本MELTIN MMI】

MIT赵选贺讲座：磁性软体机器人【AIM2020 Workshop】

半机器甲虫：像机器人一样被控制的真正昆虫｜2016【南洋理工大学】

开源六足机器人MiniRHex｜2018【CMU】

人形机器人“朋友”护理现场演示｜2022【川崎重工】

Gravity Industries重力工业喷气服｜2022【英国航空创新公司】

人工智能学习海洋中水下航行｜2021｜Nature Communications【加州理工学院Caltech】

抓手机、透明试管、气球｜指尖接近传感器机器人抓取｜2021【日本大阪大学】

六足攀爬机器人｜2019【日本法政大学】

触觉设备2.0演示：打乒乓和组装宜家椅子｜2022【韩国科学技术高等研究院】

Block-NeRF：280万张图片渲染整个旧金山街区｜2022【谷歌Waymo】

连续机械手-开源手术机器人研究｜2021｜帝国理工学院【T-MRB】

机器人如何学会徒步｜2022｜ETH Zürich【Science Robotics】

轻量膝关节外骨骼｜2022【TRO】

Rotebrate回椎動物(2022)｜山中俊治【東京大学】

具有地理提示的视觉公里级导航｜2022【加州大学伯克利分校】

四足机器人复制动物运动方式｜2022 IROS【苏黎世联邦理工】

用于软机器人的可伸缩温度计｜2022【Harvard】

更轻、更小、更便宜的Stretch开源机器人设计｜2022【佐治亚理工学院】

开源项目BEVFusion: 具有统一鸟瞰图表征的多任务多传感器融合｜2022【MIT】

机器人学｜2017｜杨谷洋【台湾交通大学】

OpenBot：将智能手机变成机器人｜2022【Intel OpenBot】

Ballie｜2020【韩国三星】

了解机器人的工作空间｜2021【Lesics】

管道攀爬机器人:RSTAR｜2022【Ben-Gurion University of the Negev】

用于现实世界行走的个性化外骨骼｜2021｜哈佛大学【Science Robotics】

Flippy：一种软体自主攀爬机器人｜2017【哈佛大学工程与应用科学学院】

空中播种的自主自埋种子机器人｜2023 ｜Nature【CMU】

学习双足走与跑切换｜2022【日本东北大学】

开源项目CatGrasp：学习类别级任务相关的抓取｜2022｜ICRA【Intrinsic Innovations&罗格斯大学】

开源Ego-Exo4D：多模态感知基础数据集｜2023【Meta】

MyoSuite：统一神经和运动智能的具身AI平台｜2022【Meta】

Halluc IIχ：与自然环境共存的未来交通工具｜2015｜山中俊治【東京大学】

AI4Animation：基于深度学习的动画角色控制｜2022【ACM Trans. Graph】

开源项目SafePicking：通过对象级映射学习安全对象提取｜2022 ICRA【帝国理工学院】