XBG：ergoCub人形机器人自主交互行为的端到端模仿学习｜2024【IIT】

发布人

YouTube：https://www.youtube.com/watch?v=zuFNEG62y6I
This paper presents XBG (eXteroceptive Behaviour Generation), a multimodal end-to-end Imitation Learning (IL) system for a whole-body autonomous humanoid robot used in real-world Human-Robot Interaction (HRI) scenarios. The main contribution of this paper is an architecture for learning HRI behaviors using a data-driven approach. Through teleoperation, a diverse dataset is collected, comprising demonstrations across multiple HRI scenarios, including handshaking, handwaving, payload reception, walking, and walking with a payload. After synchronizing, filtering, and transforming the data, different Deep Neural Networks (DNN) models are trained. The final system integrates different modalities comprising exteroceptive and proprioceptive sources of information to provide the robot with an understanding of its environment and its own actions. The robot takes sequence of images (RGB and depth) and joints state information during the interactions and then reacts accordingly, demonstrating learned behaviors. By fusing multimodal signals in time, we encode new autonomous capabilities into the robotic platform, allowing the understanding of context changes over time. The models are deployed on ergoCub, a real-world humanoid robot, and their performance is measured by calculating the success rate of the robot&#39;s behavior under the mentioned scenarios.

打开封面下载高清视频观看高清视频视频下载器

XBG：ergoCub人形机器人自主交互行为的端到端模仿学习｜2024【IIT】

RobotSketch: 腿式机器人超快速设计的交互式展示｜SIGGRAPH 2024【韩国科学技术院】

MenteeBot人形机器人｜2024【以色列MenteeBot Robotics】

loco-mujoco:MuJoCo模仿学习复杂运动任务｜2023【德国达姆城工业大学】

WoCoCo：通过顺序接触学习全身人形机器人控制｜2024【卡内基·梅隆大学】

人形机器人：自监督学习的傅里叶潜在动力学｜2024【MIT】

飞龙机器人：空中机器人实现了工业阀门操作｜2022【東京大学】

告别液压人形机器人Atlas｜2024【Boston Dynamics】

𝐄𝐱𝐩𝐫𝐞𝐬𝐬𝐢𝐯𝐞 𝐇𝐮𝐦𝐚𝐧𝐨𝐢𝐝: 人形机器人模仿人类逼真动作｜2024 RSS【UC San Diego】

学习轮腿机器人的鲁棒自主导航和运动｜2024｜Science Robotics【苏黎世联邦理工学院】

仿生蜜蜂BionicBee｜2024【Festo】

NVIDIA Robotics：从自动驾驶到人形机器人｜2024【英伟达】

管道攀爬机器人:RSTAR｜2022【Ben-Gurion University of the Negev】

人形机器人“朋友”护理现场演示｜2022【川崎重工】

iCub 3遥操作-虚拟形象系统｜2022【IIT】

人形克隆手抓取不同物体｜2022【clonerobotics】

模块化自主复杂环境构建｜2023【美国ExynAI】

在杂乱环境中学习感知-敏捷飞行｜ICRA 2023【苏黎世大学】

被动动态双足行走：迈向乐高大小人形机器人｜2022 ICRA【卡内基·梅隆大学】

AI新作 | ALOHA赋能机器人模仿学习复杂任务

人形机器人Digit：在真正的自动化工作流程中｜2024【Digit】

扑翼机如何自主栖息在树枝上｜2022【瑞士洛桑联邦理工学院】

多臂有效载荷操作-混合现实｜2022【苏黎世联邦理工学院】

机器人跑酷学习｜CoRL 2023【上海期智&斯坦福】

Tesla Optimus：自主对物体排序｜端到端AI｜2023【特斯拉】

Vision 60会游泳的两栖机械狗：背步枪上山下水？｜2022【美国Ghost Robotics】

快递机器人WAVE：最后一英里交付机器人平台｜2023【韩国汉阳大学】

四足机器人学习爬梯子｜2024【苏黎世联邦理工学院】

人类步态周期仿真｜2021【Michael Whittle】

无人值守TIGER｜2021【韩国现代汽车】

动力假肢TF8｜2020【MIT】

机器人通过力的物理交互同时重建物体及环境｜2022【耶鲁大学】

消除站立工作痛苦的辅助服｜2020【日本アルケリス株式会社】

AutoAgri自主农业｜2023【挪威】

开源低成本遥操作系统：学习精细的双手遥操作｜2023【斯坦福大学】

机器人遥操作的辐射场｜2024【ETH Zürich】

垂直农业：塔式自动化农场的7优势｜2022【农艺学Agrotonomy】

管-虫机器人“Pipe-worm” Robot｜2022【通用电气】

变形的机器龟｜2022｜耶鲁大学【nature】

MyoSuite：统一神经和运动智能的具身AI平台｜2022【Meta】

半机器甲虫：像机器人一样被控制的真正昆虫｜2016【南洋理工大学】