V
主页
【RSS 2023】GenAug:通过生成增强将行为重定向到未知情况
发布人
RSS 2023 Best System Paper Award Finalists GenAug: Retargeting behaviors to unseen situations via Generative Augmentation 一句话,文本图像生成大模型进行数据增强 机器人学习方法具有跨任务、环境和对象广泛泛化的潜力。然而,这些方法受到它们所提供或能够收集的数据量的严重限制。真实的世界中的机器人很可能只能收集一个小数据集,无论是在数据量还是多样性方面。为了使机器人学习泛化,我们必须能够利用机器人自身经验之外的数据源或先验知识。在这项工作中,我们假设,图像-文本生成模型,这是预先训练的大型语料库的网络抓取数据,可以作为这样的数据源。我们表明,尽管这些生成模型在很大程度上是基于非机器人数据进行训练的,但它们可以作为一种有效的方法,以一种能够广泛推广的方式将先验知识传授给真实的世界中的机器人学习过程。特别是,我们展示了预训练的生成模型如何作为语义上有意义的数据增强的有效工具。通过利用这些预先训练的模型来生成适当的“功能”数据增强,我们提出了一个能够显着提高政策泛化的系统GenAug。我们将GenAug应用于桌面操作任务,显示出将行为重新定位到新场景的能力,同时只需要少量的真实数据。我们证明了这个系统在真实的世界中的对象操作问题的数量上的功效,表现出40%的改进,在泛化到新的场景和对象。
打开封面
下载高清视频
观看高清视频
视频下载器
【TRO 2023】用于运动生成的动态优化结构
【RSS 2023】来自人类视频的结构化世界模型
【ICRA 2023】机器人抓取的实例抓取合成
【RSS 2023】一分钟演示实现机器人多用途模仿学习
【RSS 2023】行为检索:通过查询未标记的数据集进行少样本模仿学习
【ICRA 2023】基于触觉运动基元的电缆布线和装配
【CoRL 2023】Diff-LfD:基于接触感知模型的机器人操作视觉演示学习
【TRO 2024】灵巧双臂机器人操纵的目标条件双臂动作模仿学习
【ICRA 2023】解耦技能学习与机器人控制实现可推广的对象操作
【TRO 2023】 机器人接触式杂耍
【ICRA 2023】在线增强习得的抓取序列策略提高手部工具操作的适应性和数据效率
【TRO 2024】针对释放不确定性的稳健灵巧投掷
【RSS 2023】机器人在职学习:部署期间的人机交互自主和学习
【IJRR2023 & RSS2020】用于奖励学习和优化的基于主动偏好的高斯过程回归
【CoRL 2023】CPM:基于分解部件的操作
【TRO 2023】扰动和未知动力学条件下稳健抓握和手部操作的自适应手指协调
【CoRL 2023 oral】Koopman算子理论在灵巧操作技能学习中的应用
【CoRL 2023 oral】MimicPlay:通过观察人类演示实现长序列模仿学习
【ICRA 2023】DeXtreme:从模拟到真实迁移敏捷手内操作
【TRO 2023】-视触觉传感的模拟、学习和应用
【ICRA 2023】厨房中的人类掌握和操作数据收集的自动注释、洞见和度量
【ICRA 2023】基于子步指导的图像自主真实世界RL的灵巧操作
【Learning_and_adaptive_control】Lesson 2-Acquiring_Data_for_Learning
【TRO 2023】基于采样的移动机器人与铰接对象交互的鲁棒控制
【MIT MCube Lab】simPLE:一种在模拟中学习的视触融合操作方法
【MIT Sangbae Kim团队】利用高带宽传感和驱动实现具有反射的鲁棒自主抓取
【CoRL 2022】从视频学习人手姿势先验的灵巧抓握
【IJRR】贝叶斯机器人控制器融合:在深度强化学习中利用控制先验
【ICRA 2017】结合自监督和模仿的视觉绳索操作
【Science Robotics】视觉灵活性:在手中重新定位新颖和复杂的物体形状
【NeurIPS 2023 Workshop】通过价值函数预训练从互联网视频中获得机器人离线强化学习
【TRO 2023】力调制操作的实时可变形接触感知模型预测控制
【TRO 2023】基于模仿和对比学习的稳定运动原语
【CVPR 2023】可供性扩散:合成手-对象交互
【ICRA 2023】通过速度反馈内环整形提高工业机器人导纳性能
【AAAI-2023】点云序列中手物交互的位姿追踪与重建
【ICRA 2023】SGTM 2.0:使用交互式感知自动解开长电缆
【Learning_and_adaptive_control】Lesson 12_2-Extensions to DS
【RSS 2022】DexTransfer: 使用少量的人类演示的真实世界的多指灵巧抓取
【Learning_and_adaptive_control】Lesson 12_1-Extensions to DS