V
主页
MIT发布!实时任务驱动的开集3D场景图
发布人
现代的类无关图像分割工具(例如, SegmentAnything)和开集语义理解工具(例如, CLIP)为机器人感知和建图提供了前所未有的机遇。传统的密集分布度量语义地图仅限于几十个或几百个语义类,而现在我们可以构建包含大量对象和无数语义变化的地图。这就给我们提出了一个基本问题:机器人在地图表示中必须包含的对象(并且,更一般地,对于语义概念)的合适粒度是什么?虽然相关工作通过调整目标检测和关联的阈值来隐式地选择粒度级别,但我们认为这种选择本质上是任务依赖的。本文的第一个贡献是提出了一个任务驱动的3D场景理解问题,在该问题中,机器人被给定一个用自然语言描述的任务列表,并且必须选择粒度、对象和场景结构的子集,以保留在其地图中,该地图足以完成任务。我们证明这个问题可以自然地用信息瓶颈( Information Bottleneck,IB )来描述,IB是一个已经建立的讨论任务相关性的信息论框架。第二个贡献是基于凝聚的IB方法的任务驱动3D场景理解算法,能够将环境中的3D图元聚类成任务相关的对象和区域,并增量执行。 第三个贡献是将我们的任务驱动的聚类算法集成到一个名为Clio的实时流水线中,该管道在线构建环境的分层三维场景图,并且在机器人探索时只使用机载计算。我们最后的贡献是一个广泛的实验活动,表明Clio不仅允许实时构建紧凑的开集三维场景图,而且通过将地图限制在相关的语义概念上,提高了任务执行的准确性。 文章名称:【Clio: Real-time Task-Driven Open-Set 3D Scene Graphs】 文章链接:http://arxiv.org/abs/2404.13696 项目主页:https://github.com/MIT-SPARK/Clio
打开封面
下载高清视频
观看高清视频
视频下载器
第01讲 RTKLIB简介、安装、运行、调试(部分)
小雕实时数字人演示,实时高清0延时
清华深研院、哈工深发布!Lidar视觉紧耦合实时相对定位
(RSS'24) HOV-SG:基于语言的机器人导航的分层开放词汇 3D 场景图
MIT等开源|实时构建3D场景图,机器人探索大规模环境的空间感知算法!
1.2 如何快速学习开源代码?
最新语音研发【手机版~电脑版】,实时语音聊天游戏变声器,直接实时变声,效果真的很不错!
TUM&MCML发布|系统提高39.7%,基于深度多视图立体匹配的实时稠密建图!
用国足队套踢实时对战(第一期)(不定期更新)
实时学习 2h 原声 刷语文数学~ 「Study with me」
10个真实靠谱做任务的赚钱软件,简单做任务赚钱却快又多的悬赏任务平台推荐建议收藏。
[重装上阵]全网首发!新核心任务 《攻略》
坦克履带实时物理模拟Unity
Blender实时核弹爆炸 教程 第一部分 EXPLOSIONS in Realtime
一张图片重建 3D 场景!AI生成3D新方法 Gen3DSR!3D场景制作
ai聊天 无敏感词无限制畅聊,支持自定义创建及语音,支持安卓、iOS端!
实时学习 1h 原声 刷物化 「Study with me」
【直播回放】SLAM常见面试问题浅析
预积分推导5_3.6
MIT《算法导论|MIT 6.006 Introduction to Algorithms, Spring 2020》中英字幕(豆包翻译
ETHZ最新发布X-ICP 极端环境下鲁棒的激光雷达配准
【直播回放】学习大礼包
【黑神话】打黄风大圣前必拿的法宝,任务流程和商店解锁醒酒石的方法
强大的实时翻译软件,解决您因不懂外文而无法使用软件与游戏的问题!
【SLAM前沿讲座】CMU|因子图与鲁棒感知
UE5制作《破败的地下隧道》
【24097期双色球预测】8.22开奖,昨天差点完美杀号
MIT《图论和加法组合学|MIT 18.217 Graph Theory and Additive Combinatorics, Fall 2019》(豆包翻译
瑞典皇家理工博士分享开源算法: 点云地图动态障碍物去除基准
华盛顿大学与英伟达联合开源!用于大规模仿真环境和机器人运动控制
这个和尚不吃斋不念佛,一心只想还俗娶老婆!
Aximmetry实时连接手机摄像头画面 NDI协议信号传输 低延时高画质 实时捕获手机画面
吴恩达人工智能 Python 初学者系列教程:人工智能 Python 编码基础知识 (附课件+代码)
如何快速入门三维重建?应用场景、岗位要求及薪资、技术框架
无需微调,即可进行场景特征匹配!CTU最新开源,ECCV2022
GTA线上寻找洛圣都涂鸦广告看板攻略,让你轻松做涂鸦广告看板任务(2024.8.21)
【SLAM前沿讲座】MIT|鲁棒语义SLAM:表现和推理
UE5实时渲染-自制小医仙3D静帧同人角色
日本先进院发布!GPU加速粒子滤波 6-Dof蒙特卡罗定位
武汉大学开源! 集成惯性系统的统一无标定板时空标定