V
主页
ETH新作CAFuser:条件 感知多模态融合 ,实现对 驾驶场景的稳健语义感知,多个下游任务SOTA!
发布人
在这项工作中,ETH的研究团队引入了 CAFuser,这是一种新颖的条件感知多模态融合框架,用于在自动驾驶中实现稳健的语义感知。通过采用共享主干和特定于模态的特征适配器,CAFuser 可以有效地将不同的传感器输入对齐到公共潜在空间中,同时显着降低模型复杂性。我们基于注意力的条件感知融合模块会根据从 RGB 输入中学习到的条件标记动态适应环境条件。这种动态融合在具有挑战性的天气情况下增强了稳健性和准确性。该团队证明了他们的方法在全景和语义分割方面都优于竞争方法,在MUSES数据集上创造了新的最先进水平。 标题:Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes 链接:https://arxiv.org/html/2410.10791v1
打开封面
下载高清视频
观看高清视频
视频下载器
多传感器融合感知
中国科大新作 | 基于3D高斯的多模态融合在无界场景中的定位和重建
IROS'24 南开大学 | 通过动态拓扑图上的Voronoi划分实现快速且通信高效的多无人机探索
赵行团队新作 | 通过专家混合 模型提升自动驾驶运动规划器的 泛化能力,实现性能新SOTA
NeurIPS'24 | DHD: 多无人机协同感知框架,提升 目标轨迹预测的准确性和全面性
自动驾驶主流感知范式:BEV
浙江大学,百度 | 显著提升BEV三维物体检测性能的体素池方法:BEVSpread
清华大学孙富春教授团队 综述:触觉感知在机器人灵巧操作中的应用与进展
CVPR'24 | 视觉基础模型大一统?融合CLIP、DINOv2、SAM等,实现分类分割等任务上的SOTA性能
机器人神经场的全面综述:详细介绍 其在姿势估计 操控,导航,物理和自动驾驶中的应用 ,潜力,挑战
CVPR2024 | RCBEVDet:毫米波雷达-相机在BEV空间下的融合方案
NeurlPS 2024 Oral | E2E-MFD 迈向端到端同步多模态融合检测 为智驾实现同步优化与性能提升
ECCV'24 oral | DVLO,首个基于深度聚类的多模态融合,双向结构对齐的融合网络新SOTA
【ChatGPT4.0手机版】国内无需魔法,无限次数使用教程来了!
SIGGRAPH'24 | 逆天!利用分层3D高斯表示,实时渲染超大规模场景!
ECCV'24 威斯康星大学麦迪逊分校 英伟达 | Dolphins:多模态学习提升自动驾驶像人类一样理解响应各种场景
突破!《Science Robotics》:机器人触觉传感器的自解耦和超分辨率
重新定义自动驾驶的动态视觉?谷歌提出几何优先的动态场景方法MonST3R
97%!FlyNeRF:基于无人机的NeRF实现超高质量3D重建!
3D Gaussian Splatting在自动驾驶中的应用——建模动态城市场景
大疆 CVPR 2024 | AFNet自动驾驶中单视图和多视图深度的自适应融合
多模态响应与功能集成,华中科技大学微型磁控胶囊机器人登上《Nature Communications》
CVPR2024 | 利用任务分解改进BEV分割任务!
ECCV'24 | 从BEV到OSP:自动驾驶场景建模新趋势,提供更灵活精确的空间预测
ECCV'24 | 无图定位新突破!从低精地图到使用全景-BEV联合检索网络进行跨视图图像地理定位。
NTU开源 | AirSLAM:高效且 光照稳健的点线视觉SLAM系统 嵌入式运行速度可达40HZ
3DGS技术在水下:实现散射介质中的高质量场景快速重建!
基于三维点云场景的语义及实例分割
StreamPETR—作分享:稀疏向量化表征长时序建模
NeurIPS'24 | 原语驱动的世界模型 PIVOT-R实现任务泛化与效率双重 提升,成功率超过谷歌RT-1 26.6%
CVPR2024 | SG-BEV:用于跨视图语义分割的卫星引导BEV融合,可实现精细的建筑属性分割
李飞飞团队佳作不断:聚焦机器人抓取交互,让机器人操作真正地适应各种环境
NeurlPS'24 开源 | 使用VoxSplats 进行即时大规模场景重建,仅用3张 图像就可在20秒内重建百米大场景
UCSD、MIT华人团队开源Open-TeleVision:沉浸式体验跨越3000里的机器人远程操作。
无视干扰,谷歌开源SpotlessSplats:3D场景重建中的干扰物识别与排除
ECCV'24 开源 | 6DGS 又快又好,无需迭代的 单图像6D物体位姿估计
MIT提出最新时空语义SLAM框架:Khronos
ECCV'24 | FPV-NeRF,Meta的新视图合成方法,为无人机空间感知带来革命性提升
NeurlPS'24开源 | RealMotion捕捉时空交互关系,为自动驾驶提供连续、精准的运动预测
我国高校今年发表的五篇关于无人机的创新性研究成果,每篇都是被顶刊录入的存在!