V
主页
上交&诺亚最新 | 大幅提升!OccGen:面向自动驾驶的生成式多模态3D占用预测
发布人
论文链接:https://arxiv.org/pdf/2404.15014.pdf 现有的3D语义占用率预测解决方案通常将任务视为一次性的3D体素级分割感知问题。这些判别方法主要关注于在单个步骤中学习输入与占用图之间的映射关系,缺乏逐步细化占用图以及合理的场景想象能力以补全某些局部区域。本文介绍了OccGen,这是一个简单但强大的生成式感知模型,用于3D语义占用率预测任务。OccGen采用“噪声到占用”的生成范式,通过预测和消除来自随机高斯分布的噪声,逐步推断和细化占用图。OccGen主要由两个主要组件组成:一个能够处理多模态输入的条件编码器,以及一个使用多模态特征作为条件的扩散去噪渐进细化解码器。这一生成式流程的关键见解在于,扩散去噪过程自然能够模拟密集3D占用图的从粗到细的细化过程,从而产生更详细的预测。在多个占用率基准数据集上的广泛实验表明,与最先进的方法相比,所提出的方法具有有效性。例如,在nuScenes-Occupancy数据集上,OccGen在多模态、仅使用激光雷达和仅使用相机设置的条件下,相对提高了mIoU分别为9.5%、6.3%和13.3%。此外,作为生成式感知模型,OccGen展现出判别模型无法实现的可取属性,如提供不确定性估计以及多步预测。
打开封面
下载高清视频
观看高清视频
视频下载器
比赛冠军方案!英伟达最新 | Hydra MDP:端到端多模态规划
CVPR 2023 面向自动驾驶场景的纯视觉三维语义占有预测
分类突破!自动驾驶中的Occupancy感知方法分类
新时代降临!多模态大模型的结构范式都有啥?
太强了!RenderOcc:仅使用2D标签和Nerf监督视觉Occupancy
透彻!特斯拉occupancy network详解
清华大学最新!GaussianFormer:Gaussians进军视觉Occupancy任务!
Tesla FSD V13前瞻!
端到端算法是什么?自动驾驶领域是怎么做的?
英伟达最新!SCube:仅用三张图,就能实现即时大规模三维场景重建
专注于学习PnC的端到端方法详解
英伟达冠军方案!Hydra-MDP:多模态端到端自动驾驶详解
ETH新作CAFuser:条件 感知多模态融合 ,实现对 驾驶场景的稳健语义感知,多个下游任务SOTA!
端到端基础!绕不开的感知模块
最近一个月,Occupancy领域有哪些值得关注的工作?
自动驾驶仿真大观:聊聊仿真的研究背景
端到端算法有哪些优势?完爆传统感知规控?
上车必备的Occupancy算法真值是如何获取的?
大幅超越SuperGlue!ICCV2023最新端到端特征匹配方法
车道线检测的未来是MapFree吗?面向可量产方案总结
自动驾驶主流的数据集有哪些?详解Argoverse数据集!
落地之殇 | 联合预测是端到端正确的道路么?
自动驾驶规划控制的未来是什么?
【IROS2022】MPC-PF:使用势场的自动驾驶动态目标的社会交互感知轨迹预测
牛津大学最新!室内室外SOTA | 用于视觉重定位的地图相对姿态回归(CVPR'24 HighLight)
BEVPool是什么?实际工程应用中如何加速!!!深度解析
拯救你的CUDA!什么是bank,为什么会发生bank conflict???
为什么说规划控制仍然是端到端自动驾驶的核心?全面复盘规划控制基础及决策规划框架
看完缓解了我的技术焦虑!自动驾驶的产线标定以及标定间标定方法
面试必备!自动驾驶中BEV常考知识点大串讲
Depth Anything V2 | 速度提升10倍以上!更稳健、精细的单目深度估计(HKU&TikTok)
太亮眼!CVPR 2024 自动驾驶方向中稿论文POSTER大全!
全球首发A725全大核架构!联发科天玑8400性能超越骁龙8 Gen2
数据为王!自动驾驶开源数据体系现状与未来
CUDA编程实战教程之:流和事件!彻底搞懂~
【CVPR 2024 】ViDAR视觉点云预测赋能大规模端到端自动驾驶
轨迹预测真正重要的什么?又或者说实际落地的难点在哪里?
Tesla惊艳的防碰撞机制是如何实现的?TESLA Occupancy Networks:Don’t Crash, EVER!!
直播分享!最新SOTA,多模态3D目标检测新方案(CVPR2023)
CVPR2023最新!TBP Former:BEV下以视觉为中心的自动驾驶中的联合感知和预测网络