V
主页
上海AI Lab最新!Depth any Video:提升深度估计的一致性以及合成更多真实带有标注的数据
发布人
上海AI Lab最新!Depth any Video:提升深度估计的一致性以及合成更多真实带有标注的数据 论文链接:https://arxiv.org/pdf/2410.10815 项目链接:https://depthanyvideo.github.io/ 视频深度估计长期受到一致性和可扩展性真实数据稀缺的阻碍,导致结果不一致且不可靠。在本文中,我们介绍了Depth Any Video模型,该模型通过两项关键创新解决了这一挑战。首先,我们开发了一条可扩展的合成数据管道,能够从多种合成环境中捕获实时视频深度数据,生成40,000段时长为5秒的视频片段,每段视频都附有精确的深度标注。其次,我们利用生成式视频扩散模型的强大先验知识来有效处理真实世界视频,整合了诸如旋转位置编码和流匹配等先进技术,进一步提高了灵活性和效率。与以往仅限于固定长度视频序列的模型不同,我们的方法引入了一种新颖的混合时长训练策略,能够处理不同长度的视频,并在不同帧率下(甚至单帧情况下)都表现出色。在推理阶段,我们提出了一种深度插值方法,使模型能够推断出长达150帧的视频序列中的高分辨率深度。在空间准确性和时间一致性方面,我们的模型优于所有之前的生成式深度模型。
打开封面
下载高清视频
观看高清视频
视频下载器
渲染速度提高5倍!GaussianOcc:借助3D GS,没有标注也能做Occ(东京大学)
视觉3D检测如何做自动标注?
OmniDet:环视鱼眼多任务感知网络(深度估计、视觉里程计、语义和运动分割、目标检测和镜头污染检测)
宽基线双目深度相机在室外表现如何?神经网络和传统SGBM哪个效果更好?
LeTS-Drive:自动驾驶中不确定场景下的实时路径规划算法
爆火!DepthSplat:连接3DGS和深度估计!
自动驾驶多传感器数据融合(2):IMU和GPS的融合定位
自动驾驶缺少数据怎么办?ChatSim助你生成高度真实的驾驶数据!
端到端算法是什么?自动驾驶领域是怎么做的?
CVPR2022 oral | 弱监督Lidar点云分割SOTA!8% 标注数据下达到 95.7% 的全监督性能!
【IROS 2022】超大规模环视鱼眼数据集!SynWoodScape:8万张图像,十多个任务标注(检测/分割/深度/光流/事件等)
自动驾驶多传感器数据融合(4):多目标跟踪算法
【ICCV 2023】 Robust Depth:多种天气条件下的自监督单目深度估计新SOTA
端到端模型上车了!GraphAD:国内首个可实车量产部署的端到端建模范式
超逼真的数据!实时高质量渲染,用于动态城市场景建模的Street Gaussians
ECCV 2022最新 | DynamicDepth:无监督多帧单目深度估计新SOTA!
3D目标检测的数据标注/算法讲解/训练调优全系列闭环
毫米波雷达-视觉融合感知方法(前融合/特征级融合/数据级融合)
搞懂了!原来激光雷达和相机的内外参是这样标定的
500公里超大型SLAM数据集!多视觉异步SLAM系统(ICRA 2021)
IROS2022 | 毫米波雷达和相机融合在高分辨率和远距离深度成像中的探索
CVPR2022 | MeMOT:具有记忆的多目标跟踪
自动驾驶中的多传感器融合状态估计如何建模?
2022最新 | HybridNets:端到端感知网络(检测+可行使区域分割+车道线三大任务)
又快又准!一种基于图像表示的快速精确的LiDAR地面分割算法
【CoRL2022】路径规划新SOTA!PlanT:通过目标级表示的可解释的规划Transformers
最新多传感器融合数据集!Hilti SLAM Challenge Dataset(RAL-IROS 2022)
太详细了!多传感器融合的策略和方法
EM Planner is all u need?
最新多camera3D重建 !基于重聚焦事件融合的多事件相机深度估计与孤立点剔除(AISY 2022)
牛津大学最新!室内室外SOTA | 用于视觉重定位的地图相对姿态回归(CVPR'24 HighLight)
ECCV2022最新 | 缺少点云数据?LiDARGen生成真实的激光雷达点云
Nuscenes、KITTI等多个BEV开源数据集介绍!
决策规划都有哪些框架?PNC今年的香饽饽!近10种规控算法与代码实现你都知道吗?
计算效率提升20% | 直接LiDAR-惯性里程计:具有连续时间运动校正的轻量级LiDAR-惯性里程计
自动驾驶多传感器数据融合(1):什么是多传感器融合?
多传感器融合!BEV感知融合算法介绍
同时优化姿态和占用图!Occupancy-SLAM:基于优化的SLAM方法
香港理工大学最新!Slamesh: 使用激光雷达传感器进行实时定位和网格划分
端到端自动驾驶:SparseDrive 算法详解