V
主页
南大、中科院、复旦联合发布!时空锚定的生成式4D高斯 横屏
发布人
最近在预训练扩散模型和3D生成方面的进展激发了人们对4D内容创建的兴趣。然而,实现具有时空一致性的高保真4D生成仍然是一个挑战。在这项工作中,我们提出了一种新的框架STAG4D,该框架将预训练的扩散模型与动态3D高斯泼溅相结合,用于高保真的4D生成。受3D生成技术的启发,我们利用多视角扩散模型来初始化锚定在输入视频帧上的多视角图像,其中视频可以是现实世界中拍摄的,也可以是由视频扩散模型生成的。为了保证多视图序列初始化的时间一致性,我们引入了一种简单而有效的融合策略,将第一帧作为时间序列。然后,在几乎一致的多视图序列下,我们应用分数蒸馏采样来优化4D高斯点云。4D Gaussian泼溅专门用于生成任务,其中提出了一种自适应致密化策略,以减轻不稳定的高斯梯度,从而实现鲁棒优化。值得注意的是,所提出的流水线不需要任何扩散网络的预训练或微调,为4D生成任务提供了更容易获得和实用的解决方案。大量的实验表明,我们的方法在渲染质量、时空一致性和生成鲁棒性方面优于之前的4D生成工作,为从文本、图像和视频等不同输入生成4D提供了新的技术。 文章名称:【STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians】 文章链接:http://arxiv.org/abs/2403.14939 项目主页:https://nju-3dv.github.io/projects/STAG4D/
打开封面
下载高清视频
观看高清视频
视频下载器
哈工大、清华联合开源GPS-Gaussian:可泛化的像素级三维高斯溅射,实时人体新视图合成
华科、华为联合开源!实时动态场景4D高斯泼溅,最高 82fps!
华科、杭电与华为联合开源!实时动态场景渲染的4D高斯溅射
清华等联合开源!动态 3D 高斯超高保真头部重建
ETH发布!轮腿式机器人的鲁棒自主导航与运动学习
复旦教师这样评价周深演唱会
苏黎世皇家理工等发布!带闭环稠密神经SLAM
机器人【孤勇者】“总有一天,全宇宙的机器人都要高看我”
【原创】上海为什么能够后来居上,成为人工智能人才的引力场?
法国团队最新开源!3D高斯溅射可以生成三维网格啦!
中科大新发布|轻量级神经路径规划,高效、低成本的机器人导航方法!
华科大最新工作分享:基于激光雷达-惯导-轮速计的联合状态估计!
IROS 24 复旦大学发布! Polaris 基于Syn2Real视觉基础和大语言模型的开放式交互机器人操作
【带你读论文】S-MSCKF论文及算法框架详细解读
我从来不用自己剪视频,因为我会用AI
21个令人惊艳的创业机器人公司!
太酷了!手持激光雷达,即可在线实时重建点云!牛津大学最新发布,可用于森林调查!
双目VIO+点线特征+抗动态光照! 南洋理工最新开源!
【开源】普林斯顿大学发布|端到端深度神经视觉DROID-SLAM,大大超越传统方法!支持单目、双目和RGB-D!
为什么要学习ORB-SLAM2呢?
牛津大学丨用于机器人安全导航的控制器丨[RA-L]
ETH、斯坦福与微软联合开源数据集!大几何和时间变化下的三维点云配准的时空基准
清华深研院、哈工深发布!Lidar视觉紧耦合实时相对定位
【IROS2022】港科大&大疆即将开源|短时间生成高质量三维稀疏拓扑骨架图,移动机器人的全局规划!
【SLAM前沿讲座】MIT|鲁棒语义SLAM:表现和推理
神经网络杀疯了,登上nature:35年首次被证明具有泛化能力,能像人类一样思考!深度学习/机器学习/人工智能
ETHZ开源|可与任何VIO前端兼容的SLAM通用后端!
激光惯性SLAM学习经验分享(附论文详细解读!)
上科大、中科院联合开源!单目惯性感知的三维人物交互
深度学习三维重建学习计划
UCL博士分享:神经隐式表征在SLAM中的应用(附PPT!)
Iphone 12+AR Kit面部捕捉,实时驱动机器人!表情真实,细节拉满!
我的很大,你忍一下——世界上最大的室内无人机测试场地
预报名即将开启,中国软科TOP9高校混剪,有没有你想上岸的院校?
【即将开源】肌肉+骨骼级的手部重建,连掌纹皱纹都清晰可见!中科院&上科大等新研究,SIGGRAPH2022
北理工小姐姐视觉SLAM学习经验分享
MIT发布|无需lidar和IMU之间的相对定位,即可提供高速率的里程计估计!
【线下讲座】邹镇洪:科研小白如何入门自动驾驶?
浙大&阿里等发布|好强!MirrorNeRF准确还原镜子中的多视角反射!
CVPR2022|马里兰大学新发布,直接可微相机姿态估计端到端网络!