V
主页
三维重建大一统!LSM:无需先验位姿,首次实现实时语义3D重建!
发布人
三维重建大一统!LSM:无需先验位姿,首次实现实时语义3D重建! 感谢您的支持~ 宝子们可以一键三连+关注!并在评论区留言:“666”,即可获取论文链接。 从有限数量的图像中重建和理解3D结构是计算机视觉中一个公认的问题。传统的方法通常将这个任务分成多个子任务,每个子任务都需要在不同的数据表示之间进行复杂的转换。例如,通过运动重建结构(SfM)的密集重建包括将图像转换成关键点、优化相机参数和估计结构。之后,需要精确的稀疏重建来进行进一步的密集建模,随后将其输入特定任务的神经网络。这种多步骤工艺导致相当长的处理时间和增加的工程复杂性。在这项工作中,我们提出了大空间模型(LSM),该模型将未定位的RGB图像直接处理成语义辐射场。LSM在单个前馈操作中同时估计几何形状、外观和语义,并且它可以通过以新颖的观点与语言进行交互来生成通用的标签地图。利用基于变压器的架构,LSM通过像素对齐的点地图整合全球几何。为了增强空间属性回归,我们将局部上下文聚合与多尺度融合相结合,提高了精细局部细节的准确性。为了解决标记的3D语义数据的缺乏并实现自然语言驱动的场景操纵,我们将预训练的基于2D语言的分割模型合并到3D一致的语义特征场中。然后,一个高效的解码器将一组语义各向异性高斯函数参数化,从而促进有监督的端到端学习。各种任务的大量实验表明,LSM直接从未发布的图像中统一了多个3D视觉任务,首次实现了实时语义3D重建。
打开封面
下载高清视频
观看高清视频
视频下载器
仅需3GB!2ms!两张图片就可以重建整个3D高斯场景!
【已完结】这可能是B站目前唯一能将【3D点云+三维重建】讲清楚的教程了,原理解读+实战分析,迪哥一次性全讲明白!—人工智能/神经网络/深度学习
3D GS谁敢一战?26ms完成三维重建!
无需额外训练!SAMPro3D:零样本3D分割一切!
SIGGRAPH 2024 | 上科大开源2DGS!几何精度降维打击3DGS!
亲测50帧!无需内参!超越Dust3r!Spann3r:无需优化对齐快速进行3D重建!
UCL开源 | Spann3R:基于空间记忆,不估计相机参数也能实时重建(上篇)
爆火!DepthSplat:连接3DGS和深度估计!
3D Gaussian Splatting进展神速,实现可编辑!NeRF还有未来吗?
NeurlPS'24 开源 | 使用VoxSplats 进行即时大规模场景重建,仅用3张 图像就可在20秒内重建百米大场景
大模型时代下的端到端自动驾驶(上篇)
别再用SuGaR了!重磅开源SA-GS:重新定位最新大场景3D重建SOTA(上篇)
3D Gaussian splatting 改进后室内重建效果
3DGS涨点神器!收录顶会NIPS 2024!3DGS-Enhancer来了!
【SLAM】【空间计算】RoboBaton系列产品正式亮相【三维重建】【AI赋能】
NeurlPS'24开源 | 无与伦比的重建质量!3DGS-Enhancer:利用扩散先验增强无界3D GS!
很多研究人员都放弃具身智能了
全面增强扩散质量!即插即用!斯坦福3D-Adapter:高质量3D生成的几何一致多视图扩散
ECCV 2024 最佳论文候选!Meta提出人体视觉基础模型Sapiens!性能炸裂!
双目摄像头三维重建
浙大章国锋团队最新NIS-SLAM:突破神经隐式语义RGB-D SLAM的极限(上篇)
AI三维高斯溅射:苏州博物馆
13秒😱完成场景3D建模!Adobe_Long-LRM3D
ECCV 2024 oral | 首次基于深度聚类的多模态融合里程计网络
性能炸裂!SpectroMotion:唯一一个镜面场景的动态3D重建。
室内实景三维模型,水电验收三维建档、房屋状态三维存档,在线浏览测量长度面积
[3DGS进展] ETH, nVidia等提出NoPoSplat,简单的从稀疏无位姿图像生成3DGS的方法,在稀疏输入NVS、可泛化、位姿估计等任务均大幅度提升
IEEE/IROS2024 - FoveaCam++
【较真系列】讲人话-3d gaussian splatting全解(原理+代码+公式)【1】 捏雪球
70年老算法Dijkstra被证明普遍最优 斩获顶会FOCS 2024最佳论文
北京籍前华为首名女黑客瑾瑾 在b站坚持直播编程到凌晨 饿了就吃点泡面 可直播间却迟迟没人观看
北京籍前华为首名女黑客瑾瑾 在b站坚持直播编程到凌晨 可直播间却仅1人观看
3D视觉1v1论文辅导来啦!包括SLAM、3DGS、三维点云、位姿估计、具身智能、深度估计、自动驾驶等
香港科技大学!CVPR&NeurIPS2024开源 | 迈向通用可泛化的自动驾驶世界模型(上篇)
吴恩达表示,他看到的最令人兴奋的趋势是,生成式人工智能使人们能够以前所未有的水平创建软件,推动事物发展的速度比以往任何时候都快
[3DGS进展] ETH等DepthSplat证明3DGS与深度估计任务是可相互促进提升的,并在多个数据集上同时取得深度估计和NVS任务的SOTA
GAMES003-图形视觉科研基本素养
讲座 | 无限三维场景生成——慕尼黑工业大学3D AI Lab在读博士生孟权
NeurIPS'24三维网格生成新模式!自回归大语言模型也能生成三维网格(上篇)
一万块钱,显卡44G显存的深度学习主机,跑大模型的兄弟有福了