V
主页
[3DGS大规模场景] 3DGS原作者在大规模场景高斯层次细节表达新工作,可达到覆盖数公里的超大规模数据集上的实时渲染
发布人
A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets Bernhard Kerbl, Andréas Meuleman, Georgios Kopanas, Michael Wimmer, Alexandre Lanvin, George Drettakis Inria,TU Wien 项目主页:https://repo-sam.inria.fr/fungraph/hierarchical-3d-gaussians/ Novel view synthesis has seen major advances in recent years, with 3D Gaussian splatting offering an excellent level of visual quality, fast training and real-time rendering. However, the resources needed for training and rendering inevitably limit the size of the captured scenes that can be represented with good visual quality. We introduce a hierarchy of 3D Gaussians that preserves visual quality for very large scenes, while offering an efficient Level-of-Detail (LOD) solution for efficient rendering of distant content with effective level selection and smooth transitions between levels.We introduce a divide-and-conquer approach that allows us to train very large scenes in independent chunks. We consolidate the chunks into a hierarchy that can be optimized to further improve visual quality of Gaussians merged into intermediate nodes. Very large captures typically have sparse coverage of the scene, presenting many challenges to the original 3D Gaussian splatting training method; we adapt and regularize training to account for these issues. We present a complete solution, that enables real-time rendering of very large scenes and can adapt to available resources thanks to our LOD method. We show results for captured scenes with up to tens of thousands of images with a simple and affordable rig, covering trajectories of up to several kilometers and lasting up to one hour. Project Page: [this https URL](https://repo-sam.inria.fr/fungraph/hierarchical-3d-gaussians/)
打开封面
下载高清视频
观看高清视频
视频下载器
CVPR24 最佳学生论文:实现3DGS新突破,任意尺度无锯齿渲染!三名华人学者参与!
[3DGS编辑] 南洋理工、清华、商汤提出GaussianEditor,可交互式编辑3DGS场景,并提供WebUI实时体验
[3DGS+无相机位姿] UTAustin,nVidia,厦大等提出InstantSplat,40秒以内,从完全不知道内外参的多视角图片,重建出3DGS
[3DGS进展] 南京大学、复旦大学提出Relightable 3DGS,基于点的可微分渲染,从多视图中进行材质和照明分解,实现3D点云的编辑、光线追踪和重照明
[3DGS] 作者Bernhard Kerbl讲讲3DGS的历史、思考过程(感谢群友的投喂)
[3DGS] 南开大学实时新视图合成、HDR 渲染、重新聚焦和色调映射更改,相比体渲染,训练速度缩短至1%,2K分辨率渲染提升4000倍
用AI续写新闻联播片头曲,没想到燃成这样
[3DGS进展] 浙大CADCG,字节提出可变形的3DGS方法,对单目动态场景进行建模,在渲染质量和速度取得优势,适合NVS问题,时间序列合成和实时渲染
[NeRF进展,高质量快速训练、1080P实时渲染] INRIA,MPI等推出3D Gaussian Splatting,使用3D高斯表达场景和快速可见感知渲染
超大规模三维高斯溅射:苏州园林沧浪亭
CVPR 2024 最佳学生论文!改进3DGS!图宾根大学和上科大提出Mip-Splatting:用于3D渲染的抗锯齿 3DGS 方法
[点云+神经渲染进展] Apple, CMU, UBC提出Pointersect,给定一个点云,在不转换为其他表达的情况下,进行推理光线与表面相交性
[NeRF进展,稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF,利用现实世界不准确观测的深度先验来蒸馏深度排名,达到较好的重建效果
[单视图重建]ETH、Google和TUM提出KYN,一种基于NeRF的3D密度重建方法,使用单视图恢复3D形状,提升了零样本泛化能力
全球首个开源自动驾驶场景3DGS工作—S Gaussian:用于自动驾驶的自监督街道高斯,无需标注,就可实现逼真的街景重建
[人体建模] 浙大CADCG、达摩院提出TransHuman,基于Transformer和TransHE、DPaRF和FDI实现可泛化的神经人体渲染任务
[NeRF进展,大型城市场景建模] 香港中文大学、浙江大学、马克斯普朗克等发布GridNeRF,高效建模大规模真实感城市3D场景
[NeRF进展,使用不同场景时期图片重建NeRF] 华盛顿大学、Google Research提出PersonNeRF,灵活使用各场景、时期图片重建人物NeRF
[逆渲染进展,室内大规模场景] 如视、西北工业大学提出TexIR,使用3D Mesh和HDR纹理的TBL方案+三阶段材质优化方法,建模大规模可编辑的复杂室内场景
[NeRF进展,动态3D场景表达]UC伯克利、意大利技术研究院、丹麦技术大学提出KPlane,使用6-plane特征表现4D体数据,HexPlane类似解决方案
[SDF进展,哈希+SDF] nVidia, 约翰霍普金斯大学提出Neuralangelo,综合了多分辨率的hash grid和SDF,实现了更好的从RGB视频
3DGS隐写术—GS-Hider,用以保护三维场景的版权与隐私【可在主页预约与3DGS相关的两场直播公开课】
[NeRF进展,动态3D场景表达速度提升100倍] 密西根大学提出HexPlane,一种新的快速的3D动态场景表达方法
[NeRF进展] Strivec(USC, UCSD, Adobe研究院),稀疏分布紧凑分解的局部张量特征grid的辐射场,比TensoRF和NGP效果好参数少
[NeRF进展,稀疏重建,开源, SIGGRAPH] 印度理工学院ViP-NeRF,用平面扫描volume获得可见先验正则化NeRF,完成稀疏视角NeRF重建
[3D生成] 港科大、LightIllusions等提出CraftsMan(匠心),使用3D原生diffusion生成高质量3D网格,也可支持可交互的网格生成
【学习记录】3DGS几何精度:SuGaR,2DGS,NeuSG,GSDF
[NeRF进展] 香港中文大学提出双边滤波器引导的NeRF重构,可以消除相机拍摄变化引起的artifact,也可以进行3D风格化渲染
[NeRF进展,效果提升] TUM与Meta推出GANeRF,使用GAN来解决视角观察缺陷以及小的光照变化带来的重建质量不佳问题,提升1.4dB以上
[NeRF进展,文本编辑NeRF] 创始大神Matthew+18岁大学生一作提出Instruct-NeRF2NeRF,使用文本指令进行3D场景的真实感编辑
[Diffusion+SDF,三维重建] 港中文、上海AI实验室、浙大提出DiffRoom,基于occupancy先验重建TSDF,生成高质量3D室内重建效果
[NeRF进展] Oppo, Buffalo, 上科大提出NeuRBF,使用自适应的RBF进行神经场表达,相比INGP, TensoRF等取得更好的渲染效果
[群友工作] 上科大,Deemos等推出Media2Face,语音合成 3D 面部动画的新算法以及多型、多样化的扫描级别语音与3D协同数据集M2M-D
超越所有SOTA!3DGS结合NeRF到4DGF 重塑动态城市场景新视图合成
[NeRF进展,城市建模] 南洋理工大学:CityDreamer,一种unbounded 3D城市设计的组合生成模型,效果超过SceneDreamer
[NeRF进展,TensoRF+PBR] 浙江大学、UCSD等提出TensoIR,将场景以神经场与密度、法向、光照、材质等信息一起建模,实现高质量建模
[AIGC进展,文本生成室内3D Mesh] 慕尼黑工业大学Matthias团队与密西根大学Justin团队,推出Text2Room,用文本生成室内3D场景建模
[NeRF进展,移动实时渲染方向]Snapchat与东北大学联合推出MobileR2L,在移动设备上实时、低消耗、高质量地渲染NeRF三维场景,移动应用有突破
AI三维重建的立体商业:金地广场
[NeRF进展,开源大规模场景] DNMP(同济、港中文、上海AI实验室,CPII),一种使用可变形神经mesh的,高质量快速的重建和渲染城市级别神经场的方法