V
主页
[NeRF进展，稀疏重建，开源, SIGGRAPH] 印度理工学院ViP-NeRF，用平面扫描volume获得可见先验正则化NeRF，完成稀疏视角NeRF重建
发布人
ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields （SIGGRAPH 2023) Nagabhushan Somraj, Rajiv Soundararajan 项目主页：https://nagabhushansn95.github.io/publications/2023/ViP-NeRF.html#vipnerf-model Github主页：https://github.com/NagabhushanSN95/ViP-NeRF Neural radiance fields (NeRF) have achieved impressive performances in view synthesis by encoding neural representations of a scene. However, NeRFs require hundreds of images per scene to synthesize photo-realistic novel views. Training them on sparse input views leads to overfitting and incorrect scene depth estimation resulting in artifacts in the rendered novel views. Sparse input NeRFs were recently regularized by providing dense depth estimated from pre-trained networks as supervision, to achieve improved performance over sparse depth constraints. However, we find that such depth priors may be inaccurate due to generalization issues. Instead, we hypothesize that the visibility of pixels in different input views can be more reliably estimated to provide dense supervision. In this regard, we compute a visibility prior through the use of plane sweep volumes, which does not require any pre-training. By regularizing the NeRF training with the visibility prior, we successfully train the NeRF with few input views. We reformulate the NeRF to also directly output the visibility of a 3D point from a given viewpoint to reduce the training time with the visibility constraint. On multiple datasets, our model outperforms the competing sparse input NeRF models including those that use learned priors. The source code for our model can be found on our project page: [this https URL](https://nagabhushansn95.github.io/publications/2023/ViP-NeRF.html).
打开封面
下载高清视频
观看高清视频
视频下载器
[群友工作] 上科大，Deemos等推出Media2Face，语音合成 3D 面部动画的新算法以及多型、多样化的扫描级别语音与3D协同数据集M2M-D
广西出现照相“新模式”老板居然是80后阿姨，操作简单，站上去10秒扫描完成，让纪念不再是平面的
浙江出现立体“照相馆”接待到扫描才几分钟，接待到扫描才几分钟，一人操作站上去转一圈10秒完成，真人也可以变立体手办
北京出现照相“新创意”老板竟00后小情侣，站上去转一圈10秒完成，操作简单，让纪念不再是平面的
[群友SIGGRAPH工作] 上科大等推出DressCode，使用文本生成真实感服装，通过大语言模型交互生成CG友好的服装
天津小伙竟把真人做成了“立体手办”，一人操作站上去10秒扫描完成，让纪念不再是平面的，网友：为什么我家附近没有啊
SIGGRAPH 2024 最佳论文荣誉提名！港中文提出：双边引导辐射场处理技术！3D重建新突破！
[3DGS几何优化]上科大、图宾根大学提出2DGS，一种从多视图图像中建模和重建几何精确辐射场的新方法，解决3DGS几何一致性差的问题
地面重建测试 | DLIO+UFOMap
云南出现照相“黑科技”真人变3d立体手办，一台设备扫描10秒完成占地几平米，我也没想到那么受欢迎
[NeRF进展，街景重建方向] 复旦大学提出S-NeRF，将街景重建PSNR提升45%，可以兼顾大规模场景背景与前景移动车辆处理
[NeRF进展，风格化与重着色，NPR方向]东京大学使用一种新的Palette提取方法，使NeRF重着色可达到实时性能，实现NPR效果（EGSR 2022）
[单视图重建]ETH、Google和TUM提出KYN，一种基于NeRF的3D密度重建方法，使用单视图恢复3D形状，提升了零样本泛化能力
你应该学会的点云数据预处理技能，点云噪声清除，点云分类，点云场景修饰，点云动画制作
荷兰白桥的拆除与重建施工-6月2日
[3DGS] 作者Bernhard Kerbl讲讲3DGS的历史、思考过程（感谢群友的投喂）
「双生火焰过课题」女阳三维坍塌后该如何重建（一）
[NeRF进展，文本生成3D] Google，Ben、Jonathan提出DreamBooth3D，DreamBooth+DreamFusion，文本生成3D
[NeRF进展，稀疏视角重建] 斯坦福，Google, SFU提出SCADE，使用cIMLE和space carving方法，提升稀疏无约束室内NeRF重建效果
[NERF闲聊]2024年还有玩NERF吗?(下）
复杂古建筑三维重建实景还原，轻量模型Web端可体验，无需注册，请戳简介链接～
地下矿井巷道SLAM三维重建激光雷达点云建模——So Easy!
[NeRF进展，使用不同场景时期图片重建NeRF] 华盛顿大学、Google Research提出PersonNeRF，灵活使用各场景、时期图片重建人物NeRF
[3DGS] 南开大学实时新视图合成、HDR 渲染、重新聚焦和色调映射更改，相比体渲染，训练速度缩短至1%，2K分辨率渲染提升4000倍
[NeRF进展，稀疏输入视角重建]CMU提出GBT，在稀疏图片输入的情况下，使用几何biased Transformer显著提升稀疏图片重建效果
[3D生成] 港科大、LightIllusions等提出CraftsMan（匠心），使用3D原生diffusion生成高质量3D网格，也可支持可交互的网格生成
[ 扫描资产 | 三维重建 | PBR材质 ] 0000800001
[NeRF进展，使用事件相机生成高质量NeRF] 马克思普朗克研究院，萨尔大学提出EventNeRF，使用事件相机生成高质量NeRF，低功耗、低数据量、快速重建
[大佬讲paper第三期] 腾讯AI实验室胡文博大佬讲神经渲染中的Anti-Aliasing问题，以及SIG24中的新作Rip-NeRF等相关工作
韩少功：文化寻根与文化重建
[ 扫描资产 | 三维重建 | PBR材质 ] 重制 0000300005
[神经材质压缩] nVidia杀疯了，提出NTC，使用神经压缩算法压缩纹理压缩，在增加了两层LOD后，不需要熵编码的情况下低码率压缩，解码只增加毫秒级消耗
SIGGRAPH'2024|RTG-SLAM：基于3DGS的大尺度场景实时三维重建-上篇
[NeRF进展，肖像光照] 中科院、北交大、香港城市大学提出NeRFFaceLighting，使用三平面解决人物肖像的3D感知的真实感光照效果，并达到实时处理
[NeRF进展，单目视频重建动态人-物-场景] 新加坡国立大学，腾讯等提出HOSNeRF，使用单目视频动态人-物-场景，LPIPS相比SOTA提升40%以上
[3DGS进展] UCSD，nVidia，伯克利提出CF-3DGS，连续处理视频帧数据，在剧烈相机运动的情况下渐进重建整个场景
【三维编辑】Gaussian Grouping与GaussianEditor：基于GS的三维编辑与修复（原理讲解）
IBM实验室探索扫描电子显微镜下才能看到的东西
Nerf N-Series
[Avatar生成] 快手、卡迪夫大学提出TRAvatar，高保真度、实时动态全局光照，可变表情的Avatar生成方法
