V
主页
[NeRF进展] 香港中文大学提出双边滤波器引导的NeRF重构,可以消除相机拍摄变化引起的artifact,也可以进行3D风格化渲染
发布人
Bilateral Guided Radiance Field Processing Yuehao Wang, Chaoyi Wang, Bingchen Gong, Tianfan Xue 香港中文大学 arXiv主页:https://arxiv.org/abs/2406.00448 项目主页:https://bilarfpro.github.io/ 代码:https://github.com/yuehaowang/bilarf Neural Radiance Fields (NeRF) achieves unprecedented performance in synthesizing novel view synthesis, utilizing multi-view consistency. When capturing multiple inputs, image signal processing (ISP) in modern cameras will independently enhance them, including exposure adjustment, color correction, local tone mapping, etc. While these processings greatly improve image quality, they often break the multi-view consistency assumption, leading to "floaters" in the reconstructed radiance fields. To address this concern without compromising visual aesthetics, we aim to first disentangle the enhancement by ISP at the NeRF training stage and re-apply user-desired enhancements to the reconstructed radiance fields at the finishing stage. Furthermore, to make the re-applied enhancements consistent between novel views, we need to perform imaging signal processing in 3D space (i.e. "3D ISP"). For this goal, we adopt the bilateral grid, a locally-affine model, as a generalized representation of ISP processing. Specifically, we optimize per-view 3D bilateral grids with radiance fields to approximate the effects of camera pipelines for each input view. To achieve user-adjustable 3D finishing, we propose to learn a low-rank 4D bilateral grid from a given single view edit, lifting photo enhancements to the whole 3D scene. We demonstrate our approach can boost the visual quality of novel view synthesis by effectively removing floaters and performing enhancements from user retouching. The source code and our data are available at: [this https URL](https://bilarfpro.github.io/).
打开封面
下载高清视频
观看高清视频
视频下载器
[动态3DGS与场景编辑] 请香港大学黄熠华博士一起讲讲SC-GS和Deformable 3DGS两项工作
[NeRF进展,实时渲染方向,四创始大神新作,必看!] Google Research、蒂宾根大学发布MERF,低内存实时NERF渲染,优于InstantNGP
[3DGS几何优化]上科大、图宾根大学提出2DGS,一种从多视图图像中建模和重建几何精确辐射场的新方法,解决3DGS几何一致性差的问题
[大佬讲paper第三期] 腾讯AI实验室胡文博大佬讲神经渲染中的Anti-Aliasing问题,以及SIG24中的新作Rip-NeRF等相关工作
【学习记录】3DGS几何精度:SuGaR,2DGS,NeuSG,GSDF
[3D生成] 港科大、LightIllusions等提出CraftsMan(匠心),使用3D原生diffusion生成高质量3D网格,也可支持可交互的网格生成
[3D生成] 浙大、字节SIG 24工作Coin3D,使用粗糙模型三维控制,可控且交互地生成三维资产,提升导出带纹理网格的质量
[NeRF进展,点云重建] 捷克理工大学提出Tetra-NeRF,使用点云为输入,使用四面体和其德劳内表达进行重建,实现更好的重建性能和效果
[3DGS+无相机位姿] UTAustin,nVidia,厦大等提出InstantSplat,40秒以内,从完全不知道内外参的多视角图片,重建出3DGS
[NeRF进展,重着色方向]香港中文大学提是出RocolorNeRF,提取场景中的颜色层信息,在后期使用调色板对NeRF进行重新着色
【较真系列】讲人话-3d gaussian splatting全解(原理+代码+公式)【4】 高性能渲染与机器学习
[SDF进展,哈希+SDF] nVidia, 约翰霍普金斯大学提出Neuralangelo,综合了多分辨率的hash grid和SDF,实现了更好的从RGB视频
【学习记录】3DGS滤波器:mipsplatting,MS-GS,SA-GS,RAIN-GS
[3DGS大规模场景] 3DGS原作者在大规模场景高斯层次细节表达新工作,可达到覆盖数公里的超大规模数据集上的实时渲染
[3DGan进展] nVidia, UCSD提出新的3D GAN方法,无监督地将神经体积渲染缩放到原始2D图像的更高分辨率,生成超细粒度3D几何效果
[NeRF进展,效果提升] TUM与Meta推出GANeRF,使用GAN来解决视角观察缺陷以及小的光照变化带来的重建质量不佳问题,提升1.4dB以上
[单视图重建]ETH、Google和TUM提出KYN,一种基于NeRF的3D密度重建方法,使用单视图恢复3D形状,提升了零样本泛化能力
[NeRF产品应用] 开源的NerfStudio(目前Github star 2600)使用不同设备采集后重建、渲染效果
[3DGS] 南开大学实时新视图合成、HDR 渲染、重新聚焦和色调映射更改,相比体渲染,训练速度缩短至1%,2K分辨率渲染提升4000倍
[NeRF进展,避免重建干扰,提升重建效果] Google研究院,多伦多大学,SFU提出RobustNeRF,在场景中有影响效果时,用优化算法达到更好的重建效果
[NeRF进展] 神经网络反向渲染的多视角光度立体视觉算法 (ECCV 2022)
[NeRF+Diffusion进展,少量视触目] Nitantic推出DIffusioNeRF,使用RGBD贴片训练的DDM模型,正则化few-shot重建过程
[NeRF进展,单视角3D重建]香港大学、未来智联等联合推出S3-NeRF,挖掘Shading和Shadow信息提升单视角3D重建(NeurIPS 2022)
[NeRF进展,雾状鬼影消除] 伯克利提出NeRFBusters,使用3D Diffusion模型,对随意捕捉的NeRF去除雾状鬼影
[NeRF+Diffusion进展,图片生成3D] 上海交通大学,香港科技大学,微软提出MakeIt3D,使用Diffusion Prior将单图转为3D效果
[3D特征] 克莱姆森大学,微软,CMU提出CVRecon,一个新的端到端 的3D神经重建框架,挖掘cost volume中的几何信息,提供了优质的3D特征
SIGGRAPH 2024 最佳论文荣誉提名!港中文提出:双边引导辐射场处理技术!3D重建新突破!
[NeRF进展,使用不同场景时期图片重建NeRF] 华盛顿大学、Google Research提出PersonNeRF,灵活使用各场景、时期图片重建人物NeRF
[NeRF,快速高质量重建] Tri-MipRF(PICO,清华,中科院),结合实时重建和抗锯齿高质量渲染的神经场方法,更小模型可达SOTA渲染质量和重建速度
[NeRF进展,TensoRF+PBR] 浙江大学、UCSD等提出TensoIR,将场景以神经场与密度、法向、光照、材质等信息一起建模,实现高质量建模
[Diffusion生成NeRF] TUM, Apple提出HyperDiffusion,用Diffusion计算神经场权重,统一框架下生成3D权重或4D动画
[NeRF进展] MPI提出NeuralClothSim,一种使用Kirchhoff-Love布料模拟方法,将表面变化过程编码到神经网络中,实现更好的模拟效果
[NeRF进展,稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF,利用现实世界不准确观测的深度先验来蒸馏深度排名,达到较好的重建效果
[NeRF进展,动态3D场景表达]UC伯克利、意大利技术研究院、丹麦技术大学提出KPlane,使用6-plane特征表现4D体数据,HexPlane类似解决方案
[3DGS进展] UCSD,nVidia,伯克利提出CF-3DGS,连续处理视频帧数据,在剧烈相机运动的情况下渐进重建整个场景
[4D扩散模型] 多伦多大学、北交大等提出Diffusion4D,高效且可扩展的 4D 内容生成,在生成效率和跨各种提示模式的 4D 几何一致性方面达到SOTA
[NeRF进展] Oppo, Buffalo, 上科大提出NeuRBF,使用自适应的RBF进行神经场表达,相比INGP, TensoRF等取得更好的渲染效果
[NeRF进展,实时动态、静态6-DoF视频渲染]CMU, Meta等联合推出HyperReel,在低内存消耗下,实现实时的、高质量的、高分辨率的体渲染方法
[NeRF进展,快速非刚体NeRF数百倍提升]布伦瑞克工业大学,马克思普朗克计算研究所提出MoNeRF,将非刚体NeRF训练时间提升数百倍,渲染质量更好
[NeRF纹理生成,SIGGRAPH] 中科院,腾讯等提出NeRF-Texture,从多视角图像采集和生成纹理,可应对如草、叶子、纺织品等3D空间复杂纹理生成