V
主页
[NeRF纹理生成，SIGGRAPH] 中科院，腾讯等提出NeRF-Texture，从多视角图像采集和生成纹理，可应对如草、叶子、纺织品等3D空间复杂纹理生成
发布人
NeRF-Texture: Texture Synthesis with Neural Radiance Fields Yihua Huang, Yan-Pei Cao, Yu-Kun Lai, Ying Shan, Lin Gao ICT, CAS， UCAS， ARC Lab， Tencent PCG， Cardiff University 项目主页：https://yihua7.github.io/NeRF-Texture-web/ Github主页：https://github.com/yihua7/NeRF-Texture Texture synthesis is a fundamental problem in computer graphics that would benefit various applications. Existing methods are effective in handling 2D image textures. In contrast, many real-world textures contain meso-structure in the 3D geometry space, such as grass, leaves, and fabrics, which cannot be effectively modeled using only 2D image textures. We propose a novel texture synthesis method with Neural Radiance Fields (NeRF) to capture and synthesize textures from given multi-view images. In the proposed NeRF texture representation, a scene with fine geometric details is disentangled into the meso-structure textures and the underlying base shape. This allows textures with meso-structure to be effectively learned as latent features situated on the base shape, which are fed into a NeRF decoder trained simultaneously to represent the rich view-dependent appearance. Using this implicit representation, we can synthesize NeRF-based textures through patch matching of latent features. However, inconsistencies between the metrics of the reconstructed content space and the latent feature space may compromise the synthesis quality. To enhance matching performance, we further regularize the distribution of latent features by incorporating a clustering constraint. Experimental results and evaluations demonstrate the effectiveness of our approach.
打开封面
下载高清视频
观看高清视频
视频下载器
[NeRF进展，稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF，利用现实世界不准确观测的深度先验来蒸馏深度排名，达到较好的重建效果
[NeRF+Diffusion进展，图片生成3D] 上海交通大学，香港科技大学，微软提出MakeIt3D，使用Diffusion Prior将单图转为3D效果
[Diffusion生成NeRF] TUM, Apple提出HyperDiffusion，用Diffusion计算神经场权重，统一框架下生成3D权重或4D动画
[NeRF+自动驾驶] 浙大、图宾根大学提出PanopticNeRF360，将3D标记与带噪声的2D语义线索组合生成一致性全景标签和高质量任意视角图片的方法
[3DGS进展] UCSD，nVidia，伯克利提出CF-3DGS，连续处理视频帧数据，在剧烈相机运动的情况下渐进重建整个场景
[NVS和三维生成进展] 香港大学、腾讯等提出SyncDreamer，不使用SDS损失，使用单图生成多视角一致性图片，进而使用Neus和NeRF重建三维模型
[AIGC视频生生]Google等提出Lumiere，使用时空U-Net，单次传递，一次性生成视频完整时间，实现高质量文本转视频、图像转视频、视频修复、风格化等
[NeRF进展，效果提升] TUM与Meta推出GANeRF，使用GAN来解决视角观察缺陷以及小的光照变化带来的重建质量不佳问题，提升1.4dB以上
[NeRF+点云，点云渲染] 香港中文大学、思谋科技提出Point2Pix，使用NeRF将点云渲染为真实感图像的方法，并可完成点云inpainting和上采样
[NeRF进展，3D形状表达] KAUST和TUM发表3DShape2VecNet，面向扩散生成模型的形状神经场表达，对3D形状编码和生成及多个下游任务非常有效
[3D生成] 港科大、LightIllusions等提出CraftsMan（匠心），使用3D原生diffusion生成高质量3D网格，也可支持可交互的网格生成
[NeRF进展，时变3D模型] 浙大，康奈尔，特拉维夫提出neusc，使用网上地标照片，重建可独立控制视点、光照和时间的真实感时变三维模型
[NeRF进展，使用事件相机生成高质量NeRF] 马克思普朗克研究院，萨尔大学提出EventNeRF，使用事件相机生成高质量NeRF，低功耗、低数据量、快速重建
[NeRF进展，复杂场景编辑]斯坦福大学、Adobe提出PaletteNeRF，对复杂场景的外观属性进行后期编辑，NeRF向Adobe产品家族整合成为可能
[NeRF进展，单目视频重建动态人-物-场景] 新加坡国立大学，腾讯等提出HOSNeRF，使用单目视频动态人-物-场景，LPIPS相比SOTA提升40%以上
[NeRF进展，单图片生成多视角] Apple, UC圣迭戈分校，马普所，宾大发布NerfDiff，使用CDM+NeRF提高生成质量与效果
[NeRF进展，实时建图] 中山大学、香港科技大学提出H2Mapping，第一个基于NeRF构建在可手持设备上运行的建图方法，效果优于NICE-SLAM
[NeRF进展] 图宾根大学、Google提出Binary Opacity Grids，加强版本BakedSDF，生成视图质量更高，移动设备场景实时渲染
[NeRF进展，单图片成3D内容] 德克萨斯大学奥斯丁分校提出NeuralLift-360，使用单图生成3D物体
[NeRF 3D场景理解] UC伯克利、Luma AI提出GARField，使用辐射场对任何事物进行分组，从姿势图像输入分解为具有语义意义的组的层次结构的方法
[Generative AI进展，基于2D Label的3D感知的生成模型] CMU提出pix2pix3D，基于2D Label的3D感知的可控真实感图生成模型
[NeRF进展，稀疏视角重建] 斯坦福，Google, SFU提出SCADE，使用cIMLE和space carving方法，提升稀疏无约束室内NeRF重建效果
[NeRF+Diffusion进展，单图重建3D] 韩国首尔大学提出DITTO-NeRF，使用文字或单图，通过前视角部分3D+迭代扩散填充，生成3D模型
[Diffusion进展，声音生成动画] 瑞典皇家理工学院的Listen-Denoise-Action，首个使用谈话或音乐生成动作或舞蹈（SIGGRAPH23）
[3DGS] 作者Bernhard Kerbl讲讲3DGS的历史、思考过程（感谢群友的投喂）
[群友工作] 上科大，Deemos等推出Media2Face，语音合成 3D 面部动画的新算法以及多型、多样化的扫描级别语音与3D协同数据集M2M-D
[3D生成] 南洋理工、香港中文、上海AI实验室提出DiffTF，一个基于扩散模型和三平面的前馈框架，用于生成多样化的、大语料量规模的真实世界3D物体
[NeRF进展] MPI提出NeuralClothSim，一种使用Kirchhoff-Love布料模拟方法，将表面变化过程编码到神经网络中，实现更好的模拟效果
[NeRF App] Luma AI推出新APP：Flythroughs，unbounded场景通过iPhone即可完成建模和漫游，已经发布上线，可开放体验
[扩散模型] 浙江大学群友SIGGRAPH 24：MaPa，一种使用文本生成三维网格材质的方法，支持高质量渲染和可编辑的灵活性
[点云+神经渲染进展] Apple, CMU, UBC提出Pointersect，给定一个点云，在不转换为其他表达的情况下，进行推理光线与表面相交性
[NeRF进展，渲染质量提升] Google NeRF的几位创始人：Zip-NeRF，解决Mip-NeRF 360锯齿问题，复杂场景渲染提升，训练速度提升22倍
[NeRF进展，风格化与重着色，NPR方向]东京大学使用一种新的Palette提取方法，使NeRF重着色可达到实时性能，实现NPR效果（EGSR 2022）
[Diffusion+SDF，三维重建] 港中文、上海AI实验室、浙大提出DiffRoom，基于occupancy先验重建TSDF，生成高质量3D室内重建效果
[点云法向，SIGGRAPH最佳论文] 山东大学、香港大学等提出通过正则化Winding-number场，全局一致性点云法向算法
[NeRF进展，Avatar实时生成] 苏黎世I联邦理工，普朗克研究所提出InstantAvatar，相比SOTA方法速度提升130倍以上，秒级别训练，实时渲染
[大佬讲paper第三期] 腾讯AI实验室胡文博大佬讲神经渲染中的Anti-Aliasing问题，以及SIG24中的新作Rip-NeRF等相关工作
[单视图重建]ETH、Google和TUM提出KYN，一种基于NeRF的3D密度重建方法，使用单视图恢复3D形状，提升了零样本泛化能力
[NeRF进展，语义驱动编辑] 浙江大学3DV国家重点实验室联合Google提出SINE，通过语义驱动NeRF编辑，完成多视角高质量、一致性的编辑操作
[NeRF进展，自动数据收集] INSA, UCBL, Meta提出AutoNeRF，一种不需要人工干预的自动agent，采集NeRF训练数据，协助完成下游任务
