V
主页
[NeRF进展,体渲染几何优化] UCSD,Adobe, ETH,蒂宾根大学提出NeuManifold,结合体渲染与流形生成精确网格的高速渲染,与传统管线兼容
发布人
NeuManifold: Neural Watertight Manifold Reconstruction with Efficient and High-Quality Rendering Support Xinyue Wei, Fanbo Xiang, Sai Bi, Anpei Chen, Kalyan Sunkavalli, Zexiang Xu, Hao Su UC San Diego, Adobe Research, ETH, 蒂宾根大学 项目主页:https://sarahweiii.github.io/neumanifold/ We present a method for generating high-quality watertight manifold meshes from multi-view input images. Existing volumetric rendering methods are robust in optimization but tend to generate noisy meshes with poor topology. Differentiable rasterization-based methods can generate high-quality meshes but are sensitive to initialization. Our method combines the benefits of both worlds; we take the geometry initialization obtained from neural volumetric fields, and further optimize the geometry as well as a compact neural texture representation with differentiable rasterizers. Through extensive experiments, we demonstrate that our method can generate accurate mesh reconstructions with faithful appearance that are comparable to previous volume rendering methods while being an order of magnitude faster in rendering. We also show that our generated mesh and neural texture reconstruction is compatible with existing graphics pipelines and enables downstream 3D applications such as simulation.
打开封面
下载高清视频
观看高清视频
视频下载器
Adobe Firefly 视频模型测试版即将推出,具备文本、图像生成视频或视频添加元素的多种功能
[单图生成3D] UCSD, UCLA, 浙大, 康奈尔等:One-2-3-45,Zero123+SDF,超快速生成3D且几何一致性高,图片或文本生成高质量3D
[NeRF进展] Strivec(USC, UCSD, Adobe研究院),稀疏分布紧凑分解的局部张量特征grid的辐射场,比TensoRF和NGP效果好参数少
[NeRF+自动驾驶] 浙大、图宾根大学提出PanopticNeRF360,将3D标记与带噪声的2D语义线索组合生成一致性全景标签和高质量任意视角图片的方法
[NeRF进展,人脸动画,褶皱渲染] 华沙工业大学、UBC、微软、Google等提出BlendFields,在少量数据下,结合图形学方法,生成细节表情动画
[NeRF进展,稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF,利用现实世界不准确观测的深度先验来蒸馏深度排名,达到较好的重建效果
仿 ETH 四轮足终于走起来了
[NeRF进展,镜头硬件参数校准] 康奈尔大学、Meta提出Neural Lens Modeling,在训练模型时同步优化相机参数,解决光学镜头参数校准问题
ETH发布! 使用腿式移动机械手学习开门和穿过门
[动态NeRF进展] ETH,微软,苏黎世大学提出ResFields,将复杂的时域层合并至神经场,解决MLP时域复杂信号表达力弱问题,合用于动态形状建模问题
[NeRF进展] 浙江大学、阿里提出Mirror-NeRF,可以学习镜子准确的几何和反射效果,并可以支持多种不同的场景操控应用,如在场景中添加物体或镜子等
[动态NeRF进展]马里兰大学提出DMRF,一种在渲染和模拟中混合了Mesh和NeRF的方法,提出了光源、阴影和物理模拟的可实时交互方法,在网格插入取得良好效果
[NeRF进展,单图片成3D内容] 德克萨斯大学奥斯丁分校提出NeuralLift-360,使用单图生成3D物体
[NeRF进展,3D形状表达] KAUST和TUM发表3DShape2VecNet,面向扩散生成模型的形状神经场表达,对3D形状编码和生成及多个下游任务非常有效
[NeRF进展,动态系统建模,优于D-NeRF] UCLA、MIT、马里兰大学等提出Pac-NeRF,从多视角视频中提取高动态优物体的几何与物理参数信息
[NeRF进展,效果提升] TUM与Meta推出GANeRF,使用GAN来解决视角观察缺陷以及小的光照变化带来的重建质量不佳问题,提升1.4dB以上
[NeRF+Diffusion进展,少量视触目] Nitantic推出DIffusioNeRF,使用RGBD贴片训练的DDM模型,正则化few-shot重建过程
[NeRF进展,鲁棒的动态NeRF] RoDynRF CVPR最终presentation视频,联合预测静态、动态和相机姿态焦点信息,提升动态nerf鲁棒性
[NeRF进展,实时渲染方向,四创始大神新作,必看!] Google Research、蒂宾根大学发布MERF,低内存实时NERF渲染,优于InstantNGP
[NeRF进展,城市建模] 南洋理工大学:CityDreamer,一种unbounded 3D城市设计的组合生成模型,效果超过SceneDreamer
手机本地运行AI大模型 最全面横评 效果实测(一)2B-4B参数模型
[NeRF进展,场景天气风格化渲染]UIUC、浙江大学,马里兰大学提出ClimateNeRF,在NeRF场景中融合天气物理渲染,实现真实感天气场景渲染效果
[CG进展,头颈建模与动画] 上海科技大学、影眸科技提出HACK,将头颈一体化,构建一个高精度、高质量的参数化头颈模型,达到真实感新高度,并支持运动合成t和迁移
[3DGS几何优化]上科大、图宾根大学提出2DGS,一种从多视图图像中建模和重建几何精确辐射场的新方法,解决3DGS几何一致性差的问题
[群友SIGGRAPH工作] 上科大等推出DressCode,使用文本生成真实感服装,通过大语言模型交互生成CG友好的服装
[NeRF进展,时间一致动态场景重建] MPI, Meta提出SceNeRFlow,一种通用的,非刚性场景的,时间一致性的NeRF重建方法,可重建大尺度运动
宝二爷最新直播:当年低价买入矿机,有几十万枚以太坊ETH,如何在低迷的时候获取筹码的思路
[逆渲染进展,室内大规模场景] 如视、西北工业大学提出TexIR,使用3D Mesh和HDR纹理的TBL方案+三阶段材质优化方法,建模大规模可编辑的复杂室内场景
[NeRF纹理生成,SIGGRAPH] 中科院,腾讯等提出NeRF-Texture,从多视角图像采集和生成纹理,可应对如草、叶子、纺织品等3D空间复杂纹理生成
[NeRF,快速高质量重建] Tri-MipRF(PICO,清华,中科院),结合实时重建和抗锯齿高质量渲染的神经场方法,更小模型可达SOTA渲染质量和重建速度
[NeRF进展,实时流建模] 斯坦福大学提出NeRFBridge,将机器人操作系统ROS与nerfstudio桥接,实时在线流式训练NeRF模型
[NeRF进展] 香港中文大学提出双边滤波器引导的NeRF重构,可以消除相机拍摄变化引起的artifact,也可以进行3D风格化渲染
[NeRF进展,Relighting方向] 浙江大学,MSRA等提出一种新的可重光照的NeRF的表达,通过向MLP提供多种hint,实现不同光照效果
[AIGC&CG进展] 上海科技大学、Deemos提出DreamFace,仅通过文本控制生成个性化的3D人脸,并可以支持人脸老化、化妆或通过视频进行人脸动画控制
[NeRF进展,单目视频重建动态人-物-场景] 新加坡国立大学,腾讯等提出HOSNeRF,使用单目视频动态人-物-场景,LPIPS相比SOTA提升40%以上
[NeRF编辑] 腾讯Pixel Lab,上科大提出Neural Imposters,一种将四面体网格与隐式表达混合的方法,可以实现神经场的编辑和控制操作
[NeRF进展,深度估计方向,群友推荐] 博洛尼亚大学、Google等提出NeRF监督的深度立体方法,使用NeRF监督更加准确的深度度和视差图,提升超过30%
[NeRF进展,物体相机] MIT与莱斯大学脑洞大开:ORCa,将有光泽的物体转为神经场相机,将反光的不可见场景建模,可以看到物体看到的而不是相机看到的场景
[NeRF进展,稀疏重建,开源, SIGGRAPH] 印度理工学院ViP-NeRF,用平面扫描volume获得可见先验正则化NeRF,完成稀疏视角NeRF重建
[NeRF进展,风格化与重着色,NPR方向]东京大学使用一种新的Palette提取方法,使NeRF重着色可达到实时性能,实现NPR效果(EGSR 2022)