V
主页
[Diffusion生成NeRF] TUM, Apple提出HyperDiffusion，用Diffusion计算神经场权重，统一框架下生成3D权重或4D动画
发布人
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion Ziya Erkoç, Fangchang Ma, Qi Shan, Matthias Nießner, Angela Dai TUM, Apple 项目主页：https://ziyaerkoc.com/hyperdiffusion/ Implicit neural fields, typically encoded by a multilayer perceptron (MLP) that maps from coordinates (e.g., xyz) to signals (e.g., signed distances), have shown remarkable promise as a high-fidelity and compact representation. However, the lack of a regular and explicit grid structure also makes it challenging to apply generative modeling directly on implicit neural fields in order to synthesize new data. To this end, we propose HyperDiffusion, a novel approach for unconditional generative modeling of implicit neural fields. HyperDiffusion operates directly on MLP weights and generates new neural implicit fields encoded by synthesized MLP parameters. Specifically, a collection of MLPs is first optimized to faithfully represent individual data samples. Subsequently, a diffusion process is trained in this MLP weight space to model the underlying distribution of neural implicit fields. HyperDiffusion enables diffusion modeling over a implicit, compact, and yet high-fidelity representation of complex signals across 3D shapes and 4D mesh animations within one single unified framework.
打开封面
下载高清视频
观看高清视频
视频下载器
[NeRF+文本转3D] nVidia，多伦多大学Sanja团队：ATT3D，在一秒内使用文本生成3D的方法，极大提升了生成速度，并可完成简单的3D转换型动画
[NeRF进展，稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF，利用现实世界不准确观测的深度先验来蒸馏深度排名，达到较好的重建效果
[3D生成] 南洋理工、香港中文、上海AI实验室提出DiffTF，一个基于扩散模型和三平面的前馈框架，用于生成多样化的、大语料量规模的真实世界3D物体
[NeRF Relighting进展，SIGGRAPH] 浙大、微软亚研院等提出从一组物体的无结构图片，使用阴影和高光hints进行NeRF重光照的模型
[NeRF进展，雾状鬼影消除] 伯克利提出NeRFBusters，使用3D Diffusion模型，对随意捕捉的NeRF去除雾状鬼影
[GS进展] 北京交通大学、UTAustin：开源4D生成框架|4DGen: 基于动态 3D 高斯的可控 4D 生成
[NeRF进展，稀疏重建，开源, SIGGRAPH] 印度理工学院ViP-NeRF，用平面扫描volume获得可见先验正则化NeRF，完成稀疏视角NeRF重建
[NeRF进展，城市建模] 南洋理工大学：CityDreamer，一种unbounded 3D城市设计的组合生成模型，效果超过SceneDreamer
[NeRF进展，文本生成3D] Google，Ben、Jonathan提出DreamBooth3D，DreamBooth+DreamFusion，文本生成3D
耗时三个月自制毕业设计三维动画短片——《何以为家》，日本核污染水排放对人类家园产生了毁灭性的破坏。
[单视图重建]ETH、Google和TUM提出KYN，一种基于NeRF的3D密度重建方法，使用单视图恢复3D形状，提升了零样本泛化能力
[3D生成] 浙大、字节SIG 24工作Coin3D，使用粗糙模型三维控制，可控且交互地生成三维资产，提升导出带纹理网格的质量
【AI知识分享】结合代码深度分析ControlNet与T2IAdapter到底是如何对Stable Diffusion添加条件控制的
Tekla节点插件视频教程-ST408A 支架节点
[Mesh进展] nVidia，多伦多大学提出FlexiCubes，使用isosurface或标量场迭代优化3D表面Mesh，相比MC和DMTeT取得巨大提升
[NeRF+Diffusion进展，少量视触目] Nitantic推出DIffusioNeRF，使用RGBD贴片训练的DDM模型，正则化few-shot重建过程
[文本转3D进展] 清华、人大等：ProlificDreamer，使用VSD解决过饱和、过平滑、低多样性问题，SDS是VSD的特殊情况，可应用在NeRF生成场景
【AI知识分享】扩散模型Flow Matching基本原理深度解析
高质量3D生成最有希望的一集？｜GaussianCube: 一种为3D生成设计的结构化表达
[NeRF机器人] 斯坦福报告:Perception-Rich Robot Autonomy with Neural Environment Models
[Diffusion进展] Google Research Imagen模型，提出一种新的图片生成文字的AIGC框架，更好的生成效果（NeurIPS 2022)
[NeRF+自动驾驶] 浙大、图宾根大学提出PanopticNeRF360，将3D标记与带噪声的2D语义线索组合生成一致性全景标签和高质量任意视角图片的方法
[3D生成] 港科大、LightIllusions等提出CraftsMan（匠心），使用3D原生diffusion生成高质量3D网格，也可支持可交互的网格生成
ComfyUI_Pops插件测试 VideoCrafter2模型介绍
[Diffusion+SDF，三维重建] 港中文、上海AI实验室、浙大提出DiffRoom，基于occupancy先验重建TSDF，生成高质量3D室内重建效果
[NeRF进展] Strivec(USC, UCSD, Adobe研究院），稀疏分布紧凑分解的局部张量特征grid的辐射场，比TensoRF和NGP效果好参数少
2024基于扩散模型的时间序列，必将迎来学术大爆发！43种前沿创新思路借鉴
[NeRF进展，人脸动画，褶皱渲染] 华沙工业大学、UBC、微软、Google等提出BlendFields，在少量数据下，结合图形学方法，生成细节表情动画
[NeRF进展，文本生成NeRF场景] 香港城市大学、腾讯提出Text2NeRF，一种由文本生成NeRF场景的方法，室内外生成效果都不错
儿童节给自己做个金刚同款机械臂，战斗力UPUP！！
[NeRF进展，使用事件相机生成高质量NeRF] 马克思普朗克研究院，萨尔大学提出EventNeRF，使用事件相机生成高质量NeRF，低功耗、低数据量、快速重建
[神经渲染进展，人体与物体合成] 首尔大学、Meta提出NCHO，一种将人体与物体组合，且反应物理接触关系变化的无监督学习模型，支持重新组合与动画效果
[Diffusion进展，文本生成360度体验] Intel提出LDM3D，使用文本生成RGBD图，并将RGBD图渲染为360度三维体验感内容
24年图像生成创新潜力股：图像神经场结合扩散模型，任意分辨率就能渲染图像！
[NeRF进展，2D图片生成3D人体] 南洋理工大学提出EVA3D，通过使用人体的分解NeRF表达，使用2D图片集训练生成高质量3D人体模型
[动态NeRF进展] 三星尖端技术研究院提出时域插值动态NeRF方法，通过在时域进行特征向量插值，构建动态场景的神经网络表达，训练速度与质量大幅度提升
[NeRF进展，点云重建] 捷克理工大学提出Tetra-NeRF，使用点云为输入，使用四面体和其德劳内表达进行重建，实现更好的重建性能和效果
[NeRF进展，物体相机] MIT与莱斯大学脑洞大开：ORCa，将有光泽的物体转为神经场相机，将反光的不可见场景建模，可以看到物体看到的而不是相机看到的场景
虚拟制作动画短片《映日机心》——上海电影艺术学院学生作品
[NeRF进展，避免重建干扰，提升重建效果] Google研究院，多伦多大学，SFU提出RobustNeRF，在场景中有影响效果时，用优化算法达到更好的重建效果
