V
主页
[NeRF进展，Talking Head应用] 清华大学、鉴智机器人提出DFRF，快速小样本生成高真实感、自然的讲话头，可用于数字人等（ECCV 2022）
发布人
Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis（ECCV 2022) Shuai Shen, Wanhua Li(清华大学,北京信息科学与技术国家研究中心), Zheng Zhu(鉴智机器人), Yueqi Duan, Jie Zhou, Jiwen Lu（清华大学） Github地址：https://github.com/sstzal/DFRF 项目主页：https://sstzal.github.io/DFRF/ 讲话头（Talking head)生成是一个快速发展的新兴技术，应用场景有电影配音、虚拟人、在线教育等，非常广泛。近期基于NeRF的方法可以生成非常自然真实的讲话视频，这是因为它可以非常好的捕捉脸部3D的结构信息。但每个特定的模型身份都需要通过大数据集训练才能获得。在这个工作里，我们提出了动态脸部辐射场技术（DFRF），可以用来在少样本的情况下，生成讲话头，并可以很快的将模型用很少的训练数据，生成一个从未见过的新人。已有的NeRF方法都是直接编码一个特定人的三维几何与外观到神经网络中，与他们不同的是，我们的DFRF使用2D的图像数据就可以学到脸部先验知识。这样，脸部的辐射场就可以弹性的对新人进行调整，而且需要的图片数很少。另外，为了更好的建模人脸的变形，我们提取了一个可微分的脸部变形模块，它可以使用音频信号来将参考图片序列变形到目标生成空间。大量的实验证明，仅需要10秒的训练样本和40000次迭代，我们的DFRF方法就可以对一个新人物生成一个自然且高质量、可音频驱动的讲话头。我非常推荐读者观看我们的补充视频材料来进行效果对比。 Talking head synthesis is an emerging technology with wide applications in film dubbing, virtual avatars and online education. Recent NeRF-based methods generate more natural talking videos, as they better capture the 3D structural information of faces. However, a specific model needs to be trained for each identity with a large dataset. In this paper, we propose Dynamic Facial Radiance Fields (DFRF) for few-shot talking head synthesis, which can rapidly generalize to an unseen identity with few training data. Different from the existing NeRF-based methods which directly encode the 3D geometry and appearance of a specific person into the network, our DFRF conditions face radiance field on 2D appearance images to learn the face prior. Thus the facial radiance field can be flexibly adjusted to the new identity with few reference images. Additionally, for better modeling of the facial deformations, we propose a differentiable face warping module conditioned on audio signals to deform all reference images to the query space. Extensive experiments show that with only tens of seconds of training clip available, our proposed DFRF can synthesize natural and high-quality audio-driven talking head videos for novel identities with only 40k iterations.
打开封面
下载高清视频
观看高清视频
视频下载器
我其实是AI生成的数字人
Loopy，从静态图片+音频到口播数字人
AI克隆数字人，成品完美，制作简单，heygen最强平替，生成免费，无需积分
目前效果最好的免费数字人系统！在线生成
免费无限生成，数字人无限克隆（数字人带货）（数字人制作）heygen数字人平替工具
如何用自己的形象生成AI数字人，代替自己出镜创作短视频和直播？零成本干货教学！
[Diffusion进展] Google Research Imagen模型，提出一种新的图片生成文字的AIGC框架，更好的生成效果（NeurIPS 2022)
[NeRF进展，单视角3D重建]香港大学、未来智联等联合推出S3-NeRF，挖掘Shading和Shadow信息提升单视角3D重建(NeurIPS 2022)
UE5数字人_MetaHuman_Yang
[Diffusion+NeRF进展]慕尼黑工业大学、Meta研究院提出DiffRF (也许是首次)基于扩散模型的3D辐射场生成方法
[NeRF进展，动画方向] 东京大学在同年提出与我国CageNeRF类似的NeRF动画控制方法，同步了解别人的想法（ECCV 2022)
不露脸且爆火的视频怎么做？ Edimakor一键生成超逼真数字人，简单易上手，无需拍摄剪辑技能
[NeRF进展，移动实时渲染方向]Snapchat与东北大学联合推出MobileR2L，在移动设备上实时、低消耗、高质量地渲染NeRF三维场景，移动应用有突破
Aibote数字人素材拍摄与剪辑教程
wavlip数字人效果没这个好，视频对口型商用版，可以低成本获取免费流量
[NeRF进展，实时渲染方向]格拉茨科技大学与Meta提出AdaNeRF，通过双网络模型自适应采样实现NeRF的实时渲染（ECCV 2022)
[NeRF进展，场景天气风格化渲染]UIUC、浙江大学，马里兰大学提出ClimateNeRF，在NeRF场景中融合天气物理渲染，实现真实感天气场景渲染效果
[Transformer进展] ViewFormer，基于codebook+transformer模型的视角生成方法（优于NeRF，ECCV 2022）
数字人无人直播1.0.4版本
[GAN进展，真实感人图片生成] 3DHumanGAN，上海人工智能实验室与商汤提出3D-Aware的真实感人全身图片生成方法
AI数字人整合包！真实复制人脸人声，没有比这更好用的了！SD零基础新手教程,，comfyui整合包分享！
数字人制作教程，数字人应用，数字人直播，数字人克隆，数字人克隆软件，数字人软件推荐，数字人多少钱，免费数字人平替，数字人怎么做，数字人生成平台，数字人生成系统
[NeRF进展，稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF，利用现实世界不准确观测的深度先验来蒸馏深度排名，达到较好的重建效果
[NeRF+Diffusion进展，无条件或单视角重建] 同济大学、Apple等提出SSDNeRF，使用单阶段扩散prior生成NeRF，支持无条件或单视角重建
[NeRF进展]：LaTeRF，使用弱标记从图片中获得真实感3D物体表达（ECCV 2022）
[Diffusion，人体动画进展] nVidia提出PhysDiff，在diffusion生成动画中加入物理规律优化，昨日关注度高，效果极好
[NeRF, 复杂场景合成与控制] 香港中文大学、Snapchat、香港科技大学、浙大、UCLA等提出DisCoScene，在复杂场景上合成、编辑和操控物体
AI数字人成精了，字节放出第二代AI数字人，能模仿人类情感，根据音频节奏和语气同步人类丰富的面部表情和动作
数字人任意定制，合成效果视频对口型，效果远超SadTalker，wav2lip，商用版免费领取
【ComfyUI工作流】AI数字人免费制作，comfyui数字人制作工作流，上传照片即可生成数字人，最强数字人开源项目整合包
[NeRF进展，文本生成3D] Google，Ben、Jonathan提出DreamBooth3D，DreamBooth+DreamFusion，文本生成3D
[NeRF进展，高保真3D Avatar生成]香港科技大学、微软研究院提出Rodin，自动高保真、高细节度生成3D Avatar NeRF模型，数字虚拟人再突破
[NeRF进展，风格化与重着色，NPR方向]东京大学使用一种新的Palette提取方法，使NeRF重着色可达到实时性能，实现NPR效果（EGSR 2022）
[NeRF进展，编辑方向] 三星多伦多AI中心，多伦多大学，约克大学等：SPIn-NeRF，可快快速完成3D Segmentation和Inpainting任务
数字人Ada
[3D生成] 南洋理工、香港中文、上海AI实验室提出DiffTF，一个基于扩散模型和三平面的前馈框架，用于生成多样化的、大语料量规模的真实世界3D物体
[NeRF进展，使用事件相机生成高质量NeRF] 马克思普朗克研究院，萨尔大学提出EventNeRF，使用事件相机生成高质量NeRF，低功耗、低数据量、快速重建
[NeRF进展，大规模城市场景建模] CMU, Argo AI提出SUDS，构建最大的动态NeRF，可快速重建大规模城市场景，并因分支建模，支持一定后期处理能力
[NeRF进展，使用不同场景时期图片重建NeRF] 华盛顿大学、Google Research提出PersonNeRF，灵活使用各场景、时期图片重建人物NeRF
[NeRF进展，高质量快速训练、1080P实时渲染] INRIA，MPI等推出3D Gaussian Splatting，使用3D高斯表达场景和快速可见感知渲染
