V
主页
京东 11.11 红包
模仿者:个性化语音驱动的3D面部动画
发布人
https://www.youtube.com/watch?v=JhXTdjiUCUw https://arxiv.org/abs/2301.00023 语音驱动的3D面部动画已被广泛探索,在游戏、角色动画、虚拟现实和远程呈现系统中有应用。最先进的方法使目标演员的面部拓扑变形,以同步输入音频,而不考虑目标演员的特定身份说话风格和面部特质,从而导致不真实和不准确的嘴唇动作。为了解决这个问题,我们提出了模仿者,一种语音驱动的面部表情合成方法,它从短输入视频中学习特定于身份的细节,并产生与特定于身份说话风格和目标演员面部特质相匹配的新颖面部表情。具体来说,我们在一个大型面部表情数据集上训练一个风格不可知的转换器,我们将其作为音频驱动面部表情的先验。基于此,我们基于简短的参考视频优化了特定于身份的说话风格。为了训练先验,我们引入了一种基于检测到的双唇辅音的新损失函数,以确保可信的嘴唇闭合,从而提高生成表达式的真实性。通过详细的实验和用户研究,我们表明,我们的方法从输入音频中产生时间上连贯的面部表情,同时保持目标演员的说话风格。
打开封面
下载高清视频
观看高清视频
视频下载器
港中大&腾讯提出CodeTalker:具有离散运动先验的语音驱动3D面部动画
IJCAI2022 | 文本/语音驱动的全身动画
绝了,AI生成动漫脸!
AI舞蹈动画合成系统,根据音乐自动生成高质量舞蹈! | SIGGRAPH 2021
ECCV2022 | 单图输入实现重建并模仿人体动作
Neural Holography 3D - 计算机生成高质量3D全息 | SIGGRAPH Asia 2021
吴恩达新课:从以模型为中心到以数据为中心的AI
AAAI2023|清华提出StyleTalk:说话风格可控的One-shot Talking Head Generation
Talk3D:个性化 3D 生成先验进行高保真说话肖像合成【数字人】
【AI视频生成】丝滑!视频版ControlNet来了! ControlVideo!
当AI把物理教材可视化,哪里不会点哪里,小滑块直接动起来
Ai动画7-12G可玩!快手可灵团队视频开源项目Pyramid-Flow!分数反超闭源项目!生成 速度超快!工作流和整合包分享-T8 Comfyui教程
视频内容生成!Text2Performer:文本驱动的真人视频生成
AI跳舞 battle 一下!+技术解释
AI 编辑视频!这特效太逆天了!SIGGRAPH Asia 2021
浙大&谷歌:神经场景渲染系统!可操控场景内对象!效果太惊艳!ICCV 2021
拥有一个可以没有限制聊天的AI是什么体验?
[TOG 2021] StyleFlow - 哈登看了直呼内行的AI特效
MagicAvatar:多模态虚拟人生成/驱动
CVPR2022 三维目标跟踪 | 融合区域和深度以实现无纹理对象的高效 3D 跟踪
AI自动踢足球!能攻能守!在GFootball中成功学习五名玩家策略!
面部重演大汇总!
3D建模师们一觉醒来,天塌了
一分钟感受计算机视觉的魅力!CVPR 2021 最具创造力的工作!
SceneHGN:层次图网络用于细粒度几何的 3D 室内场景生成
AI工业场景应用 Demo | 含火焰检测、头盔检测、口罩检测等
ICCV2023 | 特征扩散——StyleGAN 中的“致命伤”及其解决方案
用全局运动聚合学习估计隐藏运动 | ICCV 2021
AI魔法-无限循环!检测静止图像中的周期图案并变成动画,已有14万用户体验!SIGGRAPH 2021
英伟达实习生:零样本风格迁移!文本驱动图像生成!
比GPT4还6?!心流AI究竟有多强
ICCV 2023: 应用深度学习技术给动漫线稿插帧!
AI “隐身” 又升级!影子,烟雾统统消失!视频剪辑用户福音,代码开源!CVPR2021 Oral
[AAAI 2022] 高质量人脸编辑!MOST-GAN:用于解耦解人脸编辑的 3D 可变形 StyleGAN
CVPR2022 | 谷歌出品!逼真的单目 3D 人体重建
ECCV 2022 | 深度图分解用于单目深度估计
Google Research提出StylEx:训练GAN可视化解释每个属性如何影响分类模型 | ICCV2021
ECCV 2022 | 无惧遮挡!3D 交互手部姿势估计
当人工智能遇见建筑设计!ICCV 2021
CVPR2022 | OSSO:从外部获取骨骼形状