V
主页
【表情驱动】2024 FaceTalk: Audio-Driven Motion Diffusion
发布人
https://shivangi-aneja.github.io/projects/facetalk/ https://github.com/shivangi-aneja/FaceTalk 介绍了一种名为FaceTalk的新颖生成方法,用于从输入音频信号合成高保真度的人头说话3D运动序列。为了捕捉人头的表现力和细节特征,包括头发、耳朵和精细的眼睛运动,提出将语音信号与神经参数化头部模型的潜在空间相结合,以创建高保真度、时间一致的运动序列。为此任务提出了一种新的潜在扩散模型,该模型在神经参数化头部模型的表情空间中操作,以合成音频驱动的真实头部序列。在缺乏对应音频的NPHM表情数据集的情况下,对这些对应关系进行优化,以生成与人们说话的音视频录制相匹配的时间优化NPHM表情数据集。据我们所知,这是第一个提出用于体积人头真实高质量运动合成的生成方法的工作,代表了音频驱动3D动画领域的重大进步。特别是,这种方法在生成逼真的运动序列方面表现突出,可以在NPHM形状空间中产生高保真度的头部动画。实验结果证实了FaceTalk的有效性,在各种面部表情和风格中始终实现优越且自然的运动,在感知用户研究评估中比现有方法高出75%。
打开封面
下载高清视频
观看高清视频
视频下载器
【人脸重建】MonoNPHM: Dynamic Head Reconstruction from Monoculuar Videos
【人脸重建】2024 SMIRK: 3D Facial Expressions through Analysis-by-Neural-Synthesis
【表情驱动】IROS 2024 Driving Animatronic Robot Facial Expression From Speech
【表情驱动】2024 AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive
【3D人脸】2024 3D Gaussian Blendshapes for Head Avatar Animation
【视觉动捕】2024马普所新作Neural Localizer Fields for 3D Human Pose and Shape Estimation
【3D人脸】2024 3D人脸重建算法排行榜,没想到第一名竟是它
【表情驱动】2023 CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Pr
【人脸重建】2023 INSTA - Instant Volumetric Head Avatars
【人脸重建】ECCV2022 MICA - Towards Metrical Reconstruction of Human Faces
【运动重建】CVPR2024 Oral Robust Human Motion Reconstruction via Diffusion
太厉害了 已跪!终于有人能把知识图谱讲的这么通俗易懂了,浙大知识图谱入门及实战公开课分享!-深度学习丨NLP丨知识图谱
图像分割、目标检测、特征提取、边缘检测、图像滤波、人脸识别...终于有人把OpenCV那些必备的知识点讲透彻了!从入门到图像处理实战!
【动作生成】2024 EMAGE: Towards Unified Holistic Co-Speech Gesture Generation
【动作生成】AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents
【量化交易教程】全100集(完整版)清华大佬耗时一月讲完的系统python金融分析与量化交易实战课程,包含基础教程,进阶学习,项目实战案例讲解,存下吧,比啃书好
【运动生成】MotionLLM 探讨多模态(即视频和动作模态)人类行为理解
【具身智能】2024 智元发布会具身智能通用路线
【全463集】入门到精通,一口气学完线性回归、逻辑回归、梯度下降、SVM支持向量机、随机森林、决策树、贝叶斯、聚类算法、朴树贝叶斯、神经网络等十二大机器学习算法
【视觉动捕】转载 2024 WHAC 首个全身时序人体网格恢复,基于SMPLer-X,代码即将开源!
【Stable Diffusion】5款超绝涩涩大模型推荐 ,绝对好用!绅士都在用的SD大模型 新手小白必备 福利大放送!(附资料)
【机器人】表情最逼真的机器人
【科技鉴赏家】驱动表情与口型的终极工具!Advanced LivePortrait 让数字人更生动!AI整合包
【3D人脸】2022 3D Face Reconstruction with Dense Landmarks
【视觉动捕】2024 OfCaM: Global Human Mesh Recovery via Optimization-free Camera Motion
【3D人体】 ECCV 2024 Sapiens: Foundation for Human Vision Models
【动作绑定】转载,2024 Correspondance-free_online_human_retargeting
【3D人脸】2024 Infinite 3D Landmarks: Continuous 2D FacialLandmark Detection
【具身智能】2024 智元远征A2-交互服务场景
5-目标跟踪SiamFC
【视觉动捕】2024 第一人称视角Estimating Body and Hand Motion in an Ego-sensed World
【全874集】目前B站最全最细的ChatGPT零基础全套教程,2024最新版,包含所有干货!一天就能从小白到大神!少走99%的弯路!存下吧!很难找全的!
机器人行走02
【视觉动捕】2024马普所最新工作-基于Neural Localizer Fields的人体姿态估计
11-目标跟踪SiamFC++
【视觉动捕】2024 SIGGRAPH GVHMR Human Motion Recovery via Gravity-View Coordinates
吴恩达《构建AI驱动的游戏|Building an AI-Powered Game》deepseek翻译
6-目标跟踪SiamRPN
【手势估计】2024 WiLoR: End-to-end 3D Hand Localization and Reconstruction in-th
【3D人体】2024 ExAvatar Expressive Whole-Body 3D Gaussian Avatar