V
主页
高丽大学开源!音频驱动的3D高斯泼溅实时说话人头像合成
发布人
我们提出了一种新的框架GaussianTalker,用于实时生成姿势可控的说话者的头部。它利用了3D高斯泼溅( 3DGS )的快速渲染能力,同时完成了直接用语音音频控制3DGS的挑战。GaussianTalker构造了头部的3DGS表示,并将其与音频同步渲染。一个关键的思路是将3D高斯属性编码为共享的隐式特征表示,并将其与音频特征融合,以操纵每个高斯属性。这种设计利用了空间感知特性,并加强了相邻点之间的交互。然后将特征嵌入送入空间-音频注意力模块,该模块为每个高斯的属性预测逐帧偏移。它比以前的级联或乘法方法更稳定,可以处理大量的高斯函数及其复杂的参数。实验结果表明,与之前的方法相比,GaussianTalker在人脸保真度、唇动同步精度和渲染速度方面具有一定的优越性。具体来说,GaussianTalker取得了高达120FPS的渲染速度,超过了之前的基准程序。 文章名称:【GaussianTalker: Real-Time High-Fidelity Talking Head Synthesis with Audio-Driven 3D Gaussian Splatting】 文章链接:http://arxiv.org/abs/2404.16012 项目主页: https://ku-cvlab.github.io/GaussianTalker
打开封面
下载高清视频
观看高清视频
视频下载器
想看懂生肉漫画吗?1分钟教你如何在线翻译!
法国团队最新开源!3D高斯溅射可以生成三维网格啦!
哈工大、清华联合开源GPS-Gaussian:可泛化的像素级三维高斯溅射,实时人体新视图合成
清华等联合开源!动态 3D 高斯超高保真头部重建
【良心推荐】免费小说阅读软件App,安卓+iOS双端可用!白嫖党必备的免费看小说神器,真的香~
哈工大、北师大、清华开源!逼真的3DGS人体化身
用AI还原13位民国佳丽的动态容颜,感受她们100年前的风华正茂!
七月最新百度网盘-无需会员-不限速-下载教程
晚上小惊喜,今天新伪装上架,iOS苹果免费看片神器,也不知道什么时候失效
当AI被用来盗取视频,会有多可怕?
香港科技大学博士生分享:室外场景下的快速鲁棒点云全局配准(上)
南大、中科院、复旦联合发布!时空锚定的生成式4D高斯 横屏
把全班同学挂在孙吧
可以跟知网说再见了!中科院推出免费数据库,可检索1.7亿文献资源,强烈建议所有研究生找AI方向的论文用起来!
华盛顿大学与英伟达联合开源!用于大规模仿真环境和机器人运动控制
北航发布We-GS!即插即用轻量级无约束照片集的室外3DGS
用AI在家作接单,昨天580,一台电脑,操作简单!分享我的接单平台、接单方法和资源分享,目前经济自由!!
最新剪映6.0.1绿色版,所有会员功能免费使用,功能强大,免费分享,获取方法在评论区~
ios18更新预览:apple ai来了,仅环大陆地区可用[破涕为笑]#人工智能 #apple ai#apple#苹果#iPhone#ios18
旧手机千万不要扔!把这几个软件装上还能焕发第二春!
大概是目前最好用的电视直播软件,频道多,路线多,秒播秒放!
【李宏毅】2024年公认最好的【LLM大模型】教程!大模型入门到进阶,一套全解决!2024生成式人工智慧-附带课件代码
ETHZ新开源|实时检测复杂环境中的运动物体,Dynablox方法突破性能!
用AI续写新闻联播片头曲,没想到燃成这样
【安卓+苹果】7月最新omofun纯净版,omofun动漫最新无广告版,免费看动漫追番软件APP!!
【免费自取】剪映6.0.1绿色免安装来啦,VIP功能不受限制,解压即用,免费无广,一键启动!
加州大学开源!城市空间中具身智能的仿真平台
加大洛杉矶分校与浙大等联合开源”物理高斯:用于生成动力学的物理集成三维高斯”
限时送头像popbob(拼赞)
7个冷门却好用的黑科技APP,少装一个都是亏!
旧手机挂机就能赚钱,闲置宽带别浪费!
7月22日全网最强版笔趣阁app,带你告别以前的免费小说软件!想搜就搜,想看就看!
由 AI 人工智能 runway 制作的AI艺术时装秀
剪映最新破解版6.0.1版本,手机电脑都可以使用,vip全功能可用,获取方法放在评论区了
【建议收藏】七月精选,四款最强的免费看漫画神器!全部实测可用,白嫖党必备的四款漫画软件APP
上科大与中科院联合开源!捕获情境环境中的多人多物交互
350km+的记录,cm级精度的数据集!用于自动驾驶的视觉长期定位!TUM开源!
我找到的泰坦监控泰坦电视还有泰坦音响的头像,可以截屏自取
pixiv分享 含无需魔法的镜像版
无需额外数据,输入文本即可合成高清一致的图像!首尔大学,即将开源!