V
主页
视频内容生成!Text2Performer:文本驱动的真人视频生成
发布人
https://github.com/yumingj/Text2Performer https://github.com/yumingj/Text2Performer https://arxiv.org/pdf/2304.08483.pdf 文本驱动的内容创作已经发展成为一种革新创造力的变革性技术。 在这里,我们研究了文本驱动的人类视频生成任务,其中视频序列是从描述目标表演者的外表和动作的文本中合成的。 与一般的文本驱动视频生成相比,以人为中心的视频生成需要在执行复杂动作时保持合成人的外观。 在这项工作中,我们展示了 Text2Performer 以从文本中生成带有清晰动作的生动人类视频。 Text2Performer 有两个新颖的设计:1) 分解的人体表示和 2) 基于扩散的运动采样器。 首先,我们利用人类视频的性质,以无监督的方式将 VQVAE 潜在空间分解为人类外观和姿势表示。 通过这种方式,生成的帧的外观得到了很好的维护。 然后,我们提出连续 VQ 扩散器来对一系列姿势嵌入进行采样。 与在离散空间中运行的现有基于 VQ 的方法不同,连续 VQ 扩散器直接输出连续姿势嵌入以实现更好的运动建模。 最后,运动感知掩蔽策略被设计为在空间-时间上掩蔽姿势嵌入以增强时间连贯性。 此外,为了促进文本驱动的人类视频生成任务,我们提供了一个带有手动注释动作标签和文本描述的 Fashion-Text2Video 数据集。 大量实验表明,Text2Performer 生成具有不同外观和灵活动作的高质量人类视频(高达 512 × 256 分辨率)。
打开封面
下载高清视频
观看高清视频
视频下载器
看了吴恩达的深度学习,看了小土堆的pytorch、李沐的动手学深度学深度学习也看完了!可是啥都看不懂,到底深度学习怎么学呀?
MagicAvatar:多模态虚拟人生成/驱动
Github,再见~这个网站我愿称为研究生今年最伟大的发现,几乎能解决所有论文代码复现难题!
机器学习全自动调参神器,一键优化,轻松构建最优模型
为什么IT大佬都不愿意带新人
华科提出UniAnimate:驱动单张图片跳舞,结果逼真
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
太厉害了 已跪!终于有人能把OpenCV图像处理+YOLO目标检测讲的这么通俗易懂了,计算机视觉付费全套教程无偿分享给大家!-深度学习丨计算机视觉丨YOLO
【全195集】禁止自学走弯路!回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完!
B站强推!2024公认最通俗易懂的【Transformer】教程,125集付费课程(附资料)神经网络_注意力机制_深度学习_BERT_大模型
人工智能助力足球比赛!姿态估计、球员检测、跟踪、位置分析全都可行!
Talk3D:个性化 3D 生成先验进行高保真说话肖像合成【数字人】
AI生成剧烈运动视频大翻车引起大佬热议 到底是什么原因造成的
谷歌拿下ICML 2024 最佳论文!VideoPoet:视频生成的大语言模型
超全超简单!一口气学完线性代数、微积分、统计学、概率论、核函数、贝叶斯、相关分析、聚类分析等人工智能高等数学基础!简直不要太爽!(机器学习/深度学习/神经网络)
大模型其实没有逻辑能力
草图生成动漫角色!草图实时自动生成插图和 3D 模型(Demo)
港大&浙大提出Gen6D:从 RGB 图像估计 6 自由度物体姿势
为了不写作业,12岁的他直接黑掉学校系统..
【全748集】清华大佬终于把Python做成动画片了,通俗易懂,从0基础入门到人工智能!全干货 学完即可就业!拿走不谢,别再多走弯路了!
致计算机专业学弟学妹的紧急自救指南!该如何自学计算机?大一、大二知道的越早越好!
三维目标跟踪(含开源代码) | Monocular Quasi Dense 3D Object Tracking
【算法工程师各领域详解】2024算法岗就业前景和最佳就业方向,想入门算法岗的一定不要错过,让你少走好几年弯路!-人工智能、机器学习、深度学习
从零设计并训练一个神经网络,你就能真正理解它了
英伟达实习生:零样本风格迁移!文本驱动图像生成!
央视:网安领域人员缺口300w!现实:很多人却连工作都找不到?
CVPR2023 | 扩散模型协作实现多模态人脸生成和编辑
深度学习调参有哪些技巧?
CVPR 2022 | 视频超分比赛冠军算法,商汤&南洋理工大学出品!
AAAI2024 | UCMCTrack:具有均匀相机运动补偿的多目标跟踪
浙大学长开源的免费项目EasySpider爆火了!霸榜Github
学术界不投中文期刊的原因是什么?
导师讨厌什么样子的学生?
哎呦我去,这个AI像妖怪!AI根据音乐生成视频music2video
SceneHGN:层次图网络用于细粒度几何的 3D 室内场景生成
rPPG -非接触式心率测量
暑假禁止摆烂!在家做Python接单,2个月赚了一年,分享实操方法,目前经济自由!!!
【AI视频生成】丝滑!视频版ControlNet来了! ControlVideo!
[CVPR 2021] House-GAN++ - 自动生成布局图 Demo (设计师的福音)
图解GPT可视化Transformer直观理解大模型运行原理