V
主页
HumanTOMATO:文本对齐的全身人体动作生成
发布人
HumanTOMATO: Text-aligned Whole-body Motion Generation 路舜林😎 2, 3, 陈凌灏😎 1, 2, 曾爱玲2, 林靖1, 2, 张瑞茂3, 张磊2, and 沈向洋1, 2 😎Co-first author. Listing order is random. 1Tsinghua University, 2International Digital Economy Academy (IDEA), 3School of Data Science, Shenzhen Research Institute of Big Data, CUHK (SZ) Arxiv: https://arxiv.org/abs/2310.12978 Project page: https://lhchen.top/HumanTOMATO Code: https://github.com/IDEA-Research/HumanTOMATO 【摘要】:本研究旨在解决一项新颖任务:文本驱动的全身动作生成。该任务以文本描述作为输入,旨在同时生成高质量、多样化和连贯的面部表情、手势和身体动作。以往的文本驱动动作生成研究主要存在两个缺陷:它们忽视了在生动的全身动作生成中精细的手部和面部所扮演的关键角色,同时文本和动作之间缺乏良好的对齐。为了解决这些缺陷,我们提出了一种名为HumanTOMATO的文本对齐全身动作生成框架。据了解,这是第一个尝试在这一研究领域实现可行的全身动作生成的工作。为了应对这一具有挑战性的任务,我们的解决方案包括两个关键设计:(1)一种用于精细重建、生成身体和手部动作的全面层级VQ-VAE(H²VQ)和Hierarchical-GPT,具有两个结构化码本;以及(2)一个预训练的文本-动作对齐模型,以帮助生成的动作明确地与输入的文本描述对齐。全面的实验证明,我们的模型在生成动作的质量和其与文本的对齐方面具有显著优势。
打开封面
下载高清视频
观看高清视频
视频下载器
ICCV 2023 | HumanMAC:人体动作预测新范式
MotionLLM: Understanding Human Behaviors from Human Motions and Videos
实操,用提示词微调AI大模型来写小说可以日更万字,效率起飞
Cursor 真的太牛逼了啊!今天连着做了两个 macOS 原生应用:视频画面文本搜索
4分钟教你用AI生成写真照!【Flux+LoRA小白教程】
国外AI七大国产平替,无需充钱直接用!
【Stable Diffusion】无限生成角色统一,任意调节姿势!保姆级流程,附(800+动作骨骼图,180+姿势图)零基础学习AI绘画必备!建议收藏
超越GPT-4o视觉能力?本地部署Qwen2-VL多模态视觉大模型!超越人类的视觉理解能力,精准识别X光片判断骨折、CT扫描检测癌症,还能识别手写体汉字与英文!
9月10日最新ChatGPT4.0使用教程,国内版免费网站,电脑手机版如何免下载安装通用2024
【最新赛道】1分钟AI自动生成视频,月赚1.5万+美元|全流程AI工具分享,302AI
【干货分享】用FLUX.1模型生成5000多种风格,附上工作流、提示词文本文件以及图片分享
OpenAI 无法开发出 GPT-5 了,吗?|草莓|猎户座|Strawberry|Orion
😨AI新技术让照片动起来了?静态图片秒变动画视频!全网最强超详细AI生成视频教程,图片秒变视频!
4款最强数字人工具大横评!
李飞飞团队最新开源ReKep:让机器人具备空间智能,还能整合GPT-4o!
全网详细AI生成视频教程,图片秒变视频!掌握自媒体流量密码啊(SD软件 模型 插件)
手写一个LLama Factory!代码逐行解析
外网爆火的大模型黑书!基于GPT-3、ChatGPT、GPT-4等 Transformer 架构的自然语言处理
AI生成视频失败案例,胆小警告
是什么让计算机生成的图像看起来真实?探索光线追踪和CGI的原理
爆火!ReconX:3D场景重建新范式!输入两张图片,给你一个3D逼真场景!
地表最强AI写代码工具——Cursor:人人都是P8程序员
【几何直觉】3D Gaussian Splatting(三维高斯泼溅), SuGaR 背后的几何 insight 讲解
谷歌颠覆游戏开发,AI实时生成游戏,米哈游老板说对了!
AI又进化?能实时捕捉表情换脸了?!!
【UE5】大型项目材质纹理优化策略技术 #4 //材质混合,顶点绘制等
强推!这可能是B站最全的(Python+机器学习+深度学习)系列课程了,堪称人工智能系列课程的巅峰之作!-人工智能/深度学习/机器学习
打破壁垒!【计算机图形学】带你看3A大作“黑神话悟空”如何照进现实!麻省理工大学公开课(中英字幕版)
【AI大模型】五分钟教你打造一个免费的本地企业级知识库问答系统!(附教程)小白也能学会!
【Cursor 带你圆梦】普通人也能一天开发+上架苹果原生应用?VideoSearch 本地视频文本搜索
【全网最新v4.9 SD教程】秋叶大神Stable Diffusion v4.9整合包! 零基础入门到精通全套SD教程,这可能是B站唯一能将SD讲明白的教程,
从电影特效到3A游戏:光线追踪(Ray Tracing)是如何让CG图像越来越真实的?
手把手NeRF代码讲解——模型训练
强推!这可能是唯一能将AI Agent讲清楚的课程了,公认最适合新手入门Agent大模型实战系列,3小时全流程解读分析,简直比刷剧还爽!人工智能|大模型
【中字】Apple 秋季发布会完整版!首发全新3nm、史上最快CPU/GPU!AI 功能中文版明年上线
【CVPR2024】最佳论文《Generative Image Dynamic》记录笔记
【AI扩图】union controlnet扩图超级神器,免费、完美、简单、高效
AI挑战黑神话!死亡1000次,我训练的AI终于击败了首个BOSS【图灵计划10】
15项将改变未来的新型技术( 纳米技术 6G 机器人 无人机 3D打印 人工智能AI AR)
黑神话:三维高斯溅射