V
主页
HyperHuman:基于隐式结构扩散的超逼真人像生成
发布人
https://snap-research.github.io/HyperHuman/ https://github.com/snap-research/HyperHuman 尽管大规模文本到图像模型取得了重大进展,但实现超现实的人类图像生成仍然是一项理想但尚未解决的任务。 现有模型(例如稳定扩散和 DALL·E 2)往往会生成部分不连贯或姿势不自然的人体图像。 为了应对这些挑战,我们的关键见解是,人类图像本质上是跨多个粒度的结构,从粗粒度的身体骨骼到细粒度的空间几何。 因此,在一个模型中捕获显式外观和潜在结构之间的这种相关性对于生成连贯且自然的人类图像至关重要。 为此,我们提出了一个统一的框架 HyperHuman,它可以生成高度真实和多样化布局的野外人类图像。 具体来说,1)我们首先构建一个以人类为中心的大规模数据集,名为 HumanVerse,它由 3.4 亿张图像组成,具有人体姿势、深度和表面法线等全面注释。 2)接下来,我们提出了一种潜在结构扩散模型,该模型可以同时对深度和表面法线以及合成的 RGB 图像进行去噪。 我们的模型在统一网络中强制执行图像外观、空间关系和几何形状的联合学习,其中模型中的每个分支在结构意识和纹理丰富性方面相互补充。 3)最后,为了进一步提高视觉质量,我们提出了一种结构引导细化器来组合预测条件,以更详细地生成更高分辨率。 大量的实验表明,我们的框架具有SOTA的性能,可以在不同的场景下生成超逼真的人类图像。
打开封面
下载高清视频
观看高清视频
视频下载器
3D数字人生成技术革新:高质量可控组合式生成,这项工作已被ECCV2024收录
【全108集】花2w买的SD教程!我付费,你白嫖,全程干货无废话,要是还学不会,我退出AI绘画圈!!!零基础Stable Diffusion教程!AI绘画
【AI知识分享】扩散模型随机微分方程(SDE)公式保姆级手推,锐评薛定谔桥+薛定谔桥Flag已立
图像超分辨率技术更上一层楼的神技:单步有效扩散网络打破传统局限!计算效率极高
全网详细AI生成视频教程,图片秒变视频!掌握自媒体流量密码啊(SD软件 模型 插件)
耗时1年,复活100多种《山海经》神兽,大型纪录片即将上线!
Text2Tex:基于扩散模型的文本驱动纹理合成
【Stable Diffusion】超详细ReActor AI换脸教程,地表最强插件!比roop更强的存在!小白也能轻松一键实现人脸替换(附安装包,插件)
CVPR'24 Highlight 北大 | 扩展动态人景交互建模新突破, 生成的动作质量均优于现有技术
【AI知识分享】保姆级扩散模型DDIM基本原理深度解析
AI控制光照效果!ControlNet 新作 IC-Light 被网友玩出花!
ControlNeXt: 参数量减少90%,却比ControlNet更强大且高效的AI生成控制工具
腾讯XR实验室 | Sketch2Scene:”神笔马良”,你随意画的草图就可自动生成交互式3D游戏场景,且效果紧密契合你的意图
ICCV2023 | MCNET 隐式身份表示条件记忆补偿网络用于talking head video generation
【劝退】自学StableDiffusion能救一个是一个!这里面的水可深了!人工智能大佬专为零基础研制的StableDiffusion教学教程,太牛了!AI绘图
SD吊打PS垃圾扩图!AI免费扩图神器!零基础也能学会SD如何扩展图像背景,一键安装,手把手教学!
SceneHGN:层次图网络用于细粒度几何的 3D 室内场景生成
AI来搞事了,这次把摄影师干倒了!Stable Diffusion AI绘画10大SD真实系人像模型+LoRA推荐!光影堪比王家卫!超真实人像!
Flux都火出天际了 你还没用上?120亿参数,堪称无敌!!本地部署 2秒一张图 最强AI绘画模型
【Stable diffusion】SD生成视频又又又进化了,AI视频王者归来!极度爆炸的视频生成!真的太实用了,这3个新功能一个比一个炸~(附插件)保姆级教程
FLUX 全生态讲解 文生图、高清放大、图生图、局部重绘、Lora与Controlnet工作流搭建,玩FLUX看这篇就够了!
CVPR2023!使用文本到图像扩散模型的开放词汇全景分割
南洋理工大学提出VideoBooth:基于扩散的图像提示视频生成
【AI漫画小说推文】漫画助手5.5插件整合包和保姆级详细出图教程强势来袭!!教你一键搞定漫画/小说/真人推文~ 快速生成各种风格的同时还能保持人物一致性!!
大型《山海经》纪录片上线:你知道山海经,可是你没见过!【视频类赛道+经典IP改编影片】
FPS鼻祖DOOM重现江湖!仅凭扩散模型颠覆游戏开发革命,每秒20帧实时模拟画面
南洋理工大学提出StableSR! 开源! 利用扩散先验实现真实世界图像的超分辨率
卡通化算法!SIGGRAPH Asia 2022|VToonify 高分辨率视频风格转换
讲座 | 三维室内场景纹理图生成——慕尼黑工业大学视觉实验室24届博士陈振宇
GAMES Webinar 336-视觉专题-朱智宇-NVS-Solver以及扩散模型与新视点渲染相融合的一些理解
AI广西宣传片视频制作教程 Stable Diffusion动画工作流入门到精通 AIGC旅游宣传片广告商业视频输出教程Deforum震撼转场
【AI小说漫画推文】SD漫画助手5.5插件整合包和保姆级详细出图教程强势来袭!! 教你一键搞定漫画/小说/真人推文~快速生成各种风格的AI绘画 副业变现出图!!
Texturify:基于 GAN在 3D 形状表面上生成高质量纹理
AI艺术创作新范式:生成+拼接+补全
我承认阁下很强,但假如,我是说假如!AI可以支持草图设计,而且还可以交互!阁下又当如何应对?
【Midjourney教程】3分钟教你复刻黑神话悟空的风格!--sref指令,干货分享、MJ教程、MJ垫图
|第9期|全面讲解Flux,5分钟学会flux的一切,flux工作流,挑战用AI做100件事,
人工智能学拳击&击剑!从一个废人到有那个味了!two minute paper
人工智能“艺术家”生成近乎完美的卡通形象!万物皆可卡通化!
【AI视频生成】丝滑!视频版ControlNet来了! ControlVideo!