V
主页
[数字人] 华中科大、南洋理工、大湾区大学等提出WildAvatar,开源的在不可控自然场景中,利用普通只能手机重建数字人形象的数据集和方法
发布人
WildAvatar: Web-scale In-the-wild Video Dataset for 3D Avatar Creation Zihao Huang, Shoukang Hu, Guangcong Wang, Tianqi Liu, Yuhang Zang, Zhiguo Cao, Wei Li, Ziwei Liu HUST,NTU,GBU,SHLAB 在不可控的自然场景中,可以利用普通智能手机重建自己的数字人虚拟形象吗?WildAvatar开源了一个不可控自然场景数据集支持训练,有几个特点:1)"超大体量",超过10k个真实人物;2)"贴近现实场景",非实验场景/系统收集;3)"标注成本低",提供数据收集与处理代码工具。数据及代码已经开源(如下),欢迎大家使用~ Project: https://wildavatar.github.io/ Code: https://github.com/wildavatar/WildAvatar_Toolbox Data: https://zenodo.org/record/11526806/files/WildAvatar.zip Paper: https://arxiv.org/abs/2407.02165 Existing human datasets for avatar creation are typically limited to laboratory environments, wherein high-quality annotations (e.g., SMPL estimation from 3D scans or multi-view images) can be ideally provided. However, their annotating requirements are impractical for real-world images or videos, posing challenges toward real-world applications on current avatar creation methods. To this end, we propose the WildAvatar dataset, a web-scale in-the-wild human avatar creation dataset extracted from YouTube, with 10,000+ different human subjects and scenes. WildAvatar is at least 10× richer than previous datasets for 3D human avatar creation. We evaluate several state-of-the-art avatar creation methods on our dataset, highlighting the unexplored challenges in real-world applications on avatar creation. We also demonstrate the potential for generalizability of avatar creation methods, when provided with data at scale. We publicly release our data source links and annotations, to push forward 3D human avatar creation and other related fields for real-world applications.
打开封面
下载高清视频
观看高清视频
视频下载器
手机版AI数字人工具!免费无限生成,无限克隆形象,无需配置,手机就能使用,最强平替heygen,效果完美
[可泛化GS重建] 华中科技大学、南洋理工等提出MVSGaussian,一种从MVS快速的可泛化的GS重建方法,可以有效、通用地重建未见的场景,并达到实时渲染
本地部署开源数字人,效果炸裂,玩嗨了。
[NeRF进展,稀疏视角+depth先验] 南洋理工大学ICCV提出SparseNeRF,利用现实世界不准确观测的深度先验来蒸馏深度排名,达到较好的重建效果
制作一个可以改动作的数字人居然如此简单
[3D生成] 南洋理工、香港中文、上海AI实验室提出DiffTF,一个基于扩散模型和三平面的前馈框架,用于生成多样化的、大语料量规模的真实世界3D物体
三种数字造人法,惊掉下巴
抖音数字人无人直播系统,从技术角度解决风控问题
[NeRF进展,城市建模] 南洋理工大学:CityDreamer,一种unbounded 3D城市设计的组合生成模型,效果超过SceneDreamer
[NeRF进展,任意相机路径NeRF快速重建] 香港大学、南洋理工大学、马克斯普朗克等CVPR Highlight:F2NeRF,任意相机路径NeRF快速重建
免费数字人 ,免费数字人的软件 ,免费数字人制作, 免费数字人网站 ,免费数字人直播, 免费数字人制作教程 ,免费数字人app, 免费数字人生成
智慧医疗AI虚拟人应用场景,可预约、挂号、缴费,打印等为一体的智能交互数字人
AI音频驱动人像说话、唱歌的一键整合包,解压即用!
不需要有显卡!比musetalk easywav2lip效果还要好的免费数字人生成工具!
[NeRF Relighting进展,SIGGRAPH] 浙大、微软亚研院等提出从一组物体的无结构图片,使用阴影和高光hints进行NeRF重光照的模型
[NeRF App] Luma AI推出新APP:Flythroughs,unbounded场景通过iPhone即可完成建模和漫游,已经发布上线,可开放体验
4款最强数字人工具大横评!
[NVS和三维生成进展] 香港大学、腾讯等提出SyncDreamer,不使用SDS损失,使用单图生成多视角一致性图片,进而使用Neus和NeRF重建三维模型
[3DGS大规模场景] 3DGS原作者在大规模场景高斯层次细节表达新工作,可达到覆盖数公里的超大规模数据集上的实时渲染
[3DGS编辑] 南洋理工、清华、商汤提出GaussianEditor,可交互式编辑3DGS场景,并提供WebUI实时体验
[NeRF进展,使用事件相机生成高质量NeRF] 马克思普朗克研究院,萨尔大学提出EventNeRF,使用事件相机生成高质量NeRF,低功耗、低数据量、快速重建
[点云进展,单图生成3D图片动画] 华中科技大学,Adobe,南洋理大学CVPR提出使用单图片生成3D图片动画的工作,提升图片内容表现力
一比一数字人分身定制,只需要输入文字让他24小时帮你出镜短视频
[数据集] 俄亥俄州立大学、滑铁卢大学:MagicBrush,一个人工标记的数据集,用来训练文本驱动的图片编辑,并精调instructPix2Pix验证了效果
[NeRF+Diffusion进展,少量视触目] Nitantic推出DIffusioNeRF,使用RGBD贴片训练的DDM模型,正则化few-shot重建过程
虚拟数字人实时视频通话
新加坡大学只知道南洋理工和国立?来看看另一所在闹市区的政府大学吧!
[三维重建] nVidia提出NKSR,一种新的从噪声的稀疏的点云重建地球级别3D表面的方法,可以在数秒中内完成对百万点的重建,并达到极好的效果
[LLM+场景生成]上交大,上海AI实验室,CMU,清华提出ChatSim,使用LLM生成大规模场景,交互式编辑模拟生成自动驾驶各种情况,生成高保真度场景视频
[NeRF进展,深度估计方向,群友推荐] 博洛尼亚大学、Google等提出NeRF监督的深度立体方法,使用NeRF监督更加准确的深度度和视差图,提升超过30%
[AIGC视频生生]Google等提出Lumiere,使用时空U-Net,单次传递,一次性生成视频完整时间,实现高质量文本转视频、图像转视频、视频修复、风格化等
[单视图重建]ETH、Google和TUM提出KYN,一种基于NeRF的3D密度重建方法,使用单视图恢复3D形状,提升了零样本泛化能力
进化洲数字人工具一键包109版,动物图片说话啦
数字人的 All in Dify
数字人软件免费下载,音频驱动口型虚拟主播解说视频制作工具Nova数字人
数字人一键包来啦! | ComfyUI数字人之数字人篇
[NeRF进展,Talking Head应用] 清华大学、鉴智机器人提出DFRF,快速小样本生成高真实感、自然的讲话头,可用于数字人等(ECCV 2022)
AniTalker数字人只需一张图不用训练就可以推理数字人速度快支持高清处理无需三方高清处理
2024年超好用的九大AI工具!免费且强大!(下集)
AI 数字人泛化模型效果展示