V
主页
以1000fps超高速捕获面部数据,实时高质量4K渲染|SIGGRAPH ASIA 2022
发布人
在本文中,我们提出了一种新的基于学习、视频驱动的方法,用于使用高质量的基于物理的资产生成动态面部几何图形。两个关键组成部分是结构良好的潜在空间,这是由于视频中稠密的时间采样和明确的面部表情控制来调节潜在空间。对于数据采集,我们构建了一个混合多视图光度捕捉阶段,与超高速摄像机耦合,以获得原始3D面部资产。然后,我们开始使用单独的VAE对面部表情、几何体和基于物理的纹理进行建模,其中我们在各个网络的潜在空间中使用基于全局多层感知器(MLP)的表达式映射,以保持各个属性的特征,同时保持对面部几何体和纹理生成的显式控制。我们还引入了将delta信息建模为纹理VAE中基于物理的纹理的褶皱贴图的想法,实现了动态纹理的高质量4K渲染。我们展示了我们在高保真表演者特定面部捕捉和跨身份面部运动转移和重定目标方面的方法。此外,我们的基于多VAE的神经资产,以及快速适应方案,也可以用于处理野生视频。 项目主页:https://sites.google.com/view/npfa/ 论文地址:https://arxiv.org/abs/2202.05592
打开封面
下载高清视频
观看高清视频
视频下载器
SIGGRAPH 2022|需6个视图,即可重建渲染动作!上科大,最新开源!
【直播分享】基于动态交互表征的灵巧手物体抓取过程学习(SIGGRAPH 2022)
ICRA2022|浙大&商汤等发布紧耦合RGB-D视觉惯性VIP-SLAM,速度快2倍!
首个具有详细标签的大规模数据集!比现有方法高出6.35%mloU! UZH新开源无需标记事件,即可进行语义分割!ECCV 2022
太酷了!手持激光雷达,即可在线实时重建点云!牛津大学最新发布,可用于森林调查!
【IROS2022】港科大&大疆即将开源|短时间生成高质量三维稀疏拓扑骨架图,移动机器人的全局规划!
【即将开源】肌肉+骨骼级的手部重建,连掌纹皱纹都清晰可见!中科院&上科大等新研究,SIGGRAPH2022
逼真!视图合成新方法,比已有方法快1000多倍!CVPR2021
[SIGGRAPH 2024] 从儿童画到3D场景只要3分钟!Rodin@Real-time Live!
超有用!三维重建让起重机实现无人装卸!佐治亚理工!
就离谱!一键抠图,是时候和PS说拜拜了,超强发丝级抠图算法重磅开源!可在线试玩
最新开源|支持惯性、激光雷达、双目和RGB-D传感器的系统!
TUM等发布|拥挤环境下,帮助行人检测和跟踪!超大规模数据集!
【前沿论文】打假先锋,迄今最大的人脸深度伪造公开数据集|CVPR 2021 oral
人体任意视角打光,解决光影反射等问题!南洋理工新开源,ECCV2022!
【开源】DSOL:一种快速直接稀疏里程计方案,处理速度提高5倍!宾夕法尼亚大学
【智驾系列8】占据网络为什么对自动驾驶很重要?
MIT等开源|实时构建3D场景图,机器人探索大规模环境的空间感知算法!
MIT发布|无需lidar和IMU之间的相对定位,即可提供高速率的里程计估计!
ETH发布!轮腿式机器人的鲁棒自主导航与运动学习
【即将开源】换头技术,它又双叒叕来了!比比哪家强?华南理工&百度最新研究HeSer实现动态换头!CVPR2022
【智驾系列7】自动驾驶为啥都不用高精地图了?
ECCV2022|用FlowFormer预测光流,效果惊艳!误差减少16.5%!
误差降低40%以上,华为诺亚发布单目视觉动作捕捉算法CLIFF!最新开源,ECCV2022!
手把手带你入门SLAM
【直播回放】聊聊SLAM硬件、算法评估、数据集、词袋、特殊场景
【硬核课程】ORB-SLAM2重点梳理1:特征提取/匹配、图结构、地图初始化、跟踪、局部建图
【六哥答疑】研0小白在哪里找最新的SLAM论文呢?
ICRA22 CMU机器人所讲座 | 机器人自主导航开发环境
手把手教你学习标定基础知识
【开源】一键擦除图片中的对象!可试玩!三星提出新的图像修复网络
【开源】ICRA2022|基于激光雷达的终身地图构建和维护框架!
【六哥答疑】哪些相机比较适合做SLAM?
好神奇,一键即可变笑脸!面部、眼睛、嘴和头发均可任意改变!最新开源!
SLAM入门简介及ORB-SLAM2论文精讲
20240731【多模态研究进展】徐偲:面向低质多模态数据的深度学习
SU发布|可匹配10Hz传感器的速率,实现轻量级的实时定位和映射!
上科大24级CS培养方案解读
机器人能从猫猫身上学到什么?
机器人【孤勇者】“总有一天,全宇宙的机器人都要高看我”