V
主页
[NeRF+强化学习]柏林工业大学、MIT、Google使用NeRF监督强化学习agent的方法,加强自动物体操控能力(NeurIPS 2022)
发布人
Danny Driess, Ingmar Schubert(TU Berlin) Pete Florence(Google) Yunzhu Li(MIT) Marc Toussaint (TU Berlin) [论文地址]:https://dannydriess.github.io/papers/22-driess-NeRF-RL-preprint.pdf 为训练强化学习的agents找到一个有效的表达是个长期存在的问题。我们的工作显示,相比于其他的表达方式,使用NeRF为监督的学习状态表达可以提升RL的性能,甚至在更低维度、手工标记的状态信息也非常有效。具体的讲,我们提出了一种编码器,将多张图片映射到一个描述场景中的物体的隐形空间。而解码器是从一个隐形条件的NeRF作为监督信号来学习隐形空间。然后,RL算法使用这个学习到的隐形空间为它的状态表达。我们把这个方法称为NeRF-RL。我们的实验显示用NeRF作为监督,可以让隐形空间更加适合于下游的强化学习任务,比如像挂起杯子、推物体、开门等机器物体操控场景。 It is a long-standing problem to find effective representations for training reinforcement learning (RL) agents. This paper demonstrates that learning state representations with supervision from Neural Radiance Fields (NeRFs) can improve the performance of RL compared to other learned representations or even low-dimensional, hand-engineered state information. Specifically, we propose to train an encoder that maps multiple image observations to a latent space describing the objects in the scene. The decoder built from a latent-conditioned NeRF serves as the supervision signal to learn the latent space. An RL algorithm then operates on the learned latent space as its state representation. We call this NeRF-RL. Our experiments indicate that NeRF as supervision leads to a latent space better suited for the downstream RL tasks involving robotic object manipulations like hanging mugs on hooks, pushing objects, or opening doors.
打开封面
下载高清视频
观看高清视频
视频下载器
[NeRF进展,街景重建方向] 复旦大学提出S-NeRF,将街景重建PSNR提升45%,可以兼顾大规模场景背景与前景移动车辆处理
进来看看吧!零基础入门【王树森深度强化学习】完整版教程,含配套项目代码—王树森、深度强化学习、人工智能、深度学习、强化学习
[Neural Rendering]Facebook Reality Lab提出AutoAvatar,推进神经场技术到真实人体动效生成领域(ECCV 2022)
全网最通俗易懂,大模型偏好对齐RLHF从PPO推导DPO再推导simPO
[NeRF进展,文本生成3D] Google,Ben、Jonathan提出DreamBooth3D,DreamBooth+DreamFusion,文本生成3D
【强化学习入门到实战】这也太全了!Q-learning算法、DQN算法、PPO算法、A3C算法等强化学习核心算法一口气学完!_AI/人工智能/深度学习/强化学习
[3DGS] 作者Bernhard Kerbl讲讲3DGS的历史、思考过程(感谢群友的投喂)
[NeRF进展,风格化与重着色,NPR方向]东京大学使用一种新的Palette提取方法,使NeRF重着色可达到实时性能,实现NPR效果(EGSR 2022)
比刷剧还爽!一口气学完深度强化学习零基础入门视频教程全套课程!PPO算法/DQN算法/A3C (人工智能、深度学习、机器学习、神经网络、图像处理、AI)
【比刷剧还爽!】太完整了吧!中国科学院大学和上海交大强联合的(PyTorch+深度学习+强化学习+机器学习)课程分享!快速入门极简单——人工智能_AI_神经网络
[NeRF进展,人脸动画,褶皱渲染] 华沙工业大学、UBC、微软、Google等提出BlendFields,在少量数据下,结合图形学方法,生成细节表情动画
mmyolo从环境部署到训练自己的数据集,手把手带你玩转YOLO系列开源工具箱—MMyolo!(深度学习/计算机视觉/目标检测)
终于找到了这个逐行解读代码的网站!全网近百万大学生研究生收藏!github标星超55.6k!----机器学习/深度学习/CV/NLP
[NeRF进展,鲁棒的动态NeRF]Meta,台湾大学、KAIST、马里兰大学提出RoDynRF,联合预测静态、动态和相机姿态焦点信息提升鲁棒性
[NeRF进展,移动实时渲染方向]Snapchat与东北大学联合推出MobileR2L,在移动设备上实时、低消耗、高质量地渲染NeRF三维场景,移动应用有突破
[NeRF进展,文本转3D,20221228发表]腾讯ARC Lab、PCG,上海科技大学等提出Dream3D,使用文本转形状+CLIP,提升文本转3D效果
强推!我居然只花了1小时就学会了【优化算法】遗传算法、蚁群算法、模拟退火算法、粒子群优化算法一次吃透!真的太简单易懂了!(人工智能、神经网络、机器学习)
火遍油管!大神把【马尔科夫链】给做成动画了!一步一步动画深入理解原理,从模型理论到核心概念 (附讲解视频+资料)-机器学习算法、马尔科夫链、随机过程
[3DGS几何优化]上科大、图宾根大学提出2DGS,一种从多视图图像中建模和重建几何精确辐射场的新方法,解决3DGS几何一致性差的问题
千万级大赛来袭!扶我起来!Kaggle ARC Prize2024赛题分析 #强化学习 #推理语料库 #人工智能系统
[Transformer进展,文本生成图片]GoogleAI提出Muse,首次使用Transformer代替Diffusion模型完成文本生成图片,速度快
[NeRF进展,自动数据收集] INSA, UCBL, Meta提出AutoNeRF,一种不需要人工干预的自动agent,采集NeRF训练数据,协助完成下游任务
[NeRF进展,单图片成3D内容] 德克萨斯大学奥斯丁分校提出NeuralLift-360,使用单图生成3D物体
[NeRF进展,雾状鬼影消除] 伯克利提出NeRFBusters,使用3D Diffusion模型,对随意捕捉的NeRF去除雾状鬼影
[NeRF进展,使用事件相机生成高质量NeRF] 马克思普朗克研究院,萨尔大学提出EventNeRF,使用事件相机生成高质量NeRF,低功耗、低数据量、快速重建
I3D 2023 Papers Session 1 - Neural Rendering and Image Warping
[NeRF, 复杂场景合成与控制] 香港中文大学、Snapchat、香港科技大学、浙大、UCLA等提出DisCoScene,在复杂场景上合成、编辑和操控物体
10大模型全栈-强化学习03-RLHF原理以及流程介绍
[NeRF进展,动态系统建模,优于D-NeRF] UCLA、MIT、马里兰大学等提出Pac-NeRF,从多视角视频中提取高动态优物体的几何与物理参数信息
[群友工作] 上科大,Deemos等推出Media2Face,语音合成 3D 面部动画的新算法以及多型、多样化的扫描级别语音与3D协同数据集M2M-D
12大模型全栈-强化学习05-RLHF实战-端到端全流程解决方案-轩辕大模型强化学习完整流程介绍(数据+奖励模型+强化学习调参经验)
11大模型全栈-强化学习04-RLHF实战-deepspeed-chat实战
[NeRF进展,实时动态、静态6-DoF视频渲染]CMU, Meta等联合推出HyperReel,在低内存消耗下,实现实时的、高质量的、高分辨率的体渲染方法
[NeRF进展,稀疏输入视角重建]CMU提出GBT,在稀疏图片输入的情况下,使用几何biased Transformer显著提升稀疏图片重建效果
[NeRF又一大神作,实时渲染、NeRF光照、编辑以及物理模拟] 几位google创始大神再发新作BakeSDF,60fps以上实时渲染,并支持编辑与物理模拟
[神经网络驱动3D建模] 特拉维夫大学、芝加哥大学、普渡大学提出GeoCode,一个人类可解释、可修改编辑的3D建模方法,提升对生成模型的操控力
[NeRF进展,鲁棒的动态NeRF] RoDynRF CVPR最终presentation视频,联合预测静态、动态和相机姿态焦点信息,提升动态nerf鲁棒性
基于QT的可视化路由训练平台+DQN强化学习(七剑学院QT项目,开发中)
通过对抗运动先验学习四足机器人的双足行走
【斯坦福】Robotics and Embodied AI Lab REALab at Stanford University