V
主页
强化学习论文分享20240718-2
发布人
VISION-LANGUAGE MODELS ARE ZERO-SHOT REWARD MODELS FOR REINFORCEMENT LEARNING >内容简介: 强化学习(RL)要么需要人工指定奖励函数(这通常是不可行的),要么需要从大量的人类反馈中学习奖励模型(这通常是非常昂贵的)。我们研究了一种更有效的方法:使用预训练的视觉语言模型(VLM)作为零击奖励模型(RM),通过自然语言指定任务。我们提出了一种自然的和一般的方法来使用VLMs作为奖励模型,我们称之为VLM-RM。我们使用基于CLIP的VLM-RM来训练MuJoCo人形机器人学习复杂的任务,而不需要手动指定奖励函数,例如跪着、做劈叉和以莲花的姿势坐着。对于这些任务中的每一个,我们仅提供一个描述所需任务的单句文本提示,并将提示工程化程度降至最低。我们在https://sites.google.com/view/vlm-rm1上提供了经过培训的代理的视频。我们可以通过提供第二个“基线”提示并投影出与区分目标和基线无关的CLIP嵌入空间部分来提高性能。此外,我们还发现VLM-RM具有很强的缩放效应:用更多计算和数据训练的较大VLM是更好的奖励模型。我们遇到的VLM-RM的失效模式都与现有VLMs的已知能力限制有关,例如有限的空间推理能力或视觉上不真实的环境,这些环境对于VLMs来说是远离分布的。数值仿真表明,只要VLM足够大时,VLM-RM的鲁棒性就非常好。这表明,未来的VLM将成为越来越有用的奖励模型,用于广泛的RL应用。 EUREKA: HUMAN-LEVEL REWARD DESIGN VIA CODING LARGE LANGUAGE MODELS >内容简介: 大型语言模型(LLM)已经成为顺序决策任务的高级语义规划器。然而,利用它们来学习复杂的低级操作任务,例如灵巧的笔旋转,仍然是一个悬而未决的问题。我们弥合了这一根本性的差距,并提出了尤里卡,一个由LLM驱动的人类级别的奖励设计算法。尤里卡利用了最先进的LLM(如GPT-4)的卓越的零触发生成、代码编写和上下文改进功能,对奖励代码进行进化优化。由此产生的奖励可以通过强化学习来获得复杂的技能。在没有任何特定任务提示或预定义奖励模板的情况下,尤里卡生成的奖励函数优于专家人工设计的奖励。在29个开源RL环境(包括10种不同的机器人形态)中,尤里卡在83%的任务上优于人类专家,平均归一化改进为52%。尤里卡的通用性还使一种新的无梯度上下文学习方法能够从人类反馈中进行强化学习(RLHF),很容易将人类输入纳入其中,以提高生成的奖励的质量和安全性,而无需更新模型。最后,在课程学习设置中使用尤里卡奖励,我们首次展示了一个模拟的影子手能够执行转笔技巧,熟练地以快速的速度操纵笔。 > 关键词:LLM、Reward designing、RL
打开封面
下载高清视频
观看高清视频
视频下载器
CV强化论文分享20240704
强化学习论文分享20240131
强化学习论文分享20230410
强化学习论文分享2022-10-20
强化学习论文分享2022-10-06
强化学习论文分享2023-04-03
强化学习论文分享20240307
强化学习论文分享20240808
强化学习论文分享20230612
强化学习论文分享2022-09-29
强化学习论文分享2022-10-13
20240307CV强化论文分享
强化学习论文分享20230515
强化学习论文分享20240314_2
AI挑战黑神话!死亡1000次,我训练的AI终于击败了首个BOSS【图灵计划10】
强化学习论文分享20240718-1
强化学习论文分享20240509
强化学习论文分享20230719
强化学习第一步---换个模型玩
强化学习论文分享2023-02-09
强化学习论文分享20230424
强化学习论文分享20230629
强化学习论文分享20240117_2
强化学习论文分享2022-12-01
强化学习论文分享20230522
矩阵分解论文分享20240613
强化学习论文分享2022-12-29
CV强化学习论文分享20230720
CV强化学习论文分享20230803
强化学习论文分享2022-12-08
视觉强化论文分享20230913(CRESP)
基于多智能体强化学习的多小车建图与导航
CV强化论文分享-20240829-2
强化学习论文分享20230417
CV强化学习论文分享20230817
[下]6个人形双足强化学习开源项目,论文讲解,代码速读,FLD,PBRS,footstep,ExBody,humanplus,humanoid-gym
强化学习论文分享20240314_3
强化学习论文分享20230731
强化学习论文分享2023-02-02
强化学习论文分享20240725