V
主页
京东 11.11 红包
斯坦福2023年公开课CS25 - 大语言模型与人类对齐
发布人
这是斯坦福2023年公开课CS25的第二课:《 Language and Human Alignment》,讲师是OpenAI的Jan,他目前领导OpenAI的对齐(Alignment)团队,并曾在DeepMind担任研究员。他拥有强化学习理论博士学位,并且在过去的10年里一直在思考对齐问题。 这节课的主要内容是探讨AI的对齐问题,也就是如何让AI系统符合人类的意图和偏好,以及如何构建能遵循人类意图的AI系统? 遵循人类意图意味着:对于明确的意图,能遵循指令,成为一个可靠的助手;对于不明确的意图,需要通过后续问题明确,不要编造,不要做有害的事情。 现在使用的主要技术是强化学习反馈,这是用来训练InstructGPT和ChatGPT的技术。首先需要训练一个奖励模型,然后要用人类标注员去标注数据,来告诉模型哪些结果更是人类想要的。虽然每个人类标注员都有自己的偏好,甚至可能有不一致的地方,但模型会多结果进行平均。 从成本上来说,人类反馈的成本要远低于预训练的成本,不到预训练计算量的2%。基于人类反馈的强化学习(RLHF)可以让模型做任何它想做的事情,它可以自己找出最好的方法来做事情,你只需要对它的结果进行评估就好了。 “评估比生成容易” 很多任务虽然人类不擅长,但是可以很容易的给出评估。 RLHF也有一些限制,比如当人工智能进化到一定程度,其可以完成的任务难度也会提升,但是人类评估任务的水平却无法提高,这时候人类将无法再给AI有效的反馈。所以未来我们需要AI来辅助人类进行评估,让AI帮助指出结果中的问题,人类对AI评估的结果进行评估。 课程页面:https://web.stanford.edu/class/cs25/ 参考材料: - ChatGPT:https://openai.com/blog/chatgpt - InstructGPT: https://openai.com/research/instruction-following - Language Models are Few-Shot Learners (GPT-3):https://arxiv.org/abs/2005.14165
打开封面
下载高清视频
观看高清视频
视频下载器
【李宏毅】2024秋《生成式人工智能导论》教程!LLM大模型入门到进阶,比刷剧爽多了!--附带课件代码
斯坦福大学教授李飞飞在2024年数据与人工智能峰会上的人工智能历史与未来演讲(双语字幕)
【MATLAB速成】这可能是全网最适合初学者入门的MATLAB教程了!花3小时就能从入门到精通,草履虫都能听懂!
【全368集】强推!这可能是B站最全的AI大模型开发系统教程,2024最新版,草履虫都能学会!存下吧,逼自己一个月学完,少走99%的弯路!
吴恩达:AI 智能体工作流的未来展望
梅琳达·盖茨在斯坦福 2024 毕业典礼上的演讲 —— 三个建议:开放的心态面对人生大的转变、找到你人生中的贵人和成为别人的贵人、经营好自己的关系网
【B站最全】2024最新清华内部版大模型课程第二季!从入门到进阶!全程干货讲解,通俗易懂,学完及就业!
【比看狂飙还爽!】2024年最全人工智能入门的天花板教程!不接受任何反驳,草履虫都能学会!人工智能|AI|机器学习|深度学习|)
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
【限时开放】最新AI人工智能零基础全套课程!探究AI原理+大量实操项目,机器学习/深度学习/神经网络/大语言模型
OpenAI CTO Mira Murati 在母校达特茅斯工程学院的访谈——人工智能无处不在:改变世界,赋予人类力量
【文心智能平台】Agent智能体从入门到项目实战!看这一个就够了,Agent开发必备学习路线,大模型入门教程
Google的教学视频《生成式AI介绍》(中英双语字幕)
ECCV 2024 最佳论文候选!PointLLM:使大语言模型理解点云!
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期 1——课程介绍
生成式AI学习2——大语言模型介绍
【全463集】禁止自学走弯路!环境感知、目标检测、语义分割、强化学习、决策与控制算法等八大自动驾驶核心算法一口气学完!
从0配置环境到跑通代码:pycharm+anaconda+pytorch+cuda全详解,最通俗易懂的深度学习环境配置教程!
「个人分享」传统方法vs大语言模型:如何从PDF中提取有效数据并转换成Excel?
是什么让大语言模型有了推理的能力?
被导师夸了3年的文献阅读+笔记整理方法!研0不会看论文的真心建议你来学三分钟!研究生/毕业论文/文献综述
最新多模态大模型QWEN2-VL详细教程-环境配置、数据集构建、模型微调、训练流程、效果展示
为什么神经网络可以学习任何东西?首次使用动画讲解,带你吃透神经网络!(CNN卷积神经网络、RNN循环神经网络、GAN生成式对抗网络、人工智能、AI)
草履虫都能完成毕设!Opencv+YOLO实时目标检测,公认最适合毕业的计算机视觉实战教程!(深度学习丨计算机视觉丨YOLO丨OpenCV)
Ollama+OpenWebUI超简单部署教程!附安装文档,本地部署大模型教程,让你快速部署属于自己的本地知识库!
卷积到底卷了啥?复旦大佬带你三小时快速上手【卷积神经网络】入门及实战,全程大白话讲解比刷剧还爽!
【大模型保姆级教程】5分钟学会GLM-4微调大语言模型Lora,新手必会!
全网首个UKB课程UKB临床数据挖据从入门到精通(私信UP领全部视频+资料包)
外网超火爆的神级LLM大模型评分最高的新书!还没出版就拿下25.5w satr:从头开始构建LLM大语言模型,281页PDF+课件教程
WWDC24: 使用 Core ML 在设备上部署机器学习和 AI 模型 | Apple
AI 视频:两小儿辩日
开源AI女友安装教学 [Open-LLM-VTuber]
LLM智能应用开发 L6:大语言模型解析 III [2024南京大学计算机学院选修课]
上海交大张伟楠机器学习课程第1讲:机器学习简介I
生成式 AI 入门教程 1 - 什么是生成式 AI - 了解其定义、应用与影响
基于LangChain的大语言模型应用开发5——基于文档的问答
最简单的机器学习-决策树算法 3小时吃透!原理+代码讲解!
【全126集】目前B站最系统的Transformer教程!入门到进阶,全程干货讲解!拿走不谢!(神经网络/NLP/注意力机制/大模型/GPT/RNN)
大型语言模型与生成式AI——人类反馈强化学习1——引言
大型语言模型与生成式AI——使用指令对LLM进行微调5——模型评估