V
主页
斯坦福2023年公开课CS25 - 大语言模型与人类对齐
发布人
这是斯坦福2023年公开课CS25的第二课:《 Language and Human Alignment》,讲师是OpenAI的Jan,他目前领导OpenAI的对齐(Alignment)团队,并曾在DeepMind担任研究员。他拥有强化学习理论博士学位,并且在过去的10年里一直在思考对齐问题。 这节课的主要内容是探讨AI的对齐问题,也就是如何让AI系统符合人类的意图和偏好,以及如何构建能遵循人类意图的AI系统? 遵循人类意图意味着:对于明确的意图,能遵循指令,成为一个可靠的助手;对于不明确的意图,需要通过后续问题明确,不要编造,不要做有害的事情。 现在使用的主要技术是强化学习反馈,这是用来训练InstructGPT和ChatGPT的技术。首先需要训练一个奖励模型,然后要用人类标注员去标注数据,来告诉模型哪些结果更是人类想要的。虽然每个人类标注员都有自己的偏好,甚至可能有不一致的地方,但模型会多结果进行平均。 从成本上来说,人类反馈的成本要远低于预训练的成本,不到预训练计算量的2%。基于人类反馈的强化学习(RLHF)可以让模型做任何它想做的事情,它可以自己找出最好的方法来做事情,你只需要对它的结果进行评估就好了。 “评估比生成容易” 很多任务虽然人类不擅长,但是可以很容易的给出评估。 RLHF也有一些限制,比如当人工智能进化到一定程度,其可以完成的任务难度也会提升,但是人类评估任务的水平却无法提高,这时候人类将无法再给AI有效的反馈。所以未来我们需要AI来辅助人类进行评估,让AI帮助指出结果中的问题,人类对AI评估的结果进行评估。 课程页面:https://web.stanford.edu/class/cs25/ 参考材料: - ChatGPT:https://openai.com/blog/chatgpt - InstructGPT: https://openai.com/research/instruction-following - Language Models are Few-Shot Learners (GPT-3):https://arxiv.org/abs/2005.14165
打开封面
下载高清视频
观看高清视频
视频下载器
Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈(完整版)
Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》
斯坦福2023年公开课CS25 - 大语言模型中的涌现和规模
马云对话马斯克:人工智能对人类是机遇还是威胁?(双语字幕)
斯坦福大学教授李飞飞在2024年数据与人工智能峰会上的人工智能历史与未来演讲(双语字幕)
大语言模型微调之道4——指令微调
【AI大模型】斯坦福CS229夏季新课:LLM大模型深度解析来了
生成式 AI 入门教程 1 - 什么是生成式 AI - 了解其定义、应用与影响
是什么让大语言模型有了推理的能力?
【全126集】目前B站最系统的Transformer教程!入门到进阶,全程干货讲解!拿走不谢!(神经网络/NLP/注意力机制/大模型/GPT/RNN)
2023年的大语言模型 by Hyung Won Chung
太厉害了 已跪!终于有人能把知识图谱讲的这么通俗易懂了,浙大知识图谱入门及实战公开课分享!-深度学习丨NLP丨知识图谱
Talk | 香港科技大学叶汉荣:X-VILA - 大语言模型的跨模态对齐
学术报告-大语言模型的知识学习研究-黄书剑-南京大学自然语言处理组
OpenAI CTO Mira Murati 在母校达特茅斯工程学院的访谈——人工智能无处不在:改变世界,赋予人类力量
梅琳达·盖茨在斯坦福 2024 毕业典礼上的演讲 —— 三个建议:开放的心态面对人生大的转变、找到你人生中的贵人和成为别人的贵人、经营好自己的关系网
大语言模型微调之道5——准备数据
开源项目 postgres.new 使用自然语言设计数据库,可视化查看表的关系图,聊天界面对数据库的数据增删改查,生成图表
B站最通俗易懂的【机器学习-数学基础】草履虫都能看懂!全套200+集,史诗级巨作,不漏掉任何一个知识点!
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期 1——课程介绍
大语言模型微调之道6——训练过程
震惊!AI教父李开复最新演讲曝光:GPT-4已过时,未来手表能听懂人话?
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
大语言模型课程Lesson1-2 借助ChaGPT-Claude等大语言模型工具提高学习及工作效率
面向所有人的生成式 AI 入门课程 8 - 生成式 AI 应用 - 大语言模型的能力与局限
微软2023年Build大会演讲:如何训练和应用GPT
OpenWebUI+Ollama本地部署保姆级教程(非Docker),轻松搭建大语言模型!
【强到离谱】2024必会的AI Agent(应用解读+项目实战)通俗易懂的解读了Agent核心框架,全流程分析-人工智能/AlAgent/AI大模型
Ray Kurzweil 与 Geoff Hinton 关于未来 AI 发展辩论
年薪40W的提示词工程师需要掌握什么?吴恩达大佬1小时精讲Prompt:OpenAI调用,上下文构建,任务导向,关键词...看完就能写进简历!-大模型/人工智能
大型语言模型与生成式AI——人类反馈强化学习1——引言
Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈(三/完结)
2024吹爆!李永乐老师深度讲解AI!带你了解电脑如何像人一样思考,带你学习AI前沿技术/人工智能/机器学习/深度学习/神经网络/计算机技术
Geoffrey Hinton 对 AI 未来的见解(双语字幕)
【吴恩达】2024年公认最好的【AI大模型】教程!大模型入门到进阶,全程干货讲解,通俗易懂!学不会我退出IT圈!
使用Gradio构建生成式AI应用6:构建与大语言模型交互的聊天应用
The Prompt with Trevor Noah | 第4集:大语言模型如何助力人们戒烟和战胜其他成瘾?
LLM智能应用开发 L8:大语言模型解析 V MoE, LoRA [2024南京大学计算机学院选修课]
WWDC24: 认识Translation API | 苹果新出的翻译 API,不需要联网,完全使用本机大语言模型
如何免费利用 ChatGPT 语音功能学习外语