V
主页
从GPT到ChatGPT:模型微调、提示工程、RAG等
发布人
代码链接:https://github.com/GenTang/regression2chatgpt/blob/zh/ch11_llm/gpt2.ipynb 将GPT优化成ChatGPT是一个巨大的飞跃。ChatGPT的成功使大语言模型这一技术词汇成为各行各业的热门话题。这个优化过程涉及多种技术,本系列视频将在后续深入讨论每项技术的细节。大家可以先将这些技术视为一个黑盒,从训练数据的特点和期望的效果这两个方面来理解每项技术的作用。 整个优化过程对应迁移学习中的微调阶段。微调阶段需要执行3个关键步骤:监督微调(Supervised Fine-tuning)、评分建模(Reward Modeling)和强化学习(Reinforcement Learning)。下面简要介绍每个步骤。 (1)基础模型并不理解我们提供给它的任务描述,也不了解什么样的回答是符合预期的。监督微调的目标是让模型变得能够理解任务描述并给出合适的回答。在这个阶段,最重要的是收集任务示范数据,然后利用这些数据在自回归模式下对模型进行训练。经过监督微调,模型能够相对正常地回答用户的提问。为了表述清晰,不妨将这一步得到的模型称为微调模型。 (2)将微调模型部署到生产环境后,收集用户对模型回答的反馈。如何有效利用这些反馈来改进模型的性能呢?答案是强化学习。强化学习是人工智能的一个分支,它根据对模型结果的评分来动态调整模型,以最大化模型评分(不是传统的最小化损失函数)。因此,强化学习需要的训练数据包含3个部分:任务描述、微调模型的回答,以及回答的评分。用户提供的反馈通常是对回答的排序,而不是直接的分数,这与强化学习所需的数据格式不一致。为了解决这个问题,需要构建一个评分模型,该模型能够学习用户的反馈,对大语言模型的回答进行评分,这样就可以获得用于强化学习的训练数据。需要再次提醒读者的是,普通用户并不会接触到评分模型,该模型只是一个辅助模型,帮助我们使用强化学习技术更好地优化第1步中得到的微调模型。 (3)利用第2步产生的训练数据,使用强化学习动态调整微调模型,以使其回答更符合我们的期望。 在GPT到ChatGPT的优化过程中,有3个值得思考的现象。 (1)微调只是释放了基础模型原有的潜力。微调后的模型在与人交互的效果上取得了显著的进步,但值得注意的是,整个微调过程(3个步骤加在一起)是极其短暂的。训练数据量不到预训练阶段的2%,训练时间也是如此。因此,我们可以合理地认为,在短暂的微调过程中,模型并没有学到多少新的知识,只是学会了与人交流的方式,从而将其原有的能力充分发挥出来。 (2)微调会使模型失去多样性和创造性。微调后的模型在互动效果方面表现更出色,但并不是在所有任务中都比基础模型更好。研究发现,基础模型更具创造性,其回答也更多样化。在某些需要创造性的任务中,如创作小说和诗歌,基础模型的效果更好。这个现象也引发了人们对教育过程的反思。如果将预训练比作初等教育,那么基础模型就相当于高三毕业生。经过高等教育(微调阶段),学生在特定领域的技能得到了提高,但就创造性而言,高等教育也可能抑制了学生的创新能力。 (3)微调模型是否会导致社会只剩下一种声音?微调模型是通过模仿任务示范来回答问题的,在监督微调的过程中,训练数据相对有限,但对模型的最终效果有着重要的影响。ChatGPT的所有任务示范由一个仅有40名成员的远程团队完成。从某种意义上来说,ChatGPT每天都在重复这40个人的声音。在此过程中,成员的个人偏见或狭隘观点(每个人都潜藏着无法自我察觉的偏见和狭隘观点)可能被保留在模型中,每天传播给数亿人。一个健康的社会不应该只有一种声音。微调后的模型丧失了多样性,这是否会加剧社会的分歧和撕裂,导致严重的后果呢?如何确保微调阶段的训练数据具备多样性和公正性,是一个值得深思和引起警觉的问题。 微调后的模型(比如ChatGPT)如果仍无法满足需求,可以参考上述步骤继续微调。值得注意的是,这种方法相对比较复杂,它需要重新训练模型,资源投入也较大,并且不能百分之百确保微调后的模型一定会更智能(微调需要经验的积累,在实践中,大语言模型很容易因为微调而变得“愚笨”)。实际上,除了这种复杂的修改方式,还有一些相对简单的调整模型的方法,以使模型更符合期望,包括提示工程和检索增强生成。
打开封面
下载高清视频
观看高清视频
视频下载器
【全374集】2024最新清华内部版!终于把AI大模型(LLM)讲清楚了!全程干货讲解,通俗易懂,拿走不谢!
徒手实现深度循环神经网络--大语言模型的雏形
为什么LLM认为:9.11大于9.8?
【大模型入门】2024最详细的大模型学习路线!手把手教你最高效的大模型学习方法(大模型微调/大模型RAG/Agent...)
【全648集】清华大佬终于把AI大模型课整理出来了,通俗易懂,2024最新版,学完即就业!拿走不谢,学不会我退出IT圈!
【B站强推】一小时彻底掌握提示工程(Prompt Engineering)超详细,草履虫都能听懂!!!(大模型|LLM|多模态|人工智能)
🤖 Cursor:AI 编程神器|LangChain 初体验
徒手实现长短期记忆网络--LSTM的结构与代码
人工智能的数学基础:微积分——变化速率与累积效应
我在B站上名校!2024最新清华【AI大模型】公开课,刘知远团队带你从入门到实战,目前B站最系统的公开课教程!!!
人工智能的经典模型:线性回归——从机器学习的视角进行讨论
2024吴恩达最新LangChain教程,大语言模型应用开发(超爽中英) 【附LangChain入门指南+源码】
徒手实现反向传播算法--分布式训练、GPU运算等
本地部署Ollama语言模型 微调语言模型 使用comfyUI工作流 制作卡通人物贴纸 ai落地电商淘宝项目
我们训练了一个没有道德限制的大模型
中国大语言模型登顶全球第一,你最常用哪个?ChatGPT4
OpenAI Orion:这颗草莓有毒?
徒手实现多层感知器--经典模型的启示录
手把手教你搭建一套RAG系统,大模型RAG企业级项目实战,零基础掌握RAG技术关键核心!原理讲解+代码解析,LLM大模型_RAG_大模型微调_多模态
2024最新最全最详细的AI大模型入门教程,800分钟技术精讲!包含学习路线及配套视频资料,带你轻松搞定AI大模型!
2024最新开源大语言模型GLM-4详细教程—环境配置+模型微调+模型部署+效果展示,手把手教学!
线性回归的统计学实现——置信区间、假设检验等
【流程实操】RAG+LangChain+FastAPI+OpenAI+通义千问打造私有领域知识库,构建和检索全流程源码分享,一份代码搞定多类型大模型集成
人工智能的经典模型:统计学眼中的线性回归——置信区间与假设检验
从开始学RAG:一个视频告诉你提示词、RAG、微调哪个会让大模型表现更好?
什么是模型陷阱?——过度拟合与模型幻觉
徒手实现GPT:其实真的很简单
ChatGPT已更新新版本,使用最新的GPT-4o模型,跑分重回第一
LLM应用最最最重要的设计模式:Code Interpreter模式
2024年超好用的九大AI工具!免费且强大!(下集)
徒手实现多层感知器--人工智能的创世纪
B站强推!如何从零到一搭建一套完整RAG系统!大模型RAG企业项目实战简直太实用了!LainChain、rag增强检索/LLM大模型/大模型学习路线/微调
本地LLM模型运行微软GraphRAG步骤指导
徒手实现多层感知器--如何优化模型训练
【全187集】字节跳动大佬终于把AI大模型(LLM)讲清楚了!通俗易懂,2024最新内部版!拿走不谢,学不会我退出IT圈!
第二代GPT-SoVITS 更大更强!只需1分钟语音,完美声音克隆!在线一键使用,支持中日英韩粤语
徒手实现循环神经网络--RNN的代码详解
全能大语言模型?视频、音频、图像、医学、雷达、热成像八项全能?OneLLM如何做到?太可怕了!
人工智能的经典模型:分类模型之母——逻辑回归
徒手实现最优化算法--人工智能的工程基础