从GPT到ChatGPT：模型微调、提示工程、RAG等

发布人

代码链接：https://github.com/GenTang/regression2chatgpt/blob/zh/ch11_llm/gpt2.ipynb

将GPT优化成ChatGPT是一个巨大的飞跃。ChatGPT的成功使大语言模型这一技术词汇成为各行各业的热门话题。这个优化过程涉及多种技术，本系列视频将在后续深入讨论每项技术的细节。大家可以先将这些技术视为一个黑盒，从训练数据的特点和期望的效果这两个方面来理解每项技术的作用。
整个优化过程对应迁移学习中的微调阶段。微调阶段需要执行3个关键步骤：监督微调（Supervised Fine-tuning）、评分建模（Reward Modeling）和强化学习（Reinforcement Learning）。下面简要介绍每个步骤。
	（1）基础模型并不理解我们提供给它的任务描述，也不了解什么样的回答是符合预期的。监督微调的目标是让模型变得能够理解任务描述并给出合适的回答。在这个阶段，最重要的是收集任务示范数据，然后利用这些数据在自回归模式下对模型进行训练。经过监督微调，模型能够相对正常地回答用户的提问。为了表述清晰，不妨将这一步得到的模型称为微调模型。
	（2）将微调模型部署到生产环境后，收集用户对模型回答的反馈。如何有效利用这些反馈来改进模型的性能呢？答案是强化学习。强化学习是人工智能的一个分支，它根据对模型结果的评分来动态调整模型，以最大化模型评分（不是传统的最小化损失函数）。因此，强化学习需要的训练数据包含3个部分：任务描述、微调模型的回答，以及回答的评分。用户提供的反馈通常是对回答的排序，而不是直接的分数，这与强化学习所需的数据格式不一致。为了解决这个问题，需要构建一个评分模型，该模型能够学习用户的反馈，对大语言模型的回答进行评分，这样就可以获得用于强化学习的训练数据。需要再次提醒读者的是，普通用户并不会接触到评分模型，该模型只是一个辅助模型，帮助我们使用强化学习技术更好地优化第1步中得到的微调模型。
	（3）利用第2步产生的训练数据，使用强化学习动态调整微调模型，以使其回答更符合我们的期望。
在GPT到ChatGPT的优化过程中，有3个值得思考的现象。
	（1）微调只是释放了基础模型原有的潜力。微调后的模型在与人交互的效果上取得了显著的进步，但值得注意的是，整个微调过程（3个步骤加在一起）是极其短暂的。训练数据量不到预训练阶段的2%，训练时间也是如此。因此，我们可以合理地认为，在短暂的微调过程中，模型并没有学到多少新的知识，只是学会了与人交流的方式，从而将其原有的能力充分发挥出来。
	（2）微调会使模型失去多样性和创造性。微调后的模型在互动效果方面表现更出色，但并不是在所有任务中都比基础模型更好。研究发现，基础模型更具创造性，其回答也更多样化。在某些需要创造性的任务中，如创作小说和诗歌，基础模型的效果更好。这个现象也引发了人们对教育过程的反思。如果将预训练比作初等教育，那么基础模型就相当于高三毕业生。经过高等教育（微调阶段），学生在特定领域的技能得到了提高，但就创造性而言，高等教育也可能抑制了学生的创新能力。
	（3）微调模型是否会导致社会只剩下一种声音？微调模型是通过模仿任务示范来回答问题的，在监督微调的过程中，训练数据相对有限，但对模型的最终效果有着重要的影响。ChatGPT的所有任务示范由一个仅有40名成员的远程团队完成。从某种意义上来说，ChatGPT每天都在重复这40个人的声音。在此过程中，成员的个人偏见或狭隘观点（每个人都潜藏着无法自我察觉的偏见和狭隘观点）可能被保留在模型中，每天传播给数亿人。一个健康的社会不应该只有一种声音。微调后的模型丧失了多样性，这是否会加剧社会的分歧和撕裂，导致严重的后果呢？如何确保微调阶段的训练数据具备多样性和公正性，是一个值得深思和引起警觉的问题。
微调后的模型（比如ChatGPT）如果仍无法满足需求，可以参考上述步骤继续微调。值得注意的是，这种方法相对比较复杂，它需要重新训练模型，资源投入也较大，并且不能百分之百确保微调后的模型一定会更智能（微调需要经验的积累，在实践中，大语言模型很容易因为微调而变得“愚笨”）。实际上，除了这种复杂的修改方式，还有一些相对简单的调整模型的方法，以使模型更符合期望，包括提示工程和检索增强生成。

打开封面下载高清视频观看高清视频视频下载器