LlamaFactory:微调QWe (千问)模型简单微调多数模型的便捷方法

发布人

这太棒了。 现在我们有了LlamaFactory。 简单而高效的LLM微调。 你将会有一个这样的界面，可以挑选多个模型，使用LoRa进行微调，选择要使用的数据集，最后就能开始训练。 这正是我们今天要看到的内容。 我们开始吧。 大家好。 我非常兴奋地要向大家展示Llama Factory。 它支持多种模型。 今天我们将训练QuenModel，它支持预训练、监督训练、奖励建模、PPO训练和DPO训练。 默认情况下，它会提供一系列数据集供你练习学习如何进行微调。 最后，我们可以登录HuggingFace，然后将模型上传到HuggingFace仓库。 接下来我会逐步带你完成这个过程。 但在那之前，我经常在我的YouTube频道上发布关于人工智能的视频。 所以请订阅并点击铃铛图标以获取更新。 務必點擊喜歡按鈕，這樣這個視頻就能對像你一樣的許多人有所幫助。 作为前提，我们需要两样东西。 一个是HuggingFace令牌。 接着是Weights and Biases令牌。 这仅是用于追踪我们的过程，可选操作。 首先，使用git克隆Llama Factory，然后点击进入。 然后，导航到Llama Factory文件夹。 现在，使用conda创建hyphen和Llama Factory Python版本为3.11，然后点击Enter。 现在，激活Llama Factory环境，然后按回车。 现在，使用pip安装hyphen或requirements.txt，然后按Enter键。 完成后，使用pip安装bits和bytes、transformers、stream generator以及HuggingFace库，然后点击enter。 现在，你可以使用HuggingFace的hyphen命令行界面（CLI）进行登录。 在这里你可以输入你的Hugging Face令牌。 完成后，点击Enter。 将token作为Git凭证添加。 是的。 并且它会自动保存。 接下来，我们将输入kuda可见设备等于零。 使用模式范围库等于一。 然后输入Python源文件/训练_网页.py，点击进入。 现在我们得到了URL，打开URL后这就是用户界面。 所以我会使用Quen 1.8b聊天模型。 这里我将使用的是Glaive工具调用的数据集。 如果你预览数据集，这就像是人类在提问，我们将训练Quen模型来识别是否需要调用函数。 如果需要调用函数，它会自动提及函数名称，然后将原价和折扣百分比发送给该函数。 然后函数会返回实际值。 然后，大型语言模型会处理请求并给出结果。 这就是我们要训练的内容。 你甚至可以根据下面提供的步骤添加自己的训练数据集。 接着，我们将选择 epoch（轮次）、最大样本数、批量大小、梯度累积量，最后是输出目录。 这个文件夹用于保存模型，最后会将其推送到Hugging Face。 如果你点击开始，它会自动启动。 但仅仅因为我使用的是Mac，这不会运行，因为FP16的原因我将向你展示。 这里显示失败。 如果你在终端中看到，会显示FP16失败。 所以我不会通过用户界面运行。 但如果你使用的计算机有显卡，那么这应该可以运行。 但在这个情况下，我打算通过命令行接口运行。 我们会取消这个，然后使用这些值。 所以你可以看到我们正在使用的模型架构。 我将训练轮数减少到1次，最大样本量设为5000，批次大小设为4，梯度积累步骤设置为8，低秩设为4。 只是为了快速完成教程，我把所有这些都降低了，但你得调整到最优水平。 所以到最后，你会得到一个好的模型。 你甚至可以点击预览命令，从这里生成指令。 一旦你点击它，命令就准备好了。 所以你只需将其复制并粘贴到终端中。 正如我之前所说，我已经降低了这些值，并且去掉了这里的FP16行。 回到终端，我将点击回车并运行这段代码。 现在，这个将会自动下载Quen模型并开始训练。 在这个过程中，它要求我输入权重和偏差令牌，我已经输入了。 现在训练正在进行中。 我看到损失并没有持续下降。 这是因为我们使用了较小的数值，只是为了快速演示如何使用这个工具进行微调。 所以，如果你增加所有参数，比如这里的epoch值，增大样本数量、批量大小和梯度积累步数，你应该能看到稳定的损失。 最终目标是让损失下降。

打开封面下载高清视频观看高清视频视频下载器