【珍藏】从头开始用代码构建GPT - 大神Andrej Karpathy 的“神经网络从Zero到Hero 系列”之七

发布人

Andrej Karpathy大神 亲自讲解如何从零开始用python代码构建一个最小的nanoGPT（基于莎士比亚全文本训练集，对标GPT2）异常珍贵的材料，对于搞大模型的技术同学绝对不容错过。
【天空之城原创翻译制作，谢绝转录】
该视频于2023年1月18号发出，2月初Andrej即宣布回归OpenAI，nanoGPT显然是他自己深入理解GPT原理的产物。这视频半年播放量300w...这只是纯技术纯码农视频，可见有多受欢迎。
早就想翻译这个视频到中文世界，城主理解很多码农不一定能听全程英文的内容。但这个翻译绝对是城主这么多视频最最难的一次，超S级的难度，各种中英混杂，代码符号混杂，中断过两次，这次终于整理校对完成。

=Andrej的原视频注释：
链接：
- 视频的Google Colab:https://colab.research.google.com/drive/1JMLa53HDuA-i7ZBmqV7ZnA3c_fvtXnx-?usp=sharing
- 视频的GitHub存储库:https://github.com/karpathy/ng-video-lecture
- nanoGPT仓库:https://github.com/karpathy/nanoGPT 
- 我的网站:https://karpathy.ai
- 我的推特:https://twitter.com/karpathy
- 我们的Discord频道:https://discord.gg/3zy8kqD9Cp
补充链接:
- Attention is All You Need论文:https://arxiv.org/abs/1706.03762
- OpenAI GPT-3论文:https://arxiv.org/abs/2005.14165
- OpenAI ChatGPT博客文章:https://openai.com/blog/chatgpt/
- 我用来训练模型的GPU来自Lambda GPU Cloud,我认为这是在云中启动按需GPU实例并通过ssh访问的最佳和最简单的方式:https://lambdalabs.com。如果您更喜欢在笔记本中工作,我认为今天最简单的路径是Google Colab。

我们遵循论文“Attention is All You Need”和OpenAI的GPT-2/GPT-3,构建了一个生成式预训练转换器(GPT)。我们讨论了它与风靡全球的ChatGPT的联系。我们观察GitHub Copilot(其本身是一个GPT)帮助我们编写一个GPT(套娃:smile:)。
章节:
00:00:00 介绍:ChatGPT、Transformer、nanoGPT、莎士比亚,基线语言建模,代码设置
00:07:52 阅读和探索数据
00:09:28 分词,训练集/验证集划分 
00:14:27 数据加载器:批量数据块
00:22:11 最简单的基线:二元语法模型,损失,生成
00:34:53 训练二元语法模型
00:38:00 将代码移植到脚本中构建“自注意力”
00:42:13 版本1:用for循环平均过去的上下文,聚合的最弱形式
00:47:11 自注意力的技巧:矩阵乘法作为加权聚合
00:51:54 版本2:使用矩阵乘法
00:54:42 版本3:添加softmax
00:58:26 小的代码清理
01:00:18 位置编码
01:02:00 视频的关键部分:版本4:自注意力
01:11:38 注1:注意力作为交流
01:12:46 注2:注意力没有空间概念,在集合上操作
01:13:40 注3:批处理维度之间没有交流
01:14:14 注4:编码器块与解码器块
01:15:39 注5:注意力 vs 自注意力 vs 交叉注意力
01:16:56 注6:“缩放”自注意力。为什么除以sqrt(head_size)构建Transformer
01:19:11 在网络中插入单个自注意力块
01:21:59 多头自注意力
01:24:25 Transformer块的前馈层
01:26:48 残差连接
01:32:51 LayerNorm(及其与之前批量规范化的关系)
01:37:49 放大模型!创建一些变量,添加dropout关于Transformer的说明
01:42:39 编码器vs解码器vs两者(?)Transformer
01:46:22 快速浏览nanoGPT,批量多头自注意力
01:48:53 回到ChatGPT,GPT-3,预训练与微调,RLHF
01:54:32 结论
00:57:00 抱歉!应该是“未来的标记不能交流”,不是“过去的”。
01:20:05 应该使用head_size进行归一化,不是C

打开封面下载高清视频观看高清视频视频下载器