V
主页
【手写代码 | Transformer】在 PyTorch 上从头开始编写 Transformer 代码,并提供完整的解释、训练和推理。
发布人
https://www.youtube.com/watch?v=ISNdQcPhsts 标题:Coding a Transformer from scratch on PyTorch, with full explanation, training and inference. 50,960次观看 2023年5月26日 In this video I teach how to code a Transformer model from scratch using PyTorch. I highly recommend watching my previous video to understand the underlying concepts, but I will also rehearse them in this video again while coding. All of the code is mine, except for the attention visualization function to plot the chart, which I have found online at the Harvard university's website. The full code is available on GitHub: https://github.com/hkproj/pytorch-tra... It also includes a Colab Notebook so you can train the model directly on Colab. Chapters 00:00:00 - Introduction 00:01:20 - Input Embeddings 00:04:56 - Positional Encodings 00:13:30 - Layer Normalization 00:18:12 - Feed Forward 00:21:43 - Multi-Head Attention 00:42:41 - Residual Connection 00:44:50 - Encoder 00:51:52 - Decoder 00:59:20 - Linear Layer 01:01:25 - Transformer 01:17:00 - Task overview 01:18:42 - Tokenizer 01:31:35 - Dataset 01:55:25 - Training loop 02:20:05 - Validation loop 02:41:30 - Attention visualization 本视频中,我将教授如何使用 PyTorch 从头开始编写 Transformer 模型。我强烈建议您观看我以前的视频来理解基本概念,但我也会在编码时在此视频中再次排练它们。所有的代码都是我的,除了绘制图表的注意力可视化功能,这是我在哈佛大学网站上找到的。 完整代码可在 GitHub 上找到:https://github.com/hkproj/pytorch-tra... 它还包括一个 Colab 笔记本,因此您可以直接在 Colab 上训练模型。 章 00:00:00 - 简介 00:01:20 - 输入嵌入 00:04:56 - 位置编码 00:13:30 - 层规范化 00:18:12 - 前馈 00:21:43 - 多头注意力 00:42:41 - 残余连接 00:44:50 - 编码器 00:51:52 - 解码器 00:59:20 - 线性层 01:01:25 - 变压器 01:17:00 - 任务概述 01:18:42 - 分词器 01:31:35 - 数据集 01:55:25 - 训练循环 02:20:05 - 验证循环 02:41:30 - 注意力可视化
打开封面
下载高清视频
观看高清视频
视频下载器
从入门到精通一口气学完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络!丨零基础篇
【课件+代码】李沐大神《动手学深度学习》2024最新视频教程,比啃书高效!比刷剧还爽!(人工智能丨深度学习丨神经网络)
【李宏毅】2024年公认最好的【机器学习】教程!从入门到进阶,一套全解决!2024机器学习算法-附带课件代码
【教材+源码】深度学习必看圣经!李沐大神《动手学习深度学习》最新版视频教程分享,比追剧还爽!(深度学习/神经网络/计算机视觉)
重发爆赞!李永乐老师深度讲解AI!带你了解电脑如何像人一样思考,带你学习AI前沿技术/人工智能/机器学习/深度学习/神经网络/计算机技术
人工智能医学影像处理实战:医疗大数据、影像组学、临床研究应用、SCI论文解读、Python数据处理、机器学习论文一口气学爽!
【全198集】CV入门到起飞!一口气学完Python、OpenCV、深度学习基础、Pytorch、卷积神经网络、物体检测、图像分割、等八大计算机视觉必备基础!
Python自动化脚本,Python训练AI自动玩王者荣耀,简直不要太秀!!!
【python环境安装】超详细的Anaconda(python)环境配置及pycharm专业版安装教程,适合完全零基础学习!!
恢复视力 跟练20分钟 每日跟练 打卡 近视恢复
【全749集】比付费还强10倍的自学Python全套教程,2024最新版,全程通俗易懂,别再走弯路了,小白看完速通Python全栈!
强推!这可能是B站最全的【Python+机器学习+深度学习】系列课程了,从入门到精通,堪称人工智能系列课程的巅峰之作!_AI/人工智能/深度学习/机器学习
【劝退】自学StableDiffusion能救一个是一个!这里面的水可深了!人工智能大佬专为零基础研制的StableDiffusion教学教程,太牛了!AI绘图
手把手带你实现yolo v1【最基础版】
2025视觉组培训 第一课【导论及Linux入门】
【研1基本功 JAX加速框架】pytorch太慢,我偶尔选jax~
吴恩达人工智能 Python 初学者系列教程:人工智能 Python 编码基础知识 (附课件+代码)
【中英精校+笔记】洗衣铺床煮咖啡,以后家务都交给它了!我让人形机器人Neo住进了我家|1X|Humanoid|2024.09.08
【中字】人形机器人住进我家——NEO Beta实测
用Python训练AI自动玩王者荣耀,Python自动化脚本简直不要太秀!全程无需自己动手操作(附源码)
在家坚持Python接单,昨天698,分享我的接单经验技巧、流程、以及学习资源!!!
2024最新版教程,Python零基础入门到精通(干货满满)
【PyTorch教程】PyTorch Lightning #10 - Multi GPU Training
【y总语录】女朋友会骗你,算法不会骗你
耗时2个月制作!24年全新PyTorch深度学习快速入门课程!-机器学习/神经网络/卷积神经网络
练不动了练不动了
【8月最新】开学抢不到车票?Python制作12306自动抢票程序(附源码),手速比黄牛还快!不用熬夜抢票啦!成功率高达100%!!!
【黄仁勋】展示英伟达全套“军火”:Blackwell只是前菜,电气机械奇迹NVLink压轴!
上海交大张伟楠强化学习课程第6讲:无模型控制方法II
【Python学习】张雪峰:给所有python人一个忠告!其实普通人学python玩的就是信息差!!
科研有很水的idea应该发表出来吗?分享科研工具!
【y总语录】y总谈双指针单调性证明
Python全自动答题脚本,100%正确率!!!源码可分享,考试刷题神器,Python基础教程,代码爬虫,自动化办公,秒杀学习通
【电的科技史】黑神话的老祖宗是谁?
【算法基础课】离散化
Python、Go、Rust都已不再OOP。时代早就变了。
录制-59276-20211201-2021图灵杯复赛
Andrej Karpathy《从零开始搭建GPT》 |Let s build GPT_ from scratch, in code, spelled out.
【y总语录】技术,框架:现学现查
不同神经网络本质上有区别吗?迪哥一次性带你吃透CNN、RNN、GAN、GNN、Transformer五大深度学习神经网络!原理解读+项目实战,小白秒上手!