V
主页
京.东618红包,每天可领3次
Andrej Karpathy《让我们复现GPT-2 (124M)|Let's reproduce GPT-2 (124M)》中英字幕
发布人
https://www.youtube.com/watch?v=l8pRSuU81PU 我们从头开始重现GPT-2 (124M)。这个视频涵盖了整个过程: 首先我们构建GPT-2网络,然后优化其训练使其真正快速,然后根据GPT-2和GPT-3论文及其超参数设置训练运行,然后运行它,第二天早上回来查看结果,并欣赏一些有趣的模型生成结果。请谨记,在某些地方,本视频建立在零到英雄播放列表(参见我的频道)中早期视频的知识基础之上。您也可以将本视频视为构建我的nanoGPT存储库,到最后它与该存储库大约90%相似。 Links: - build-nanogpt GitHub repo, with all the changes in this video as individual commits: https://github.com/karpathy/build-nanogpt - nanoGPT repo: https://github.com/karpathy/nanoGPT - llm.c repo: https://github.com/karpathy/llm.c - my website: https://karpathy.ai - my twitter: / karpathy - our Discord channel: / discord Supplementary links: - Attention is All You Need paper: https://arxiv.org/abs/1706.03762 - OpenAI GPT-3 paper: https://arxiv.org/abs/2005.14165 - OpenAI GPT-2 paper: https://d4mucfpksywv.cloudfront.net/b... The GPU I'm training the model on is from Lambda GPU Cloud, I think the best and easiest way to spin up an on-demand GPU instance in the cloud that you can ssh to: https://lambdalabs.com 章节: 00:00:00 简介:让我们复现GPT-2 (124M) 00:03:39 探索GPT-2 (124M) OpenAI检查点 00:13:47 第1部分:实现GPT-2 nn.Module 00:28:08 加载huggingface/GPT-2参数 00:31:00 实现前向传递以获得logits 00:33:31 抽样初始化,前缀tokens,tokenization 00:37:02 抽样循环 00:41:47 抽样,自动检测设备 00:45:50 让我们训练:数据批次(B,T)→logits(B,T,C) 00:52:53 交叉熵损失 00:56:42 优化循环:过拟合单个批次 01:02:00 数据加载器lite 01:06:14 参数共享wte和lm_head 01:13:47 模型初始化:标准差0.02,残差初始化 01:22:18 第2部分:让我们提高速度。GPU,混合精度,1000毫秒 01:28:14 Tensor Core,计时代码,TF32精度,333毫秒 01:39:38 float16,梯度缩放器,bfloat16,300毫秒 01:48:15 torch.compile,Python开销,内核融合,130毫秒 02:00:18 闪电注意力,96毫秒 02:06:54 好/丑数字。词汇量50257→50304,93毫秒 02:14:55 第3部分:超参数,AdamW,梯度裁剪 02:21:06 学习率调度器:warmup+余弦衰减 02:26:21 批大小调度,权重衰减,FusedAdamW,90毫秒 02:34:09 梯度累积 02:46:52 分布式数据并行(DDP) 03:10:21 GPT-2,GPT-3,FineWeb(EDU)中使用的数据集 03:23:10 验证数据拆分,验证损失,抽样恢复 03:28:23 评估:HellaSwag,开始运行 03:43:05 第4部分:早上查看结果!GPT-2,GPT-3复现 03:56:21 感谢llm.c,使用原生C/CUDA实现等效但更快的代码 03:59:39 总结,构建nanogpt github repo
打开封面
下载高清视频
观看高清视频
视频下载器
【全748集】字节大佬终于把 AI大模型（LLM）讲清楚了！通俗易懂，2024最新内部版，学完即就业！AGI商业化落地创业营，一门非常落地的AI大模型创业课！！
【国内白嫖】6月25日最新ChatGPT4.0
最新chatgpt4.0免费使用教程，GPT4o官方版直接用
密歇根大学《解剖学（人体神经，胃肠道、生殖和内分泌系统）|Anatomy》中英字幕
最强Ai-GPT4o国内无限制使用教程，保姆级，无套路，建议收藏
斯坦福大学《组织分析|Organizational Analysis》中英字幕
国内最新免费无限制使用的ChatGPT4.0o网站。免登录就可以直接，值得你拥有！
吴恩达《从人类反馈中进行强化学习RLHF, Reinforcement Learning from Human Feedback》（中英字幕）
最新的ChatGPT4o免费使用！免翻，无任何限制，官方版GPT4o体验分享 ！
沃顿商学院《商务基础》|Business Foundations Specialization|（中英字幕）
华盛顿大学《商务英语(社交/会议/计划/谈判/演讲)|business-English》（中英字幕）
【国内白嫖】6月19日最新无限制免费ChatGPT4.0
ChatGPT4o免费使用！免翻，无任何限制，官方版GPT4o体验分享 ！
谷歌项目管理：专业证书 第1课：《项目管理基础课程（Google）》|project-management-foundations|
国内版不限次数使用的ChatGPT4.0网站，教你快速写论文 写文案 写代码，嘎嘎香！
吴恩达《向量数据库：从嵌入到应用》Vector Databases: from Embeddings to Applications中英字幕
【国内白嫖】6月24日最新ChatGPT4.0
密歇根大学《给所有人的Python课》课程1:《编程入门指南（使用Python进行开发）》|python|
ChatGPT4.0国内如何使用，教程来了
【国内白嫖】6月1日最新ChatGPT4.0
吴恩达《自然语言处理|natural language processing》中英字幕（学GPT必学）
沃顿商学院《财务与会计导论专业课程（金融基础知识）》|Introduction to Finance and Accounting（中英字幕）
ChatGPT语音对话已上线，你确定不来试一下吗？
斯坦福大学《AI觉醒：对经济和社会的影响|The AI Awakening: Implications for the Economy and Society》
【AI女友】【AI聊天】【无限制聊天】【三连免费给】百依百顺的机器人女仆？她真的太懂我了
【英文可关闭】吴恩达《用于LLM应用程序开发的LangChain》|langchain-for-llm-application-development|中英字幕
斯坦福大学《区块链和加密货币|Blockchain and Cryptocurrency Course: What You Need to Know》2019
沃顿商学院《实现个人和职业成功（成功、沟通能力、影响力）|Achieving Personal and Professional Success》中英字幕
吴恩达最新《面向开发者的ChatGPT提示工程》|chatgpt-prompt-engineering-for-developers|中英字幕
宾夕法尼亚大学《科学哲学|Philosophy of Science》中英字幕
如何用ChatGPT学习英文口语（Prompt&捷径）
MIT《计算科学与工程ⅠMIT 18.085 Computational Science & Engineering I, Fall 2008》中英字幕
吴恩达《使用LlamaIndex构建主动式RAG|Building Agentic RAG with LlamaIndex》中英字幕
吴恩达最新《面向每个人的生成式AI》Generative AI for Everyone（中英字幕）
斯坦福大学《医疗中的人工智能（简介、临床数据）|AI in Healthcare》中英字幕
chatgpt+neo4j优化版知识图谱问答系统
哥伦比亚大学《货币与银行经济学|Economics of Money and Banking》中英字幕
吴恩达《生成对抗网络（Generative Adversarial Networks，GAN）》中英字幕
免魔法！非镜像！官网原版ChatGPT4账号免费使用，含最新4o模型。
AI 大模型周报 2024年6月 a
