V
主页
【新手必备】大规模语言模型：从理论到实践全攻略（持续更新中）
发布人
《大规模语言模型从理论到实践》 一、緒论 1.1 大规模语言模型基本概念 1.2 大规模语言模型发展历程 1.3 大规模语言模型构建流程 1.4 本书的内容安排 二、大语言模型基础 2.1 Transformer模型 2.11 嵌入表示层 2.12 注意力层 2.1.3 前馈层 2.1.4 残差连接与层归一化 2.1.5 编码器和解码器结构 2.2 生成式预训练语言模型GPT 2.21无监督预训练 2.2.2 有监督下游任务微调 2.2.3 基于HuggingFace的预训练语言模型实践 2.3大语言模型结构 2.3.1LLaMA的模型结构 2.3.2 注意力机制优化 三、语言模型训练数据 3.1 数据来源 3.11 通用数据 3.1.2 专业数据 3.2 数据处理 3.2.1低质过滤 3.2.2 冗余去除 3.2.3 隐私消除 3.2.4 词元切分 3.3 数据影响分析 3.3.1数据規模影响 3.3.2 数据质量影响 3.3.3 数据多样性影响 3.4 开源数据集合 3.4.1Pile 3.4.2 ROOTS 3.4.3 RefinedWeb 3.4.4 SlimPajama 四、分布式训练 4.1分布式训练概述 4.2 分布式训练并行策略 4.2.1 数据井行 4.2.2 模型井行 4.2.3 混合井行 4.2.4 计算设备内存优化 4.3分布式训练的集群架构 4.3.1高性能计算集群硬件组成 4.3.2 参数服务器架构 4.3.3 去中心化架构 4.4 DeepSpeed实践 4.4.1基础概念 4.4.2 LLaMA分布式训练实践 五、有监督微调 5.1提示学习和语境学习 5.1.1 提示学习 5.1.2 语境学习 5.2 高效模型微调 5.2.1 LoRA 5.2.2 LORA的变体 5.3 模型上下文窗口扩展 5.3.1 具有外推能力的位置编码 5.3.2 插值法 5.4 指令数据构建 5.4.1 手动构建指令 5.4.2 自动生成指令 5.4.3 开源指令数据集 5.5 Deepspeed-Chat SFT实践 5.5.1 代码结构 5.5.2 数据预处理 5.5.3 自定义模型 5.5.4 模型训练 5.5.5 模型推理 六、强化学习 6.1 基于人类反馈的强化学习 6.1.1 强化学习概述 6.1.2 强化学习与有监督学习的区别 6.1.3 基于人类反馈的强化学习流程 6.2奖励模型 6.2.1 数据收集 6.2.2 模型训练 6.2.3 开源数据 6.3 近端策略优化 6.3.1 策略梯度 6.3.2 广义优势估计 6.3.3 近端策略优化算法 6.4 MOSS-RLHF实践 6.4.1 奖励模型训练 6.4.2 PPO微调 七、大语言模型应用 7.1 推理规划 7.1.1 思维链提示 (Chain-of-Thought Prompting) 7.1.2 由少至多提示 (Least-to-Most Prompting) 7.2 综合应用框架 7.2.1LangChain框架核心模块 7.2.2 知识库问答实践 7.3 智能代理 7.3.1智能代理的组成 7.3.2 智能代理的应用实例 7.4 多模态大模型 7.4.1模型架构 7.4.2 数据收集与训练策略 7.4.3 多模态能力示例 7.5 大语言模型推理优化 7.5.1FastServe框架 7.5.2 vLLM推理框架实践 八、大语言模型评估 8.1模型评估概述 8.2大语言模型评估体系 8.2.1 知识与能力 8.2.2 伦理与安全 8.2.3 垂直领域评估 8.3大语言模型评估方法 8.3.1 评估指标 8.3.2 评估方法 8.4 大语言模型评估实践 8.4.1 基础模型评估 8.4.2 SFT/RL模型评估
打开封面
下载高清视频
观看高清视频
视频下载器
ChatGPT4.0国内如何免费使用！免翻，无任何限制，官方版GPT4o体验分享，教程来了 ！
ChatGPT4o免费使用！稳了稳了！免翻，无任何限制，官方版最新GPT4o体验分享！
【李宏毅】2024秋《生成式人工智能导论》教程！LLM大模型入门到进阶，一套全解决！2024生成式人工智慧-附带课件代码
【多模态+知识图谱】完全自学从零构建知识图谱！基于知识图谱的六大项目实战！医药问答系统、知识抽取、推荐系统、Neo4j数据库、大模型
给大模型新人的经验，刷到少走3年弯路！
UC Berkeley《深度强化学习|CS 285 Deep Reinforcement Learning 2023》中英字幕（豆包翻译）
中国大语言模型登顶全球第一，你最常用哪个？ChatGPT4
【2024年8月最新chatgpt】GPT4.0免费使用教程，免登录就可以直接使用
【2024年8月最新chatgpt】GPT4.0免费使用教程，免登录就可以直接使用
【全187集】字节跳动大佬终于把AI大模型（LLM）讲清楚了！通俗易懂，2024最新内部版！拿走不谢，学不会我退出IT圈！
【AI虚拟伙伴】自定义任意大语言模型API教程 云端大模型API推荐
今天教大家ChatGPT4-GPT4o国内如何使用，官方版GPT4.0体验分享!
8月20日最新ChatGPT4.0使用教程，国内版免费网站，电脑手机版如何免下载安装通用2024
教你把微信接入AI～【附一键整合包】
吹爆！这本人大发布的大语言模型入门书！从入门到精通，大模型技术全方位解析！
【国内白嫖】8月26日最新ChatGPT4.0
【2024年8月最新chatgpt】GPT4.0免费使用教程来了，无限制，无收费
人生苦短，我用深度强化学习零基础入门视频全套课程，PPO算法/DQN算法/A3C 保姆级教程（学完可就业）
十分钟讲清楚学术的底层逻辑！科研学术的万能路线必看篇，请一定收藏好呀。
2024最新最全最详细的AI大模型入门教程，800分钟技术精讲！包含学习路线及配套视频资料，带你轻松搞定AI大模型！
LangChain实战指南：吴恩达教授的大规模语言模型应用开发与高级RAG模型构建，非常详细（持续更新中）
这绝对是全B站最系统（没有之一）的人工智能基础教学！内含机器学习、深度学习、强化学习、NLP、等多个方向解析，零基础必看！
强烈推荐2024年最适合新手的【人工智能】基础教程！100集带你从放弃到精通！——线性回归，梯度下降，逻辑回归，神经网络算法 ，决策树随机森林，深度学习
ChatBI：自然语言驱动的数据分析新时代
无矩阵乘法LLM - 一个来自线性Transformer的视角
【2024年8月最新ChatGPT】GPT4.0免费使用教程，免登录就可以直接免费使用
20大模型全栈-分布式训练03-模型并行-张量并行、朴素流水线并行原理
最新ChatGPT4.0免费使用！免翻，无任何限制，官方版GPT4o体验分享 ！
外贸人ChatGPT的13种使用场景+实操落地 |外贸自主开发|开发客户|外贸人客户 |海关数据|ChatGPT|外贸
AI 自动化 18分钟自动发布1000个 YouTube 短视频 Make → Canva → YouTube
【GeekAI揭秘】本地部署的AI助手的全套开源解决方案，基于大语言模型API
AI杀疯了！可以写进简历的自动驾驶项目，BAT无人驾驶高级算法工程师精讲，无人驾驶系列知识入门到实战！
强化学习玩王者荣耀_创建环境
【官方来源】利用知识图谱、机器学习、大语言模型进行数据洞察和个性化推荐
【LLM大模型】零基础小白大模型入门神书 ----小鸟书，大模型入门到进阶，一书全解决！（附PDF书籍）
世界首例GPT植入活人大脑，碾压马斯克脑机接口！
深度学习可视化神器：揭秘Transformer模型黑盒！
从模型预测控制到强化学习-9：仿真、理解和可视化形式各异的DQN算法
ChatGPT4.0国内如何免费使用，免翻，官方版GPT4o体验分享！
高效科研绘图及美化：以ChatGPT+Matlab+Adobe illustrator实现
