动画理解Pytorch 大模型分布式训练技术 DP，DDP，DeepSpeed ZeRO技术
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
PyTorch数据并行怎么实现？DP、DDP、FSDP数据并行原理？【分布式并行】系列第02篇
...
分布式训练总结！【大模型与分布式训练】系列第07篇
...
分布式训练、分布式集群的基础介绍！【分布式集群】第01篇
...
深入GPU原理：线程和缓存关系【AI芯片】GPU原理01
...
手推transformer
...
deepspeed框架-大模型分布式训练与推理
...
从零开始学习大语言模型（一）
...
14-大模型训练和推理加速技术
...
如何知道一个大模型在推理和训练时需要多少显存？
...
模型量化一：量化基础 对称量化 非对称量化 极大值量化 零点量化
...
DeepSpeed优化器并行ZeRO1/2/3原理 #大模型 #分布式并行 #训练
...
[pytorch distributed] 02 DDP 基本概念（Ring AllReduce，node，world，rank，参数服务器）
...
33、完整讲解PyTorch多GPU分布式训练代码编写
...
分布式并行框架DeepSpeed介绍 #大模型 #分布式并行 #训练
...
「分布式训练」原理讲解+ 「DDP 代码实现」修改要点
...
一次搞懂PyTorch DDP分布式训练
...
大模型是怎么训起来的？分布式并行框架介绍 #大模型 #分布式并行 #训练
...
并行训练 | 4、DP 与 DDP ｜ 数据并行 与 分布式数据并行
...
大模型训练如何计算显存占用
...
从零设计并训练一个神经网络，你就能真正理解它了
...
Deepspeed大模型分布式框架精讲
...
一层神经网络也可以拟合任意函数？
...
从0开始训练1.4b中文大模型的经验分享
...
DeepSpeed：炼丹小白居家旅行必备【神器】
...
19、Transformer模型Encoder原理精讲及其PyTorch逐行实现
...
AI 工程师都应该知道的GPU工作原理，TensorCore
...
第二十课：MoE
...
【李宏毅】2024年公认最好的【LLM大模型】教程！大模型入门到进阶，一套全解决！2024生成式人工智慧-附带课件代码
...
【机器学习】直观理解信息量和信息熵的含义
...
大模型量化一网打尽（一）理论基础
...
【分布式深度学习】多机多卡训练原理，开源分布式学习框架(horovod,NVIDIA Clara)，配置训练流程，性能比较
...
分布式训练框架Megatron-LM代码概览 #大模型 #分布式并行 #训练
...
如何配置deepspeed多卡训练大模型
...
34 多GPU训练实现【动手学深度学习v2】
...
Zero 论文精读【论文精读】
...
十分钟搞明白Adam和AdamW，SGD，Momentum，RMSProp，Adam，AdamW
...
DeepSpeed-Chat 模型训练实战
...
10分钟搞明白如何设置大模型推理参数，top_k，top_p, temperature, num_beams。温度，beam search。
...
模型量化三：训练后静态量化 PTQ PTSQ pytorch里进行模型训练后静态量化
...
怎么加快大模型推理？10分钟学懂VLLM内部原理，KV Cache，PageAttention