V
主页
混合并行?多维并行?有多维度混合在一起并行吗?【大模型与分布式训练】系列第八篇
发布人
【大模型与分布式训练】系列第八篇:混合并行?多维并行?有多维度混合在一起并行吗? 在第七节的内容里面分享了数据并行、模型并行(张量并行、流水并行),实际在大模型、大规模分布式AI集群中许多训练的场景都需要数据并行、按Tensor切分的模型并行以及pipeline并行一起来进行,才能实现一个很好的训练加速。多维混合并行主要是指把数据并行、张量并行、流水并行混合搭配使用,一起用都不累。那么最经典的用RL推荐大模型、LLM语言大模型来看看如何把多维混合在一起吧!
打开封面
下载高清视频
观看高清视频
视频下载器
20大模型全栈-分布式训练03-模型并行-张量并行、朴素流水线并行原理
21大模型全栈-分布式训练04-模型并行02-流水线并行GPipe和PipeDream原理
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
分布式并行策略基础介绍!【分布式并行】系列第01篇
分布式训练总结!【大模型与分布式训练】系列第07篇
什么是张量并行?张量并行的数学原理是什么?【分布式并行】系列第03篇
模型并行的流水线并行来啦!了解下GPipe和PipeDream?【分布式并行】系列第05篇
AI集群的软硬件通信:从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理!【分布式集群】系列第03篇
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
张量还能自动并行?MindSpore张量自动并行啥原理?【大模型与分布式训练】系列04篇
分布式训练、分布式集群的基础介绍!【分布式集群】第01篇
大模型算法有哪种结构?怎么样才算大模型呢?从Transformer和MOE结构看大模型发展!【分布式算法】系列第02篇
AI框架如何实现分布式训练?SISD和SIMT又是什么?【分布式集群】系列第05篇
为什么AI框架都用计算图?什么是计算图?到底计算图有什么用?【计算图】系列第二篇
大模型是什么?大模型有什么用?训练大模型会遇到哪些挑战?【分布式算法】第01篇
LLVM架构了解下?为什么LLVM这么火?一起初体验实操LLVM【AI编译器】系列第四篇
AI集群机器间是怎么通信?通信原语是个什么玩意?【分布式集群】系列第04篇
编译器和解释器啥区别?AOT和JIT啥区别?Pass和IR又是什么?【AI编译器】系列01篇
大模型是怎么训起来的?分布式并行框架介绍 #大模型 #分布式并行 #训练
从十亿到万亿规模SOTA大模型有哪些?BERT、GPT3、Switch算法来啦!【分布式算法】系列第03篇
int8/fp16/bf16/tf32在AI芯片中什么作用?【AI芯片】AI计算体系06
AI集群用什么服务器架构?Ring All Reduce算法跟物理网络啥关系?【分布式集群】系列第02篇
为什么需要AI编译器?跟传统编译器啥关系吗?【AI编译器】系列第一篇
为什么大模型都用Transformer结构? #AIInfra #大模型 #Transformer
向量数据库介绍,Vector和Embedding关系 #大模型 #向量数据库
GCC编译过程!优缺点是啥?手把手用GCC编译一个小程序【AI编译器】系列第三篇
分布式并行框架DeepSpeed介绍 #大模型 #分布式并行 #训练
什么是推理系统?推理有哪些应用?【推理系统】系列01篇
知识蒸馏原理介绍!知识从哪里来怎么蒸馏?【推理引擎】模型压缩系列第06篇(上)
AI编译器后端优化来啦!AI编译器后端架构!【AI编译器】后端优化01篇
RAG实战系列(医疗知识问答),从零开始实现多路召回检索,带你了解检索流程和算法原理
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
LLVM IR详解!LLVM编译器的核心理念来啦!【AI编译器】系列第五篇(上)
大模型为什么需要微调?有哪些微调方式?#大模型 #微调
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
LLVM后端代码生成!了解下基于LLVM的项目!【AI编译器】系列第五篇(下)
大模型在AI集群分布式架构:参数服务器 or 集合通信架构? #大模型 #AI系统
大模型PTD并行后如何配置在GPU集群? #大模型 #分布式并行 #分布式训练
从CPU发展和组成看并行架构!【AI芯片】芯片基础01
分布式PTD多维并行与GPU集群关系 #大模型 #分布式并行 #分布式训练