V
主页
张量还能自动并行?MindSpore张量自动并行啥原理?【大模型与分布式训练】系列04篇
发布人
【大模型与分布式训练】系列第04篇:MindSpore张量自动并行啥原理?张量还能自动并行? 与数据并行在不同设备都有完整的计算图不同,模型并行是不同设备负责单个计算图不同部分的计算。将计算图中的层内的参数切分到不同设备,即层内并行,我们称之为张量模型并行。一起来看看MindSpore张量自动并行的一个简单原理实现吧!
打开封面
下载高清视频
观看高清视频
视频下载器
20大模型全栈-分布式训练03-模型并行-张量并行、朴素流水线并行原理
为什么AI框架都用计算图?什么是计算图?到底计算图有什么用?【计算图】系列第二篇
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
混合并行?多维并行?有多维度混合在一起并行吗?【分布式并行】系列第06篇
大模型算法有哪种结构?怎么样才算大模型呢?从Transformer和MOE结构看大模型发展!【分布式算法】系列第02篇
大模型是什么?大模型有什么用?训练大模型会遇到哪些挑战?【分布式算法】第01篇
AI集群的软硬件通信:从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理!【分布式集群】系列第03篇
AI框架如何实现分布式训练?SISD和SIMT又是什么?【分布式集群】系列第05篇
QNNPack之间接优化算法【推理引擎】Kernel优化第05篇
编译器和解释器啥区别?AOT和JIT啥区别?Pass和IR又是什么?【AI编译器】系列01篇
LLVM架构了解下?为什么LLVM这么火?一起初体验实操LLVM【AI编译器】系列第四篇
Flash Attention原理!数据布局转换与内存优化!【推理引擎】离线优化第04篇
分布式训练、分布式集群的基础介绍!【分布式集群】第01篇
大模型为什么需要微调?有哪些微调方式?#大模型 #微调
感知量化训练QAT原理!伪量化节点计算方式!【推理引擎】模型压缩系列第03篇
分布式训练总结!【大模型与分布式训练】系列第07篇
21大模型全栈-分布式训练04-模型并行02-流水线并行GPipe和PipeDream原理
AI集群用什么服务器架构?Ring All Reduce算法跟物理网络啥关系?【分布式集群】系列第02篇
推理系统架构和Trition架构介绍!【推理系统】系列04篇
流水并行 PP 基本原理(1F1B、1F1B Interleaved原理) #大模型 #分布式并行 #分布式训练
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
模型剪枝核心原理!模型剪枝算法和流程介绍!Model Pruning深度解析【推理引擎】模型压缩系列第05篇
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
AI编译器啥架构来着?有多少模块?【AI编译器】系列第三篇
计算图优化策略!【推理引擎】离线优化系列第01篇
AI集群机器间是怎么通信?通信原语是个什么玩意?【分布式集群】系列第04篇
推理引擎内存布局方式【推理引擎】Kernel优化第06篇
Megatron-LM张量并行的行切分和列切分核心原理 #大模型 #分布式并行 #分布式训练
TorchDynamo原理来啦!PyTorch2.0编译新特性哦!【AI编译器之PyTorch】系列04篇
GCC编译过程!优缺点是啥?手把手用GCC编译一个小程序【AI编译器】系列第三篇
分布式训练和NVLink&NVSwitch关系【AI芯片】GPU详解04
为什么需要AI编译器?跟传统编译器啥关系吗?【AI编译器】系列第一篇
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
模型并行的流水线并行来啦!了解下GPipe和PipeDream?【分布式并行】系列第05篇
LLVM编译器前端和优化层了解下?词法语法分析、Pass优化都在这!【AI编译器】系列第五篇(中)
图层IR(Graph IR)是什么?AI编译器如何接收图层IR进行优化呢?【AI编译器】系列之前端优化第02篇
LLVM后端代码生成!了解下基于LLVM的项目!【AI编译器】系列第五篇(下)
分布式PTD多维并行与GPU集群关系 #大模型 #分布式并行 #分布式训练