张量还能自动并行？MindSpore张量自动并行啥原理？【大模型与分布式训练】系列04篇
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
20大模型全栈-分布式训练03-模型并行-张量并行、朴素流水线并行原理
...
为什么AI框架都用计算图？什么是计算图？到底计算图有什么用？【计算图】系列第二篇
...
PyTorch数据并行怎么实现？DP、DDP、FSDP数据并行原理？【分布式并行】系列第02篇
...
混合并行？多维并行？有多维度混合在一起并行吗？【分布式并行】系列第06篇
...
大模型算法有哪种结构？怎么样才算大模型呢？从Transformer和MOE结构看大模型发展！【分布式算法】系列第02篇
...
大模型是什么？大模型有什么用？训练大模型会遇到哪些挑战？【分布式算法】第01篇
...
AI集群的软硬件通信：从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！【分布式集群】系列第03篇
...
AI框架如何实现分布式训练？SISD和SIMT又是什么？【分布式集群】系列第05篇
...
QNNPack之间接优化算法【推理引擎】Kernel优化第05篇
...
编译器和解释器啥区别？AOT和JIT啥区别？Pass和IR又是什么？【AI编译器】系列01篇
...
LLVM架构了解下？为什么LLVM这么火？一起初体验实操LLVM【AI编译器】系列第四篇
...
Flash Attention原理！数据布局转换与内存优化！【推理引擎】离线优化第04篇
...
分布式训练、分布式集群的基础介绍！【分布式集群】第01篇
...
大模型为什么需要微调？有哪些微调方式？#大模型 #微调
...
感知量化训练QAT原理！伪量化节点计算方式！【推理引擎】模型压缩系列第03篇
...
分布式训练总结！【大模型与分布式训练】系列第07篇
...
21大模型全栈-分布式训练04-模型并行02-流水线并行GPipe和PipeDream原理
...
AI集群用什么服务器架构？Ring All Reduce算法跟物理网络啥关系？【分布式集群】系列第02篇
...
推理系统架构和Trition架构介绍！【推理系统】系列04篇
...
流水并行 PP 基本原理(1F1B、1F1B Interleaved原理) #大模型 #分布式并行 #分布式训练
...
训练后量化PTQ深度解读！与量化部署核心原理！【推理引擎】模型压缩系列第04篇
...
模型剪枝核心原理！模型剪枝算法和流程介绍！Model Pruning深度解析【推理引擎】模型压缩系列第05篇
...
大模型训练需要多少GPU？大模型显存怎么算？ #大模型 #AI系统
...
推理引擎架构介绍！MNN、TF Lite、TensorRT介绍！【推理系统】系列05篇(上)
...
深入GPU原理：线程和缓存关系【AI芯片】GPU原理01
...
AI编译器啥架构来着？有多少模块？【AI编译器】系列第三篇
...
计算图优化策略！【推理引擎】离线优化系列第01篇
...
AI集群机器间是怎么通信？通信原语是个什么玩意？【分布式集群】系列第04篇
...
推理引擎内存布局方式【推理引擎】Kernel优化第06篇
...
Megatron-LM张量并行的行切分和列切分核心原理 #大模型 #分布式并行 #分布式训练
...
TorchDynamo原理来啦！PyTorch2.0编译新特性哦！【AI编译器之PyTorch】系列04篇
...
GCC编译过程！优缺点是啥？手把手用GCC编译一个小程序【AI编译器】系列第三篇
...
分布式训练和NVLink&NVSwitch关系【AI芯片】GPU详解04
...
为什么需要AI编译器？跟传统编译器啥关系吗？【AI编译器】系列第一篇
...
【2024最新】54个大模型实战项目，练完即可就业，从入门到进阶，基础到框架，你想要的全都有，建议码住！超级适合小白入门学习，大模型教程
...
模型并行的流水线并行来啦！了解下GPipe和PipeDream？【分布式并行】系列第05篇
...
LLVM编译器前端和优化层了解下？词法语法分析、Pass优化都在这！【AI编译器】系列第五篇(中)
...
图层IR(Graph IR)是什么？AI编译器如何接收图层IR进行优化呢？【AI编译器】系列之前端优化第02篇
...
LLVM后端代码生成！了解下基于LLVM的项目！【AI编译器】系列第五篇(下)
...
分布式PTD多维并行与GPU集群关系 #大模型 #分布式并行 #分布式训练