张量还能自动并行？MindSpore张量自动并行啥原理？【大模型与分布式训练】系列04篇
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
分布式训练、分布式集群的基础介绍！【分布式集群】第01篇
...
PyTorch数据并行怎么实现？DP、DDP、FSDP数据并行原理？【分布式并行】系列第02篇
...
AI集群的软硬件通信：从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！【分布式集群】系列第03篇
...
分布式训练总结！【大模型与分布式训练】系列第07篇
...
喂饭教程！25分钟本地部署Qwen2大模型：配置、微调、部署+效果展示，带你训练自己的行业大模型！
...
大模型是什么？大模型有什么用？训练大模型会遇到哪些挑战？【分布式算法】第01篇
...
大模型是怎么训起来的？分布式并行框架介绍 #大模型 #分布式并行 #训练
...
为什么AI框架都用计算图？什么是计算图？到底计算图有什么用？【计算图】系列第二篇
...
深入GPU原理：线程和缓存关系【AI芯片】GPU原理01
...
推理引擎架构介绍！MNN、TF Lite、TensorRT介绍！【推理系统】系列05篇(上)
...
Megatron-LM张量并行的行切分和列切分核心原理 #大模型 #分布式并行 #分布式训练
...
计算图跟微分什么关系？怎么用计算图表示自动微分？AI框架自动微分如何通过计算图来实现？【计算图】系列第三篇
...
符号微分/数值微分/自动微分区别是什么？【自动微分】系列第二篇
...
天才中单体验德国女大学生开学的一天
...
int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06
...
混合并行？多维并行？有多维度混合在一起并行吗？【分布式并行】系列第06篇
...
AI芯片涉及哪些知识？【AI芯片】内容简介
...
LLVM IR详解！LLVM编译器的核心理念来啦！【AI编译器】系列第五篇(上)
...
AI集群机器间是怎么通信？通信原语是个什么玩意？【分布式集群】系列第04篇
...
模型剪枝核心原理！模型剪枝算法和流程介绍！Model Pruning深度解析【推理引擎】模型压缩系列第05篇
...
感知量化训练QAT原理！伪量化节点计算方式！【推理引擎】模型压缩系列第03篇
...
AI框架内容介绍：AI框架基础、AI框架之争、AI编程范式！【AI框架基础】系列第一篇
...
分布式并行框架DeepSpeed介绍 #大模型 #分布式并行 #训练
...
分布式训练和NVLink&NVSwitch关系【AI芯片】GPU详解04
...
什么是张量并行？张量并行的数学原理是什么？【分布式并行】系列第03篇
...
向量数据库介绍，Vector和Embedding关系 #大模型 #向量数据库
...
大模型为什么需要微调？有哪些微调方式？#大模型 #微调
...
分布式并行策略基础介绍！【分布式并行】系列第01篇
...
AI框架如何实现分布式训练？SISD和SIMT又是什么？【分布式集群】系列第05篇
...
推理引擎架构！MNN、TensorRT架构介绍！【推理系统】系列05篇(下)
...
GCC编译过程！优缺点是啥？手把手用GCC编译一个小程序【AI编译器】系列第三篇
...
大模型训练需要多少GPU？大模型显存怎么算？ #大模型 #AI系统
...
想了解自动微分吗？自动微分内容介绍！【自动微分】系列第一篇！
...
CNN模型小型化原理！SqueezeNet/ShuffleNet/MobileNet系列介绍！【推理系统】模型小型化第02篇
...
推理系统和推理引擎的不同之处在哪？【推理系统】系列02篇
...
AI集群用什么服务器架构？Ring All Reduce算法跟物理网络啥关系？【分布式集群】系列第02篇
...
模型压缩架构和流程介绍！量化/剪枝/蒸馏/二值化4件套！【推理系统】模型压缩第01篇
...
分布式训练框架Megatron-LM代码概览 #大模型 #分布式并行 #训练
...
训练后量化PTQ深度解读！与量化部署核心原理！【推理引擎】模型压缩系列第04篇
...
模型并行的流水线并行来啦！了解下GPipe和PipeDream？【分布式并行】系列第05篇