V
主页
Megatron-LM张量并行的行切分和列切分核心原理 #大模型 #分布式并行 #分布式训练
发布人
Megatron-LM张量并行的行切分和列切分核心原理 #大模型 #分布式并行 #分布式训练
打开封面
下载高清视频
观看高清视频
视频下载器
为什么需要集合通信?NCCL的架构是什么样? #大模型 #通信 #集合通信
为什么大模型都用Transformer结构? #AIInfra #大模型 #Transformer
张量还能自动并行?MindSpore张量自动并行啥原理?【大模型与分布式训练】系列04篇
集合通信的操作/原语/算子是什么? #大模型 #通信 #集合通信
向量数据库介绍,Vector和Embedding关系 #大模型 #向量数据库
向量数据库核心:相似性搜索 #大模型 #向量数据库
大模型并行的集合通信算法具体实现细节纰漏!#大模型 #集合通信
大模型为什么需要微调?有哪些微调方式?#大模型 #微调
终于到了大模型集群互联,看昇腾Atlas 900集群细节!#大模型 #集合通信
什么是张量并行?张量并行的数学原理是什么?【分布式并行】系列第03篇
流水并行 PP 基本原理(1F1B、1F1B Interleaved原理) #大模型 #分布式并行 #分布式训练
向量数据库相似性搜索算法:LSH、PQ、ISV-PQ #大模型 #向量数据库
大模型算法有哪种结构?怎么样才算大模型呢?从Transformer和MOE结构看大模型发展!【分布式算法】系列第02篇
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
向量数据库的功能、特性、发展和基本原理 #大模型 #向量数据库
向量数据库的技术与混合搜索系统 #大模型 #向量数据库
大模型AI集群训练时间 & 训练效率如何计算? #大模型 #AI系统
AI芯片除硬件本身外,还要关注什么?【AI芯片】黄金十年
AI芯片技术基础【AI芯片】芯片基础06
从KIMI 200万中文长序列看24年大模型发展趋势 #AIInfra #大模型 #KIMI
DeepSpeed优化器并行ZeRO1/2/3原理 #大模型 #分布式并行 #训练
模型并行的流水线并行来啦!了解下GPipe和PipeDream?【分布式并行】系列第05篇
为什么AI训练使用GPU而不是CPU?【AI芯片】GPU原理02
int8/fp16/bf16/tf32在AI芯片中什么作用?【AI芯片】AI计算体系06
大模型是什么?大模型有什么用?训练大模型会遇到哪些挑战?【分布式算法】第01篇
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
世界第一块AI训练芯片(Google TPUv2)的原理【AI芯片】TPU系列03
向量数据库之相似度度量和过滤的方法 #大模型 #向量数据库
NVIDIA十代GPU架构回顾(从Turning图灵到Hopper赫柏)【AI芯片】GPU架构03
AI 对集合通信算法的诉求有什么?集合通信算法是啥? #大模型 #通信 #集合通信
大模型整体架构、大模型全流程介绍 #大模型 #AI系统
推理系统架构和Trition架构介绍!【推理系统】系列04篇
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
萝卜快跑技术解读!端到端自动驾驶? #萝卜快跑 #自动驾驶 #端到端
AI Agent智能体应用原理剖析:AutoGPT、HuggingFPT等 #大模型 #AI系统 #智能体
CUDA编程好不好用,看SIMD和SIMT?#AI芯片 #SIMT #AI编程
从GPU架构发展看AI【AI芯片】芯片基础05
大模型的训练流程是什么?详解大模型预训练和微调间区别 #大模型 #微调
大模型整体架构、大模型全流程介绍 #大模型 #AI系统
AI Agent智能体具体组成 #大模型 #AI系统 #智能体