V
主页
AI框架如何实现分布式训练功能的?SISD和SIMT又是什么?【大模型与分布式训练】系列第三篇!
发布人
AI系统(深度学习系统)之【大模型与分布式训练】系列第三篇!AI框架如何实现分布式训练功能的?SISD和SIMT又是什么? 这一期内容主要从串行处理的硬件架构SISD,发展到并行处理的三种硬件架构SIMD、MISD、MIMD到GPU常用的SIMT硬件架构,了解分布式并行的单机硬件模式。接着来看看主流AI框架(TensorFlow、PyTorch、MindSpore)中的分布式并行的能力。
打开封面
下载高清视频
观看高清视频
视频下载器
AI集群的软硬件通信:从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理!【分布式集群】系列第03篇
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
LLVM架构了解下?为什么LLVM这么火?一起初体验实操LLVM【AI编译器】系列第四篇
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
强推!这可能是唯一能将AI Agent讲清楚的课程了,公认最适合新手入门Agent大模型实战系列,3小时全流程解读分析,简直比刷剧还爽!人工智能|大模型
RAG实战系列(医疗知识问答),从零开始实现多路召回检索,带你了解检索流程和算法原理
【整整600集】字节大佬196小时讲完的AI大模型教程(LLM)零基础入门到精通全套教程,全程干货无废话,这还学不会,我退出IT圈!微调/模型训练/私有化部署
自制大模型推理框架-KVCache动手实现-秋招快人一步
Dify快速入门 | 本地部署Dify基于Llama 3.1和OpenAI创建聊天机器人与知识库
大模型是什么?大模型有什么用?训练大模型会遇到哪些挑战?【分布式算法】第01篇
GCC编译过程!优缺点是啥?手把手用GCC编译一个小程序【AI编译器】系列第三篇
为什么AI训练使用GPU而不是CPU?【AI芯片】GPU原理02
AI集群机器间是怎么通信?通信原语是个什么玩意?【分布式集群】系列第04篇
计算图跟微分什么关系?怎么用计算图表示自动微分?AI框架自动微分如何通过计算图来实现?【计算图】系列第三篇
【llama3.1】国内可直接使用教程,405B堪称最强开源大模型,API无限调用,迪哥手把手教你你怎么玩,这也太强大了!
我预见的大模型四大发展趋势
什么是张量并行?张量并行的数学原理是什么?【分布式并行】系列第03篇
吹爆!这可能是B站最全的大模型学习路线图,结合多年实战经验总结的大模型学习方法,还学不会大模型你来打我!人工智能|神经网络|AI
模型并行的流水线并行来啦!了解下GPipe和PipeDream?【分布式并行】系列第05篇
AI集群用什么服务器架构?Ring All Reduce算法跟物理网络啥关系?【分布式集群】系列第02篇
AI框架内容介绍:AI框架基础、AI框架之争、AI编程范式!【AI框架基础】系列第一篇
最全面最详细的Flux使用说明书:30分钟学会Flux的一切
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
LLVM编译器前端和优化层了解下?词法语法分析、Pass优化都在这!【AI编译器】系列第五篇(中)
强推!这可能是B站最全的(Python+机器学习+深度学习)系列课程了,堪称人工智能系列课程的巅峰之作!-人工智能/深度学习/机器学习
分布式训练总结!【大模型与分布式训练】系列第07篇
混合并行?多维并行?有多维度混合在一起并行吗?【分布式并行】系列第06篇
1、昇思MindSpore Al框架介绍--曹杰文丨MindSpore SPONGE暑期学校
分布式并行策略基础介绍!【分布式并行】系列第01篇
大模型是怎么训起来的?分布式并行框架介绍 #大模型 #分布式并行 #训练
大模型训练的存储优化方案(下) #大模型 #AI系统 #数据存储 #AI集群
(超爽中英!) 2024公认最全的【吴恩达大模型LLM】系列教程!附代码_LangChain_微调ChatGPT提示词_RAG模型应用_agent_生成式AI
计算图有哪些内容知识?【计算图】系列第一篇
AI框架有什么用?没有AI框架写算法又会怎么样?【AI框架基础】系列第二篇
深入NVLink原理:内部结构与组网拓扑【AI芯片】GPU详解05
计算图未来将会走向何方?【计算图】第七篇
大模型整体架构、大模型全流程介绍 #大模型 #AI系统
NVIDIA十代GPU架构回顾(从Fermi费米到Volta伏特)【AI芯片】GPU架构02
从十亿到万亿规模SOTA大模型有哪些?BERT、GPT3、Switch算法来啦!【分布式算法】系列第03篇