[pytorch distributed] deepspeed 基本概念、原理（os+g+p）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
DeepSpeed：炼丹小白居家旅行必备【神器】
...
如何配置deepspeed多卡训练大模型
...
Deepspeed大模型分布式框架精讲
...
DeepSpeed优化器并行ZeRO1/2/3原理 #大模型 #分布式并行 #训练
...
[pytorch distributed] accelerate 基本用法（config，launch）数据并行
...
[pytorch distributed] 02 DDP 基本概念（Ring AllReduce，node，world，rank，参数服务器）
...
DeepSpeed分布式训练框架 DeepSpeed-Chat Step-1-01 简介
...
[pytorch distributed] 01 nn.DataParallel 数据并行初步
...
DeepSpeed-Chat 模型训练实战
...
[diffusion] 生成模型基础 VAE 原理及实现
...
分布式并行框架DeepSpeed介绍 #大模型 #分布式并行 #训练
...
deepspeed_zero_stage3流程动画
...
[mcts] 01 mcts 基本概念基本原理（UCB）及两个示例
...
震惊！我竟然在1080Ti上加载了一个35亿参数的模型（ZeRO, Zero Redundancy Optimizer）
...
[LLMs 实践] 02 LoRA（Low Rank Adaption）基本原理与基本概念，fine-tune 大语言模型
...
[pytorch distributed] amp 原理，automatic mixed precision 自动混合精度
...
[pytorch distributed] nccl 集合通信（collective communication）
...
[pytorch distributed] 04 模型并行（model parallel）on ResNet50
...
nlp开发利器——vscode如何debug transformers源码(deepspeed形式）
...
deepspeed框架-大模型分布式训练与推理
...
[pytorch optim] pytorch 作为一个通用优化问题求解器（目标函数、决策变量）
...
Deepspeedchat代码解读
...
[pytorch distributed] 05 张量并行（tensor parallel），分块矩阵的角度，作用在 FFN 以及 Attention 上
...
一行代码激活DeepSpeed，提升ChatGLM3-6B模型训练效率
...
DeepSpeed ZeRO-3分布式训练模型，权重超过单块GPU显存 #小工蚁
...
[pytorch distributed] 03 DDP 初步应用（Trainer，torchrun）
...
微软架构师讲解分布式训练框架Deepspeed原理
...
[pytorch optim] Adam 与 AdamW，L2 reg 与 weight decay，deepseed
...
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
...
ZeRO & Fastest BERT: Increasing the scale and speed of deep learning training in
...
[pytorch distributed] torch 分布式基础（process group），点对点通信，集合通信
...
DeepSpeed-FastGen比vLLM推理性能快2倍，SplitFuse策略 #小工蚁
...
前走冰火两重天，后有可乐曼妥思。
...
deepspeed 做llama2多机训练
...
[personal chatgpt] LLAMA 3 整体介绍（与 LLama 2 的不同？）
...
[pytorch] Tensor shape 变化 view 与 reshape（contiguous 的理解）
...
[prompt engineering] 从 CoT 到 ToT（Tree of Thoughts）
...
[论文速览]Learning to Learn with Generative Models of NN Checkpoints[2209.12892]
...
[LLM 番外] 自回归语言模型cross entropy loss，及 PPL 评估
...
[LLM & AIGC] 01 openai api 的简单介绍（文本生成/指令，图像生成）