[pytorch distributed] 03 DDP 初步应用（Trainer，torchrun）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[pytorch distributed] 04 模型并行（model parallel）on ResNet50
...
[pytorch distributed] 02 DDP 基本概念（Ring AllReduce，node，world，rank，参数服务器）
...
[pytorch distributed] 从 DDP、模型并行、流水线并行到 FSDP（NCCL，deepspeed 与 Accelerate）
...
[pytorch distributed] torch 分布式基础（process group），点对点通信，集合通信
...
[pytorch 番外] Tensorboard 与计算图初步（算子与 ATen）
...
[LLMs 实践] 11 gradient accumulation 显存优化 trick
...
[概率 & 统计] kl div kl散度的计算及应用（pytorch）
...
[bert、t5、gpt] 11 知识蒸馏（knowledge distill）huggingface trainer pipeline
...
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader（mnist、fashionmnist、cifar10）
...
[全栈深度学习] 01 docker 工具的基本使用及 nvidia cuda pytorch 镜像
...
[pytorch 强化学习] 03 动手写迷宫环境（maze env）状态及动作策略初步（及动画保存）
...
深度学习环境配置一套搞定：anaconda+pytorch+pycharm+cuda全详解，带你从0配置环境到跑通代码！
...
[pytorch distributed] accelerate 基本用法（config，launch）数据并行
...
[LLMs tuning] 04 optimizer Trainer 优化细节（AdamW，grad clip、Grad Norm）等
...
[pytorch distributed] amp 原理，automatic mixed precision 自动混合精度
...
[pytorch 强化学习] 01 认识环境（environment，gym.Env）以及 CartPole-v0/v1 环境
...
[pytorch distributed] 05 张量并行（tensor parallel），分块矩阵的角度，作用在 FFN 以及 Attention 上
...
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
...
[pytorch] [求导练习] 03 计算图（computation graph）及链式法则（chain rule）反向传播过程
...
B站强推！2024公认最通俗易懂的【PyTorch】教程，狂学人工智能必备数学基础课程（附代码） -人工智能_机器学习_高等数学
...
[pytorch] Tensor 轴（axis）交换，transpose（转置）、swapaxes、permute
...
[动手写神经网络] 手动实现 Transformer Encoder
...
[pytorch distributed] deepspeed 基本概念、原理（os+g+p）
...
强推！这可能是B站最全的（Python＋机器学习＋深度学习）系列课程，从入门到精通，通俗易懂，还学不会我退出IT界！AI人工智能|神经网络|项目实战
...
[diffusion] 生成模型基础 VAE 原理及实现
...
[pytorch distributed] nccl 集合通信（collective communication）
...
[pytorch] [求导练习] 06 计算图（computation graph）细节之 retain graph（multi output/backwar）
...
【全集195集】深度学习必看圣经！李沐大神《动手学深度学习》最新版全套视频教程分享，小白也能信手拈来，看完直接跑通！（深度学习/神经网络/pytorch）】
...
[pytorch 强化学习] 10 从 Q Learning 到 DQN（experience replay 与 huber loss / smooth L1）
...
[显卡环境] CUDA_VISIBLE_DEVICES 控制显卡可见性
...
[调包侠] 使用 PyTorch Swin Transformer 完成图像分类
...
Justin Bieber 教你从零开始编写多模态大模型 1
...
[动手写神经网络] pytorch 高维张量 Tensor 维度操作与处理，einops
...
[pytorch optim] Adam 与 AdamW，L2 reg 与 weight decay，deepseed
...
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习（autograd，单变量，多变量 multivariables 形式）
...
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计（MLE）伯努利分布的参数
...
[pytorch] 多项式分布及采样（torch.multinomial, torch distribution Categorical）
...
[蒙特卡洛方法] 03 接受/拒绝采样（accept/reject samping）初步 cases 分析
...
[LLMs 实践] 02 LoRA（Low Rank Adaption）基本原理与基本概念，fine-tune 大语言模型
...
【对新手非常友好】三小时深度学习PyTorch快速入门！包教会你的！ --人工智能/深度学习/pytorch