[pytorch distributed] amp 原理，automatic mixed precision 自动混合精度
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[LLMs 实践] 07 fp16 与自动混合精度训练（amp）显著提升 batch size
...
[pytorch distributed] deepspeed 基本概念、原理（os+g+p）
...
[pytorch distributed] 01 nn.DataParallel 数据并行初步
...
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
...
[pytorch distributed] 从 DDP、模型并行、流水线并行到 FSDP（NCCL，deepspeed 与 Accelerate）
...
[pytorch distributed] accelerate 基本用法（config，launch）数据并行
...
[pytorch distributed] 05 张量并行（tensor parallel），分块矩阵的角度，作用在 FFN 以及 Attention 上
...
[pytorch distributed] torch 分布式基础（process group），点对点通信，集合通信
...
[pytorch distributed] nccl 集合通信（collective communication）
...
[pytorch 强化学习] 10 从 Q Learning 到 DQN（experience replay 与 huber loss / smooth L1）
...
[pytorch distributed] 02 DDP 基本概念（Ring AllReduce，node，world，rank，参数服务器）
...
[diffusion] 生成模型基础 VAE 原理及实现
...
[PyTorch] Dropout 基本原理（前向计算与自动求导）
...
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习（autograd，单变量，多变量 multivariables 形式）
...
【对新手非常友好】三小时深度学习PyTorch快速入门！包教会你的！ --人工智能/深度学习/pytorch
...
[pytorch 强化学习] 01 认识环境（environment，gym.Env）以及 CartPole-v0/v1 环境
...
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader（mnist、fashionmnist、cifar10）
...
[番外] float16 与 bf16 表示和计算细节
...
【什么是OCR？】强推！2024最容易上手的OCR文字识别教程分享！10小时带你全面解读OCR算法，详解OCR识别的优势！
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
[pytorch distributed] 04 模型并行（model parallel）on ResNet50
...
【全集195集】深度学习必看圣经！李沐大神《动手学深度学习》最新版全套视频教程分享，小白也能信手拈来，看完直接跑通！（深度学习/神经网络/pytorch）】
...
[pytorch] [求导练习] 02 softmax 函数自动求导练习（autograd，Jacobian matrix）
...
[pytorch] [求导练习] 06 计算图（computation graph）细节之 retain graph（multi output/backwar）
...
[动手写神经网络] 手动实现 Transformer Encoder
...
[全栈算法] docker nvidia pytorch gpu 环境及容器操作，端口号映射
...
[全栈深度学习] 01 docker 工具的基本使用及 nvidia cuda pytorch 镜像
...
这也太全面了！堪称教学天花板的【pytorch】教程，复旦博士由浅入深系统讲解原理基础及多个项目实战，整整100讲！
...
[pytorch distributed] 03 DDP 初步应用（Trainer，torchrun）
...
[调包侠] 使用 PyTorch Swin Transformer 完成图像分类
...
研究生基本代码复现基本功！3分钟教会你如何跑通官方模型代码，再替换为自己的数据集跑通！人工智能|计算机技术|github
...
【PyTorch】只看不练，等于白看！！PyTorch深度学习实战案例，还不拿下！！！
...
这绝对是2024年PyTorch框架天花板教程！清华大佬强力打造！100集带你吃透深度学习！
...
全网讲解最系统！复旦大学牛人保姆式解读【深度学习神经网络】原理基础及代码复现，比刷剧还爽的体验！
...
[AI硬件科普] 内存/显存带宽，从 NVIDIA 到苹果 M4
...
太厉害了 已跪！终于有人能把OpenCV图像处理讲的这么通俗易懂了，计算机视觉opencv全套教程分享，只需半天就能入门到精通！深度学习/图像处理/人工智能
...
每个初学深度学习的小伙伴只需要学这三个项目！学完以后可以说没有什么深度学习代码能够难住你！
...
[动手写神经网络] 可微才可学，深度学习框架自动微分计算图（DAG）
...
[pytorch 强化学习] 02 将 env rendering 保存为 mp4/gif（以 CartPole 为例，mode='rgb_array'）
...
[pytorch] [求导练习] 03 计算图（computation graph）及链式法则（chain rule）反向传播过程