[动手写神经网络] 如何对数据集归一化（transforms.Normalize）以 mnist 数据集为例（mean=0.1307, std=0.3081）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[动手写神经网络] 如何对数据集（ImageNet） denormalize（inverse normalize）还原为原来的均值和标准差（mean/std）
...
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader（mnist、fashionmnist、cifar10）
...
[动手写神经网络] 08 WandB（weights & biases）深度学习调参利器
...
[动手写神经网络] 05 使用预训练 resnet18 提升 cifar10 分类准确率及误分类图像可视化分析
...
[动手写神经网络] 06 自定义（kaggle）数据集（custom dataset）、Dataloader，及 train test valid 数据集拆分
...
[pytorch distributed] 从 DDP、模型并行、流水线并行到 FSDP（NCCL，deepspeed 与 Accelerate）
...
[动手写bert系列] 01 huggingface tokenizer （vocab，encode，decode）原理及细节
...
[动手写神经网络] 如何设计卷积核（conv kernel）实现降2采样，以及初探vggnet/resnet 卷积设计思路（不断降空间尺度，升channel）
...
[pytorch distributed] 01 nn.DataParallel 数据并行初步
...
[蒙特卡洛方法] 01 从黎曼和式积分（Reimann Sum）到蒙特卡洛估计（monte carlo estimation）求积分求期望
...
[动手写神经网络] 04 使用预训练 vgg 提升 cifar10 分类准确率
...
[personal chatgpt] 从 RoPE 到 CoPE（绝对位置编码，相对位置编码，Contextual Position Encoding）
...
【深度学习环境搭建】01 本机、GPU服务器端深度学习环境搭建（代码、数据共享）
...
[动手写神经网络] 03 自定义 CNN 模型适配新的数据集 CIFAR10（适配+简单调参）
...
[pytorch 网络模型结构] batchnorm train 及 eval 模式的差异及（running_mean, running_var）的计算细节
...
[动手写神经网络] 02 逐行写代码 CNN pipeline 图像分类（模型结构、训练、评估）
...
[pytorch 强化学习] 11 逐行写代码实现 DQN（ReplayMemory，Transition，DQN as Q function）
...
[personal chatgpt] gpt-4o tokenizer 及特殊中文tokens（压缩词表），o200k_base
...
[QKV attention] flash attention（Tiling与重计算），operation fused，HBM vs. SRAM
...
[leetcode reviews] 01 计算思维与刷题方法
...
[全栈深度学习] 01 docker 工具的基本使用及 nvidia cuda pytorch 镜像
...
[pytorch distributed] deepspeed 基本概念、原理（os+g+p）
...
[RLHF] 从 PPO rlhf 到 DPO，公式推导与原理分析
...
[pytorch 强化学习] 01 认识环境（environment，gym.Env）以及 CartPole-v0/v1 环境
...
[pytorch 强化学习] 13 基于 pytorch 神经网络实现 policy gradient（REINFORCE）求解 CartPole
...
[pytorch] [求导练习] 03 计算图（computation graph）及链式法则（chain rule）反向传播过程
...
[强化学习基础 01] MDP 基础（概率转移，与POMDP、I-POMDP）
...
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
...
[矩阵分析] LoRA 矩阵分析基础之 SVD low rank approximation（低秩逼近）
...
[QKV attention] kv-cache、decoder only vs. BERT, 单向注意力 vs. 双向注意力
...
[generative models] 概率建模视角下的现代生成模型（生成式 vs. 判别式，采样与密度估计）
...
k-Sparse AutorEncoder 与大语言模型可解释性研究（openai、claude），top-K 求导
...
[动手写神经网络] 07 预训练 resnet 解决 kaggle weather dataset（validation dataset）的使用
...
[DRL] 从 TRPO 到 PPO（PPO-penalty，PPO-clip）
...
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习（autograd，单变量，多变量 multivariables 形式）
...
[蒙特卡洛方法] 02 重要性采样（importance sampling）及 python 实现
...
[pytorch optim] pytorch 作为一个通用优化问题求解器（目标函数、决策变量）
...
[LLMs 实践] 04 PEFT/LoRA 源码分析
...
[pytorch 神经网络拓扑结构] pad_sequence/pack_padded_sequence 时序模型如何处理不定长输入
...
[pytorch optim] Adam 与 AdamW，L2 reg 与 weight decay，deepseed