V
主页
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)
发布人
本期code:https://github.com/chunhuizhang/bilibili_vlogs/blob/master/learn_torch/grad/04_backward_step.ipynb 系列:https://space.bilibili.com/59807853/channel/collectiondetail?sid=446911
打开封面
下载高清视频
观看高清视频
视频下载器
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[pytorch] [求导练习] 05 计算图(computation graph)构建细节之 inplace operation(data与detach)
[pytorch optim] pytorch 作为一个通用优化问题求解器(目标函数、决策变量)
[pytorch] [求导练习] 06 计算图(computation graph)细节之 retain graph(multi output/backwar)
[矩阵微分] 标量/矢量关于矢量/矩阵的矩阵微分,深度学习框架反向传播
这绝对是2024年PyTorch框架天花板教程!清华大佬强力打造!100集带你吃透深度学习!
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
[PyTorch] Dropout 基本原理(前向计算与自动求导)
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习(autograd,单变量,多变量 multivariables 形式)
[pytorch 强化学习] 10 从 Q Learning 到 DQN(experience replay 与 huber loss / smooth L1)
[pytorch] [求导练习] 02 softmax 函数自动求导练习(autograd,Jacobian matrix)
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
[pytorch 计算图] retain_graph 获取非叶子节点的 grad
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader(mnist、fashionmnist、cifar10)
[pytorch] 激活函数(梯度消失)sigmoid,clamp,relu(sparse representation,dying relu)
【全200集】已上岸!冒死上传B站最全PyTorch教程,血赚!包含目标检测、图像分割、图像分类项目实战案例,全程干货无废话!学完即可就业,拿走不谢!
【模型推导】循环神经网络(RNN)反向传播、长程依赖问题的改进
[pytorch 网络模型结构] 深入理解 nn.BatchNorm1d/2d 计算过程
[概率 & 统计] KL 散度(KL div)forward vs. reverse
神经网络原来就是素描?
[pytorch distributed] 01 nn.DataParallel 数据并行初步
[LLM 番外] 自回归语言模型cross entropy loss,及 PPL 评估
【手推公式】可导损失函数(loss function)的梯度下降(GD)、随机梯度下降(SGD)以及mini-batch gd梯度优化策略
[pytorch模型拓扑结构] nn.MultiheadAttention, init/forward, 及 query,key,value 的计算细节
[调包侠] 04 使用预训练模型进行图像特征向量提取(image feature extractor,img2vec)并进行相似性计算
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计(MLE)伯努利分布的参数
[pytorch] 激活函数,从 ReLU、LeakyRELU 到 GELU 及其梯度(gradient)(BertLayer,FFN,GELU)
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程(nn.NLLLoss(nn.LogSoftmax))
[AI 核心概念及计算] 优化 01 梯度下降(gradient descent)与梯度上升(gradient ascent)细节及可视化分析
[pytorch distributed] accelerate 基本用法(config,launch)数据并行
[模型拓扑结构] pytorch 注册钩子函数(register_forward_hook)实现对各个层(layer)输入输出 shape 的查看
[pytorch 强化学习] 11 逐行写代码实现 DQN(ReplayMemory,Transition,DQN as Q function)
[pytorch] torch.nn.Bilinear 计算过程与 einsum(爱因斯坦求和约定)
[leetcode reviews] 01 计算思维与刷题方法
[pytorch distributed] deepspeed 基本概念、原理(os+g+p)
[全栈深度学习] 01 docker 工具的基本使用及 nvidia cuda pytorch 镜像
[pytorch 强化学习] 07 迷宫环境(maze environment)Q Learning(value iteration)求解(策略关闭 off)
[pytorch 强化学习] 01 认识环境(environment,gym.Env)以及 CartPole-v0/v1 环境