V
主页
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
发布人
本期code:https://github.com/chunhuizhang/bilibili_vlogs/blob/master/learn_torch/loss/01_BCELoss_binary_cross_entropy.ipynb pytorch 系列:https://space.bilibili.com/59807853/channel/collectiondetail?sid=446911 crossentropyloss:https://www.bilibili.com/video/BV1NY4y1E76o/
打开封面
下载高清视频
观看高清视频
视频下载器
[pytorch 网络模型结构] 深入理解 nn.BatchNorm1d/2d 计算过程
[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程(nn.NLLLoss(nn.LogSoftmax))
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)
[pytorch] 深入理解 nn.KLDivLoss(kl 散度) 与 nn.CrossEntropyLoss(交叉熵)
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
[pytorch 强化学习] 10 从 Q Learning 到 DQN(experience replay 与 huber loss / smooth L1)
[Python 机器学习] 深入理解 numpy(ndarray)的 axis(轴/维度)
[pytorch 网络拓扑结构] 深度理解 nn.BatchNorm1d
[pytorch 模型拓扑结构] 深入理解 nn.BatchNorm2d/3d
[pytorch模型拓扑结构] nn.MultiheadAttention, init/forward, 及 query,key,value 的计算细节
[模型拓扑接口] 经典 RNN 模型(一)模型参数及训练参数的介绍
[PyTorch] Dropout 基本原理(前向计算与自动求导)
[矩阵分析] 分块矩阵的角度理解矩阵运算(独热向量与对角矩阵)
[pytorch 模型拓扑结构] pytorch 矩阵乘法大全(torch.dot, mm, bmm, @, *, matmul)
[数学!数学] 最大似然估计(MLE)与最小化交叉熵损失(cross entropy loss)的等价性
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
【深度学习环境搭建】01 本机、GPU服务器端深度学习环境搭建(代码、数据共享)
[pytorch] F.binary_cross_entropy(二分类) 与 F.cross_entropy(多分类)
[pytorch] torch.nn.Bilinear 计算过程与 einsum(爱因斯坦求和约定)
[pytorch 网络模型结构] batchnorm train 及 eval 模式的差异及(running_mean, running_var)的计算细节
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[pytorch 神经网络拓扑结构] pad_sequence/pack_padded_sequence 时序模型如何处理不定长输入
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader(mnist、fashionmnist、cifar10)
[模型拓扑结构] pytorch 注册钩子函数(register_forward_hook)实现对各个层(layer)输入输出 shape 的查看
[pytorch 计算图] retain_graph 获取非叶子节点的 grad
[动手写神经网络] 手动实现 Transformer Encoder
研一刚入学,从未接触过神经网络python也是才开始学,现在导师要我做LSTM,我应该去学什么?
[动手写Bert系列] bertencoder self attention 计算细节及计算过程
超全超简单!一口气刷完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM、DBN等八大深度学习神经网络算法!真的比刷剧还爽!
[personal chatgpt] 从 RoPE 到 CoPE(绝对位置编码,相对位置编码,Contextual Position Encoding)
[LLM && AIGC] 04 深入理解 openai tokenizer 及 api 中的 logit_bias 与 logprobs
[概率 & 统计] kl div kl散度的计算及应用(pytorch)
[pytorch] [求导练习] 06 计算图(computation graph)细节之 retain graph(multi output/backwar)
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计(MLE)伯努利分布的参数
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
[LLMs 实践] 21 llama2 源码分析 GQA:Grouped Query Attention
[pytorch 强化学习] 07 迷宫环境(maze environment)Q Learning(value iteration)求解(策略关闭 off)
每个初学深度学习的小伙伴只需要学这三个项目!学完以后可以说没有什么深度学习代码能够难住你!
[pytorch distributed] torch 分布式基础(process group),点对点通信,集合通信
[bert、t5、gpt] 10 知识蒸馏(knowledge distill)初步,模型结构及损失函数设计