V
主页
[pytorch] F.binary_cross_entropy(二分类) 与 F.cross_entropy(多分类)
发布人
本期 code:https://github.com/chunhuizhang/llm_aigc/blob/main/tutorials/nn_basics/bce_loss_cross_entropy.ipynb 参考:BV1NY4y1E76o
打开封面
下载高清视频
观看高清视频
视频下载器
[pytorch] torch.einsum 到索引到矩阵运算(index、shape、dimension、axis)
[LLM 番外] 自回归语言模型cross entropy loss,及 PPL 评估
[pytorch] Tensor 轴(axis)交换,transpose(转置)、swapaxes、permute
【手推公式】从二分类到多分类,从sigmoid到softmax,从最大似然估计到 cross entropy
[pytorch optim] 优化器相关 AdaGrad(adaptive gradient) 与 RMSprop,自适应梯度
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
[pytorch] torch.nn.Bilinear 计算过程与 einsum(爱因斯坦求和约定)
[pytorch] Tensor shape 变化 view 与 reshape(contiguous 的理解)
[pytorch 番外] Tensorboard 与计算图初步(算子与 ATen)
【手推公式】xgboost自定义损失函数(cross entropy/squared log loss)及其一阶导数gradient二阶导数hessian
[数学!数学] 最大似然估计(MLE)与最小化交叉熵损失(cross entropy loss)的等价性
[PyTorch] Dropout 基本原理(前向计算与自动求导)
[pytorch 强化学习] 07 迷宫环境(maze environment)Q Learning(value iteration)求解(策略关闭 off)
[pytorch 强化学习] 12 逐行写代码实现 DQN 完全体
[pytorch 模型拓扑结构] pytorch 矩阵乘法大全(torch.dot, mm, bmm, @, *, matmul)
[LLMs 实践] 13 gradient checkpointing 显存优化 trick
[pytorch 强化学习] 05 迷宫环境(maze environment)策略梯度(Policy Gradient)求解
[概率 & 统计] kl div kl散度的计算及应用(pytorch)
[动手写 bert 系列] Bert 中的(add & norm)残差连接与残差模块(residual connections/residual blocks)
[pytorch distributed] torch 分布式基础(process group),点对点通信,集合通信
[pytorch distributed] nccl 集合通信(collective communication)
[动手写Bert系列] bertencoder self attention 计算细节及计算过程
[全栈算法] docker nvidia pytorch gpu 环境及容器操作,端口号映射
[pytorch] 激活函数(梯度消失)sigmoid,clamp,relu(sparse representation,dying relu)
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计(MLE)伯努利分布的参数
[pytorch 强化学习] 08 CartPole Q learning 连续状态离散化(digitize 分桶)及 display_frame_as_gif
[调包侠] 使用 PyTorch Swin Transformer 完成图像分类
[动手写bert系列] BertSelfLayer 多头注意力机制(multi head attention)的分块矩阵实现
[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程(nn.NLLLoss(nn.LogSoftmax))
[pytorch 强化学习] 02 将 env rendering 保存为 mp4/gif(以 CartPole 为例,mode='rgb_array')
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[pytorch 模型拓扑结构] 深入理解 nn.BatchNorm2d/3d
[pytorch 强化学习] 10 从 Q Learning 到 DQN(experience replay 与 huber loss / smooth L1)
[pytorch 网络拓扑结构] 深度理解 nn.BatchNorm1d
[pytorch 神经网络拓扑结构] pad_sequence/pack_padded_sequence 时序模型如何处理不定长输入
[pytorch 强化学习] 04 迷宫环境(maze environment)封装 MazeEnv、Agent 类
[pytorch 计算图] retain_graph 获取非叶子节点的 grad
[pytorch 网络模型结构] 深入理解 nn.BatchNorm1d/2d 计算过程
[pytorch 强化学习] 13 基于 pytorch 神经网络实现 policy gradient(REINFORCE)求解 CartPole
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)