[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程（nn.NLLLoss(nn.LogSoftmax))
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
...
[pytorch 网络模型结构] 深入理解 nn.BatchNorm1d/2d 计算过程
...
[pytorch] 深入理解 nn.KLDivLoss（kl 散度） 与 nn.CrossEntropyLoss（交叉熵）
...
[LLM 番外] 自回归语言模型cross entropy loss，及 PPL 评估
...
[pytorch] Tensor shape 变化 view 与 reshape（contiguous 的理解）
...
[pytorch distributed] accelerate 基本用法（config，launch）数据并行
...
[动手写Bert系列] bertencoder self attention 计算细节及计算过程
...
[pytorch模型拓扑结构] nn.MultiheadAttention, init/forward, 及 query，key，value 的计算细节
...
[LLMs 实践] 13 gradient checkpointing 显存优化 trick
...
[Python 机器学习] 深入理解 numpy（ndarray）的 axis（轴/维度）
...
[pytorch] [求导练习] 03 计算图（computation graph）及链式法则（chain rule）反向传播过程
...
[pytorch 神经网络拓扑结构] pad_sequence/pack_padded_sequence 时序模型如何处理不定长输入
...
[动手写神经网络] 02 逐行写代码 CNN pipeline 图像分类（模型结构、训练、评估）
...
说点大实话，研究生“水”论文最实用的方法就是网络缝合模块！用上200+即插即用模块代码，大论文小论文轻松涨点！
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
[模型拓扑结构] pytorch 注册钩子函数（register_forward_hook）实现对各个层（layer）输入输出 shape 的查看
...
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
...
[pytorch 网络模型结构] batchnorm train 及 eval 模式的差异及（running_mean, running_var）的计算细节
...
[调包侠] 04 使用预训练模型进行图像特征向量提取（image feature extractor，img2vec）并进行相似性计算
...
[LLMs 实践] 07 fp16 与自动混合精度训练（amp）显著提升 batch size
...
[LLMs 实践] 06 LLaMA，Alpaca LoRA 7B 推理
...
[pytorch 模型拓扑结构] pytorch 矩阵乘法大全（torch.dot, mm, bmm, @, *, matmul）
...
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新（forward，loss.backward(), optimizer.step）
...
[bert、t5、gpt] 10 知识蒸馏（knowledge distill）初步，模型结构及损失函数设计
...
[pytorch] torch.einsum 到索引到矩阵运算（index、shape、dimension、axis）
...
[pytorch 网络拓扑结构] 深度理解 nn.BatchNorm1d
...
[损失函数设计] 为什么多分类问题损失函数用交叉熵损失，而不是 MSE
...
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
...
[pytorch 强化学习] 07 迷宫环境（maze environment）Q Learning（value iteration）求解（策略关闭 off）
...
[pytorch 强化学习] 10 从 Q Learning 到 DQN（experience replay 与 huber loss / smooth L1）
...
[LLMs 实践] 221 llama2 源码分析 generate 的完整过程
...
[pytorch distributed] nccl 集合通信（collective communication）
...
【深度学习环境搭建】01 本机、GPU服务器端深度学习环境搭建（代码、数据共享）
...
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
...
[模型拓扑接口] 经典 RNN 模型（一）模型参数及训练参数的介绍
...
[leetcode reviews] 01 计算思维与刷题方法
...
[pytorch] torch.nn.Bilinear 计算过程与 einsum（爱因斯坦求和约定）
...
[pytorch optim] Adam 与 AdamW，L2 reg 与 weight decay，deepseed
...
[pytorch 强化学习] 08 CartPole Q learning 连续状态离散化（digitize 分桶）及 display_frame_as_gif
...
[pytorch optim] 优化器相关 - learning rate scheduler