V
主页
[pytorch] Tensor 轴(axis)交换,transpose(转置)、swapaxes、permute
发布人
本期code:https://github.com/chunhuizhang/llm_aigc/blob/main/tutorials/nn_basics/axis_dim_processing.ipynb
打开封面
下载高清视频
观看高清视频
视频下载器
[pytorch] torch.einsum 到索引到矩阵运算(index、shape、dimension、axis)
[pytorch] Tensor shape 变化 view 与 reshape(contiguous 的理解)
[pytorch] torch.nn.Bilinear 计算过程与 einsum(爱因斯坦求和约定)
[Python 机器学习] 深入理解 numpy(ndarray)的 axis(轴/维度)
[pytorch distributed] 05 张量并行(tensor parallel),分块矩阵的角度,作用在 FFN 以及 Attention 上
[pytorch 番外] Tensorboard 与计算图初步(算子与 ATen)
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
[pytorch optim] 优化器相关 AdaGrad(adaptive gradient) 与 RMSprop,自适应梯度
[pytorch] 激活函数(梯度消失)sigmoid,clamp,relu(sparse representation,dying relu)
[pytorch] F.binary_cross_entropy(二分类) 与 F.cross_entropy(多分类)
[矩阵分析] 从向量范数到矩阵范数、torch spectral norm(矩阵的谱范数)
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
[pytorch distributed] 01 nn.DataParallel 数据并行初步
[pytorch distributed] accelerate 基本用法(config,launch)数据并行
[pytorch] [求导练习] 05 计算图(computation graph)构建细节之 inplace operation(data与detach)
[leetcode reviews] list of list 矩阵转置与旋转(transpose & rotate)
[pytorch distributed] deepspeed 基本概念、原理(os+g+p)
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习(autograd,单变量,多变量 multivariables 形式)
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader(mnist、fashionmnist、cifar10)
[DRL] 从 TRPO 到 PPO(PPO-penalty,PPO-clip)
[pytorch 强化学习] 10 从 Q Learning 到 DQN(experience replay 与 huber loss / smooth L1)
[pytorch distributed] 02 DDP 基本概念(Ring AllReduce,node,world,rank,参数服务器)
[pytorch 强化学习] 07 迷宫环境(maze environment)Q Learning(value iteration)求解(策略关闭 off)
【数值计算】牛顿迭代法(Newton's method,Newton-Raphson method,牛顿-拉夫逊(拉弗森))计算二次方根(sqrt)三次方根
[pytorch] [求导练习] 06 计算图(computation graph)细节之 retain graph(multi output/backwar)
[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程(nn.NLLLoss(nn.LogSoftmax))
[概率 & 统计] KL 散度(KL div)forward vs. reverse
[PyTorch] Dropout 基本原理(前向计算与自动求导)
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
【统计学】从置信水平(confidence level,置信区间)、Z值到最小采样数(最小抽样数)
[pytorch 强化学习] 12 逐行写代码实现 DQN 完全体
[pytorch 网络模型结构] 深入理解 nn.BatchNorm1d/2d 计算过程
[蒙特卡洛方法] 01 从黎曼和式积分(Reimann Sum)到蒙特卡洛估计(monte carlo estimation)求积分求期望
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
[调包侠] 使用 PyTorch Swin Transformer 完成图像分类
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
[pytorch 强化学习] 01 认识环境(environment,gym.Env)以及 CartPole-v0/v1 环境
[pytorch 网络拓扑结构] 深度理解 nn.BatchNorm1d