V
主页
京东 11.11 红包
[矩阵分析] 从向量范数到矩阵范数、torch spectral norm(矩阵的谱范数)
发布人
本期 code: https://github.com/chunhuizhang/deeplearning_math/blob/main/tutorials/matrix/Lp_norm_matrix_norm.ipynb https://github.com/chunhuizhang/llm_aigc/blob/main/tutorials/nn_basics/spectral_norm.ipynb
打开封面
下载高清视频
观看高清视频
视频下载器
【矩阵分析】矩阵奇异值与谱范数(spectral norm),F范数(Frobenius norm),核范数(nuclear norm)
【矩阵分析】从特征值特征向量到矩阵SVD奇异值分解(np.linalg.svd)
【矩阵分析】矩阵范数(martix norm)&条件数(condition number),ill-conditioned,well-conditioned
[pytorch] torch.nn.Bilinear 计算过程与 einsum(爱因斯坦求和约定)
[pytorch] 激活函数(梯度消失)sigmoid,clamp,relu(sparse representation,dying relu)
[pytorch] Tensor 轴(axis)交换,transpose(转置)、swapaxes、permute
[pytorch] torch.einsum 到索引到矩阵运算(index、shape、dimension、axis)
[矩阵分析] 分块矩阵的角度理解矩阵运算(独热向量与对角矩阵)
[LLMs 实践] 17 llama2 源码分析(RMSNorm 与 SwiGLU)
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
[pytorch 番外] Tensorboard 与计算图初步(算子与 ATen)
[pytorch distributed] torch 分布式基础(process group),点对点通信,集合通信
[矩阵分析] 旋转矩阵的计算机与应用(复平面,RoPE)
[pytorch optim] 优化器相关 AdaGrad(adaptive gradient) 与 RMSprop,自适应梯度
[pytorch 模型拓扑结构] pytorch 矩阵乘法大全(torch.dot, mm, bmm, @, *, matmul)
[pytorch] Tensor shape 变化 view 与 reshape(contiguous 的理解)
[pytorch] 多项式分布及采样(torch.multinomial, torch distribution Categorical)
【矩阵计算】从 im2col 到 GEMM,矩阵与核的卷积到矩阵乘法
[pytorch] F.binary_cross_entropy(二分类) 与 F.cross_entropy(多分类)
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
[矩阵微分] 标量/矢量关于矢量/矩阵的矩阵微分,深度学习框架反向传播
[pytorch distributed] 05 张量并行(tensor parallel),分块矩阵的角度,作用在 FFN 以及 Attention 上
[leetcode reviews] list of list 矩阵转置与旋转(transpose & rotate)
[LLM+RL] 合成数据与model collapse,nature 正刊封面
【矩阵分析】斐波那契数列(Fibonacci)通项公式的(矩阵矢量)推导
[蒙特卡洛方法] 03 接受/拒绝采样(accept/reject samping)初步 cases 分析
[动手写 bert 系列] Bert 中的(add & norm)残差连接与残差模块(residual connections/residual blocks)
[动手写 bert 系列] torch.no_grad() vs. param.requires_grad == False
[矩阵分析] LoRA 矩阵分析基础之 SVD low rank approximation(低秩逼近)
[bert、t5、gpt] 04 构建 TransformerEncoderLayer(FFN 与 Layer Norm、skip connection)
[lora 番外] LoRA merge 与 SVD(矩阵奇异值分解)
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
【推荐系统】【缺失值处理】【矩阵分析】基于低秩矩阵补全(low rank matrix completing,矩阵分解 matrix factorizatio)
【手推公式】logistic regression 及其与 linear regression 的区别,对数线性与对数几率
【回归】多元线性回归分析(最小二乘法,矩阵矢量形式,解析解)
[pytorch] BN、LN、RMSNorm 及 pre LN vs. post LN 对比,标准化
[动手写神经网络] 可微才可学,深度学习框架自动微分计算图(DAG)
【矩阵分析】二维旋转矩阵的推导(极坐标/基变换)
[LLMs tuning] 04 optimizer Trainer 优化细节(AdamW,grad clip、Grad Norm)等
[多元变量微分] 方向导数与梯度下降方法(directional derivatives)