京东 11.11 红包
[矩阵分析] 从向量范数到矩阵范数、torch spectral norm（矩阵的谱范数）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【矩阵分析】矩阵奇异值与谱范数（spectral norm），F范数（Frobenius norm），核范数（nuclear norm）
...
【矩阵分析】从特征值特征向量到矩阵SVD奇异值分解（np.linalg.svd）
...
【矩阵分析】矩阵范数（martix norm）&条件数（condition number），ill-conditioned，well-conditioned
...
[pytorch] torch.nn.Bilinear 计算过程与 einsum（爱因斯坦求和约定）
...
[pytorch] 激活函数（梯度消失）sigmoid，clamp，relu（sparse representation，dying relu）
...
[pytorch] Tensor 轴（axis）交换，transpose（转置）、swapaxes、permute
...
[pytorch] torch.einsum 到索引到矩阵运算（index、shape、dimension、axis）
...
[矩阵分析] 分块矩阵的角度理解矩阵运算（独热向量与对角矩阵）
...
[LLMs 实践] 17 llama2 源码分析（RMSNorm 与 SwiGLU）
...
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
...
[pytorch 番外] Tensorboard 与计算图初步（算子与 ATen）
...
[pytorch distributed] torch 分布式基础（process group），点对点通信，集合通信
...
[矩阵分析] 旋转矩阵的计算机与应用（复平面，RoPE）
...
[pytorch optim] 优化器相关 AdaGrad（adaptive gradient） 与 RMSprop，自适应梯度
...
[pytorch 模型拓扑结构] pytorch 矩阵乘法大全（torch.dot, mm, bmm, @, *, matmul）
...
[pytorch] Tensor shape 变化 view 与 reshape（contiguous 的理解）
...
[pytorch] 多项式分布及采样（torch.multinomial, torch distribution Categorical）
...
【矩阵计算】从 im2col 到 GEMM，矩阵与核的卷积到矩阵乘法
...
[pytorch] F.binary_cross_entropy（二分类） 与 F.cross_entropy（多分类）
...
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
...
[矩阵微分] 标量/矢量关于矢量/矩阵的矩阵微分，深度学习框架反向传播
...
[pytorch distributed] 05 张量并行（tensor parallel），分块矩阵的角度，作用在 FFN 以及 Attention 上
...
[leetcode reviews] list of list 矩阵转置与旋转（transpose & rotate）
...
[LLM+RL] 合成数据与model collapse，nature 正刊封面
...
【矩阵分析】斐波那契数列（Fibonacci）通项公式的（矩阵矢量）推导
...
[蒙特卡洛方法] 03 接受/拒绝采样（accept/reject samping）初步 cases 分析
...
[动手写 bert 系列] Bert 中的（add & norm）残差连接与残差模块（residual connections/residual blocks）
...
[动手写 bert 系列] torch.no_grad() vs. param.requires_grad == False
...
[矩阵分析] LoRA 矩阵分析基础之 SVD low rank approximation（低秩逼近）
...
[bert、t5、gpt] 04 构建 TransformerEncoderLayer（FFN 与 Layer Norm、skip connection）
...
[lora 番外] LoRA merge 与 SVD（矩阵奇异值分解）
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
【推荐系统】【缺失值处理】【矩阵分析】基于低秩矩阵补全（low rank matrix completing，矩阵分解 matrix factorizatio）
...
【手推公式】logistic regression 及其与 linear regression 的区别，对数线性与对数几率
...
【回归】多元线性回归分析（最小二乘法，矩阵矢量形式，解析解）
...
[pytorch] BN、LN、RMSNorm 及 pre LN vs. post LN 对比，标准化
...
[动手写神经网络] 可微才可学，深度学习框架自动微分计算图（DAG）
...
【矩阵分析】二维旋转矩阵的推导（极坐标/基变换）
...
[LLMs tuning] 04 optimizer Trainer 优化细节（AdamW，grad clip、Grad Norm）等
...
[多元变量微分] 方向导数与梯度下降方法（directional derivatives）