[矩阵分析] 从向量范数到矩阵范数、torch spectral norm（矩阵的谱范数）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【矩阵分析】矩阵奇异值与谱范数（spectral norm），F范数（Frobenius norm），核范数（nuclear norm）
...
【矩阵分析】从特征值特征向量到矩阵SVD奇异值分解（np.linalg.svd）
...
[pytorch] torch.einsum 到索引到矩阵运算（index、shape、dimension、axis）
...
[pytorch] torch.nn.Bilinear 计算过程与 einsum（爱因斯坦求和约定）
...
[pytorch 模型拓扑结构] pytorch 矩阵乘法大全（torch.dot, mm, bmm, @, *, matmul）
...
【矩阵分析】二维旋转矩阵的推导（极坐标/基变换）
...
【矩阵分析】斐波那契数列（Fibonacci）通项公式的（矩阵矢量）推导
...
[LLMs 实践] 17 llama2 源码分析（RMSNorm 与 SwiGLU）
...
[pytorch distributed] torch 分布式基础（process group），点对点通信，集合通信
...
【矩阵分析】矩阵范数（martix norm）&条件数（condition number），ill-conditioned，well-conditioned
...
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
...
[矩阵微分] 标量/矢量关于矢量/矩阵的矩阵微分，深度学习框架反向传播
...
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
...
【回归】多元线性回归分析（最小二乘法，矩阵矢量形式，解析解）
...
[pytorch distributed] 05 张量并行（tensor parallel），分块矩阵的角度，作用在 FFN 以及 Attention 上
...
【矩阵计算】从 im2col 到 GEMM，矩阵与核的卷积到矩阵乘法
...
[pytorch] 多项式分布及采样（torch.multinomial, torch distribution Categorical）
...
[动手写 bert 系列] Bert 中的（add & norm）残差连接与残差模块（residual connections/residual blocks）
...
[pytorch] Tensor shape 变化 view 与 reshape（contiguous 的理解）
...
[动手写神经网络] 可微才可学，深度学习框架自动微分计算图（DAG）
...
[pytorch 番外] Tensorboard 与计算图初步（算子与 ATen）
...
[矩阵分析] 旋转矩阵的计算机与应用（复平面，RoPE）
...
[LLMs tuning] 04 optimizer Trainer 优化细节（AdamW，grad clip、Grad Norm）等
...
[调包侠] 04 使用预训练模型进行图像特征向量提取（image feature extractor，img2vec）并进行相似性计算
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
[动手写bert系列] BertSelfLayer 多头注意力机制（multi head attention）的分块矩阵实现
...
[矩阵分析] 分块矩阵的角度理解矩阵运算（独热向量与对角矩阵）
...
[AI硬件科普] 内存/显存带宽，从 NVIDIA 到苹果 M4
...
[lora 番外] LoRA merge 与 SVD（矩阵奇异值分解）
...
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计（MLE）伯努利分布的参数
...
[AI 核心概念及计算] 优化 01 梯度下降（gradient descent）与梯度上升（gradient ascent）细节及可视化分析
...
[pytorch] F.binary_cross_entropy（二分类） 与 F.cross_entropy（多分类）
...
[pytorch] Tensor 轴（axis）交换，transpose（转置）、swapaxes、permute
...
[RLHF] 从 PPO rlhf 到 DPO，公式推导与原理分析
...
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader（mnist、fashionmnist、cifar10）
...
[pytorch] 激活函数（梯度消失）sigmoid，clamp，relu（sparse representation，dying relu）
...
[Python 机器学习] 深入理解 numpy（ndarray）的 axis（轴/维度）
...
[pytorch distributed] 03 DDP 初步应用（Trainer，torchrun）
...
[多元变量微分] 方向导数与梯度下降方法（directional derivatives）
...
[调包侠] tencent ailab 中文语料 embedding vector（word2vec）