京东 11.11 红包
[多元变量微分] 方向导数与梯度下降方法（directional derivatives）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【机器学习中的数学】【概率论】正态分布的导数与拐点（inflection points）
...
[手推公式] sigmoid 及其导数 softmax 及其导数性质（从 logits 到 probabilities）
...
【手推公式】可导损失函数（loss function）的梯度下降（GD）、随机梯度下降（SGD）以及mini-batch gd梯度优化策略
...
【手推公式】xgboost自定义损失函数（cross entropy/squared log loss）及其一阶导数gradient二阶导数hessian
...
[pytorch] 激活函数（梯度消失）sigmoid，clamp，relu（sparse representation，dying relu）
...
[优化算法] 梯度下降、共轭梯度、牛顿法、逆牛顿法（BFGS）
...
[DRL] 从策略梯度到 TRPO（Lagrange Duality，拉格朗日对偶性）
...
[蒙特卡洛方法] 04 重要性采样补充，数学性质及 On-policy vs. Off-policy
...
[AI 核心概念及计算] 优化 01 梯度下降（gradient descent）与梯度上升（gradient ascent）细节及可视化分析
...
[概率 & 统计] kl div kl散度的计算及应用（pytorch）
...
[pytorch optim] 优化器相关 AdaGrad（adaptive gradient） 与 RMSprop，自适应梯度
...
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新（forward，loss.backward(), optimizer.step）
...
[linux tools] tmux 分屏（终端复用器）
...
[pytorch optim] pytorch 作为一个通用优化问题求解器（目标函数、决策变量）
...
[动手写神经网络] 可微才可学，深度学习框架自动微分计算图（DAG）
...
[pytorch 强化学习] 07 迷宫环境（maze environment）Q Learning（value iteration）求解（策略关闭 off）
...
[LLMs 实践] 10 预训练语料，mapping & streaming（load_dataset）
...
excel单变量求解工具进行企业生产活动的盈亏平衡分析
...
[pytorch 强化学习] 02 将 env rendering 保存为 mp4/gif（以 CartPole 为例，mode='rgb_array'）
...
[pytorch distributed] 02 DDP 基本概念（Ring AllReduce，node，world，rank，参数服务器）
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
[pytorch 强化学习] 06 迷宫环境（maze environment）SARSA（Q-table，value iteration）求解
...
[[bert、t5、gpt] 02 transformer 架构 scaled dot product self attention（qkv）
...
[矩阵分析] 旋转矩阵的计算机与应用（复平面，RoPE）
...
[[bert、t5、gpt] 03 AttentionHead 与 MultiHeadAttention
...
【矩阵分析】从特征值特征向量到矩阵SVD奇异值分解（np.linalg.svd）
...
[pytorch] Tensor 轴（axis）交换，transpose（转置）、swapaxes、permute
...
[蒙特卡洛方法] 01 从黎曼和式积分（Reimann Sum）到蒙特卡洛估计（monte carlo estimation）求积分求期望
...
[LLMs 实践] 07 fp16 与自动混合精度训练（amp）显著提升 batch size
...
[动手写 bert 系列] 解析 bertmodel 的output(last_hidden_state，pooler_output，hidden_state)
...
[LLMs 实践] 13 gradient checkpointing 显存优化 trick
...
[LLMs 实践] 11 gradient accumulation 显存优化 trick
...
[pytorch 模型拓扑结构] 深入理解 nn.BatchNorm2d/3d
...
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计（MLE）伯努利分布的参数
...
[动手写bert系列] 01 huggingface tokenizer （vocab，encode，decode）原理及细节
...
[LLMs 实践] 09 BPE gpt2 tokenizer 与 train tokenizer
...
[动手写 bert 系列] 02 tokenizer encode_plus, token_type_ids（mlm，nsp）
...
[LLMs 实践] 14 llama2 introduction 及 fine tune llama2（guanaco dataset）
...
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
...
[personal chatgpt] trl 基础介绍：reward model，ppotrainer