V
主页
[蒙特卡洛方法] 03 接受/拒绝采样(accept/reject samping)初步 cases 分析
发布人
本期 code:https://github.com/chunhuizhang/deeplearning_math/blob/main/tutorials/montecarlo/rejection_sampling_01_cases.ipynb
打开封面
下载高清视频
观看高清视频
视频下载器
[pytorch distributed] 从 DDP、模型并行、流水线并行到 FSDP(NCCL,deepspeed 与 Accelerate)
[蒙特卡洛方法] 04 重要性采样补充,数学性质及 On-policy vs. Off-policy
[RLHF] 从 PPO rlhf 到 DPO,公式推导与原理分析
[蒙特卡洛方法] 02 重要性采样(importance sampling)及 python 实现
[工具的使用] python jupyter 环境安装配置拓展(nbextension)(ExcecuteTime:执行时间,Table of Content)
[蒙特卡洛方法] 01 从黎曼和式积分(Reimann Sum)到蒙特卡洛估计(monte carlo estimation)求积分求期望
【约束满足问题】AIMA | Chap 6 | CSP | AC-3 | Arc Consistency
【矩阵分析】从特征值特征向量到矩阵SVD奇异值分解(np.linalg.svd)
[bert、t5、gpt] 01 fine tune transformers 文本分类/情感分析
【统计】从最小采样数到采样误差(从置信水平(confidence level,置信区间)、Z值到最小采样数(最小抽样数))
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[动手写神经网络] 如何设计卷积核(conv kernel)实现降2采样,以及初探vggnet/resnet 卷积设计思路(不断降空间尺度,升channel)
[pytorch] Tensor shape 变化 view 与 reshape(contiguous 的理解)
[pytorch 番外] Tensorboard 与计算图初步(算子与 ATen)
[pytorch optim] Adam 与 AdamW,L2 reg 与 weight decay,deepseed
【数据处理】数据变换的三种形式,(几率)对数线性(log linear)、线性对数(linear log)、双对数log-log
[pytorch distributed] accelerate 基本用法(config,launch)数据并行
k-Sparse AutorEncoder 与大语言模型可解释性研究(openai、claude),top-K 求导
【推荐系统】【缺失值处理】【矩阵分析】基于低秩矩阵补全(low rank matrix completing,矩阵分解 matrix factorizatio)
[pytorch 强化学习] 11 逐行写代码实现 DQN(ReplayMemory,Transition,DQN as Q function)
[全栈深度学习] 01 docker 工具的基本使用及 nvidia cuda pytorch 镜像
[动手写神经网络] 05 使用预训练 resnet18 提升 cifar10 分类准确率及误分类图像可视化分析
[数学!数学] 最大似然估计(MLE)与最小化交叉熵损失(cross entropy loss)的等价性
[全栈深度学习] 02 vscode remote(远程)gpus 服务器开发调试 debugger(以 nanoGPT 为例)
[番外] float16 与 bf16 表示和计算细节
【统计学】从置信水平(confidence level,置信区间)、Z值到最小采样数(最小抽样数)
【机器学习中的数学】【无穷级数】1/n^p(p-series)收敛性的证明
[LLMs 实践] 07 fp16 与自动混合精度训练(amp)显著提升 batch size
[personal chatgpt] gpt-4o tokenizer 及特殊中文tokens(压缩词表),o200k_base
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
【python 运筹优化】scipy.optimize.minimize 使用
[DRL] 从 TRPO 到 PPO(PPO-penalty,PPO-clip)
[pytorch distributed] 01 nn.DataParallel 数据并行初步
[LLMs 实践] 20 llama2 源码分析 cache KV(keys、values cache)加速推理
[personal chatgpt] LLAMA 3 整体介绍(与 LLama 2 的不同?)
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader(mnist、fashionmnist、cifar10)
[flask web 核心] 02 使用 jinja 创建模板 html 及初步使用 bootstrap 丰富页面内容
[优化算法] 梯度下降、共轭梯度、牛顿法、逆牛顿法(BFGS)
[概率 & 统计] Thompson Sampling(随机贝叶斯后验采样)与多臂老虎机
【深度学习环境搭建】01 本机、GPU服务器端深度学习环境搭建(代码、数据共享)