[LLMs 实践] 13 gradient checkpointing 显存优化 trick
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[LLMs 实践] 11 gradient accumulation 显存优化 trick
...
[LLMs 实践] 02 LoRA（Low Rank Adaption）基本原理与基本概念，fine-tune 大语言模型
...
[pytorch distributed] 03 DDP 初步应用（Trainer，torchrun）
...
[pytorch] [求导练习] 06 计算图（computation graph）细节之 retain graph（multi output/backwar）
...
[LLMs 实践] 21 llama2 源码分析 GQA：Grouped Query Attention
...
[LLMs 实践] 03 LoRA fine-tune 大语言模型（peft、bloom 7b）
...
[pytorch 强化学习] 13 基于 pytorch 神经网络实现 policy gradient（REINFORCE）求解 CartPole
...
[显卡环境] CUDA_VISIBLE_DEVICES 控制显卡可见性
...
[LLMs 实践] 12 LLM SFT training （trl SFTTrainer、alpaca dataset）
...
[LLMs 实践] 14 llama2 introduction 及 fine tune llama2（guanaco dataset）
...
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
...
[pytorch 强化学习] 02 将 env rendering 保存为 mp4/gif（以 CartPole 为例，mode='rgb_array'）
...
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
...
[pytorch optim] 优化器相关 - learning rate scheduler
...
[diffusion] 生成模型基础 VAE 原理及实现
...
[pytorch optim] 优化器相关 AdaGrad（adaptive gradient） 与 RMSprop，自适应梯度
...
[LLMs 实践] 04 PEFT/LoRA 源码分析
...
[pytorch] [求导练习] 03 计算图（computation graph）及链式法则（chain rule）反向传播过程
...
[LLMs 实践] 17 llama2 源码分析（RMSNorm 与 SwiGLU）
...
[pytorch 强化学习] 10 从 Q Learning 到 DQN（experience replay 与 huber loss / smooth L1）
...
[全栈算法] docker nvidia pytorch gpu 环境及容器操作，端口号映射
...
[pytorch 强化学习] 11 逐行写代码实现 DQN（ReplayMemory，Transition，DQN as Q function）
...
[概率 & 统计] kl div kl散度的计算及应用（pytorch）
...
[pytorch 番外] Tensorboard 与计算图初步（算子与 ATen）
...
[矩阵分析] 旋转矩阵的计算机与应用（复平面，RoPE）
...
[pytorch distributed] 02 DDP 基本概念（Ring AllReduce，node，world，rank，参数服务器）
...
[pytorch 强化学习] 06 迷宫环境（maze environment）SARSA（Q-table，value iteration）求解
...
[LLMs 实践] 09 BPE gpt2 tokenizer 与 train tokenizer
...
[调包侠] 使用 PyTorch Swin Transformer 完成图像分类
...
[pytorch distributed] torch 分布式基础（process group），点对点通信，集合通信
...
[LLM && AIGC] 04 深入理解 openai tokenizer 及 api 中的 logit_bias 与 logprobs
...
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
...
[LLMs 实践] 15 llama2 源码初步（text completion & chat completion）
...
[模型拓扑接口] 经典 RNN 模型（一）模型参数及训练参数的介绍
...
[LLMs 实践] 10 预训练语料，mapping & streaming（load_dataset）
...
[pytorch] Tensor shape 变化 view 与 reshape（contiguous 的理解）
...
[pytorch] [求导练习] 05 计算图（computation graph）构建细节之 inplace operation（data与detach）
...
[pytorch 强化学习] 04 迷宫环境（maze environment）封装 MazeEnv、Agent 类
...
[pytorch distributed] 01 nn.DataParallel 数据并行初步
...
[动手写bert系列] 01 huggingface tokenizer （vocab，encode，decode）原理及细节