[LLMs 实践] 07 fp16 与自动混合精度训练（amp）显著提升 batch size
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[LLMs 实践] 09 BPE gpt2 tokenizer 与 train tokenizer
...
[LLMs 实践] 04 PEFT/LoRA 源码分析
...
[模型拓扑接口] 经典 RNN 模型（一）模型参数及训练参数的介绍
...
[LLMs tuning] 05 StackLlama、SFT+DPO（代码组织、数据处理，pipeline）
...
[PyTorch] Dropout 基本原理（前向计算与自动求导）
...
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
...
[LLMs 实践] 17 llama2 源码分析（RMSNorm 与 SwiGLU）
...
[LLMs 实践] 18 llama2 源码分析 RoPE 相对位置编码的复数形式
...
[pytorch 强化学习] 07 迷宫环境（maze environment）Q Learning（value iteration）求解（策略关闭 off）
...
[pytorch] [求导练习] 02 softmax 函数自动求导练习（autograd，Jacobian matrix）
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
[动手写神经网络] 04 使用预训练 vgg 提升 cifar10 分类准确率
...
[动手写神经网络] 05 使用预训练 resnet18 提升 cifar10 分类准确率及误分类图像可视化分析
...
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计（MLE）伯努利分布的参数
...
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
...
[动手写神经网络] 可微才可学，深度学习框架自动微分计算图（DAG）
...
[LLM & AIGC] 02 ChatGPT api 的简单介绍（system, user, assistant）与多轮对话
...
【数字图像处理】HoG+SVM+NMS行人检测（pedestrian detection）（python-opencv）
...
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习（autograd，单变量，多变量 multivariables 形式）
...
[personal chatgpt] peft LoRA merge pipeline（lora inject，svd）
...
[LLMs tuning] 06 多轮对话 qlora SFT（Multi-turn Conversation）
...
[显卡驱动] lspci 显卡是否在槽位，显卡基本信息
...
[动手写神经网络] 07 预训练 resnet 解决 kaggle weather dataset（validation dataset）的使用
...
[bert、t5、gpt] 07 GPT2 decoding （greedy search, beam search）
...
[LLM && AIGC] 04 深入理解 openai tokenizer 及 api 中的 logit_bias 与 logprobs
...
[LLMs 实践] 03 LoRA fine-tune 大语言模型（peft、bloom 7b）
...
[LLMs 实践] 02 LoRA（Low Rank Adaption）基本原理与基本概念，fine-tune 大语言模型
...
[pytorch optim] 优化器相关 - learning rate scheduler
...
[pytorch 网络拓扑结构] 深度理解 nn.BatchNorm1d
...
[pytorch optim] 优化器相关 AdaGrad（adaptive gradient） 与 RMSprop，自适应梯度
...
[手推公式] sigmoid 及其导数 softmax 及其导数性质（从 logits 到 probabilities）
...
[调包侠] 04 使用预训练模型进行图像特征向量提取（image feature extractor，img2vec）并进行相似性计算
...
[统计] python 假设检验基础（T-Test，ANOVA，chi2）
...
【销量预测】R2（r_squared）与相关系数（correlation）的区别和联系，什么情况下R2=correlation，R2与MAE，RMSE
...
[LLMs 实践] 06 LLaMA，Alpaca LoRA 7B 推理
...
[LLMs 实践] 10 预训练语料，mapping & streaming（load_dataset）
...
[LLMs tuning] 03 llama3-8B instruct SFT on Financial RAG
...
[pytorch] 激活函数，从 ReLU、LeakyRELU 到 GELU 及其梯度（gradient）（BertLayer，FFN，GELU）
...
【搜索算法】【search】01 python-astar 图上搜索（graph search）f(n)=g(n)+h(n)
...
[LLMs tuning] 04 optimizer Trainer 优化细节（AdamW，grad clip、Grad Norm）等