[LLMs 实践] 03 LoRA fine-tune 大语言模型（peft、bloom 7b）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[LLMs 实践] 02 LoRA（Low Rank Adaption）基本原理与基本概念，fine-tune 大语言模型
...
[LLMs 实践] 04 PEFT/LoRA 源码分析
...
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
...
[LLMs 实践] 07 fp16 与自动混合精度训练（amp）显著提升 batch size
...
[LLMs tuning] 03 llama3-8B instruct SFT on Financial RAG
...
[LLMs inference] quantization 量化整体介绍（bitsandbytes、GPTQ、GGUF、AWQ）
...
[矩阵分析] LoRA 矩阵分析基础之 SVD low rank approximation（低秩逼近）
...
[LLMs 实践] 06 LLaMA，Alpaca LoRA 7B 推理
...
[LLMs 实践] 14 llama2 introduction 及 fine tune llama2（guanaco dataset）
...
[bert、t5、gpt] 01 fine tune transformers 文本分类/情感分析
...
[personal chatgpt] peft LoRA merge pipeline（lora inject，svd）
...
[LLMs 实践] 20 llama2 源码分析 cache KV（keys、values cache）加速推理
...
[LLMs 实践] 21 llama2 源码分析 GQA：Grouped Query Attention
...
[LLMs 实践] 08 LLM.int8 量化细节 （load_in_8bit）以及 bitsandbytes 库
...
[LLMs 实践] 221 llama2 源码分析 generate 的完整过程
...
[LLM 番外] 自回归语言模型cross entropy loss，及 PPL 评估
...
[LLM & AIGC] 03 openai embedding （text-embedding-ada-002）基于 embedding 的文本语义匹配
...
【高阶数据结构】布隆过滤器（Bloom Filter）误识别（false positive，伪阳）概率的计算
...
[小白向-深度学习装机指南] 01 双4090 涡轮版开箱启动 vlog（gpu burn，cpu burn）
...
【数字图像处理】HoG+SVM+NMS行人检测（pedestrian detection）（python-opencv）
...
[LLM && AIGC] 05 OpenAI 长文本（long text，超出 max_tokens）处理及 summary，划分 chunk 处理
...
[LLMs 实践] 17 llama2 源码分析（RMSNorm 与 SwiGLU）
...
【统计学】从置信水平（confidence level，置信区间）、Z值到最小采样数（最小抽样数）
...
[LLMs 实践] 12 LLM SFT training （trl SFTTrainer、alpaca dataset）
...
[LLM & AIGC] 02 ChatGPT api 的简单介绍（system, user, assistant）与多轮对话
...
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
...
[Python 机器学习] 深入理解 numpy（ndarray）的 axis（轴/维度）
...
[LLMs tuning] 04 optimizer Trainer 优化细节（AdamW，grad clip、Grad Norm）等
...
[LLMs 实践] 10 预训练语料，mapping & streaming（load_dataset）
...
[LLMs 实践] 13 gradient checkpointing 显存优化 trick
...
[LLM && AIGC] 04 深入理解 openai tokenizer 及 api 中的 logit_bias 与 logprobs
...
[LLMs tuning] 01 trl SFTTrainer 中的 formatting_func 与 DataCollatorForCompletion
...
[LLM && AIGC] visual chatgpt 01 认识 image captioning 及 blip model
...
【统计学】p-value（p值） 与 z-score（标准分/z得分/z分数）定义，计算以及适用场景
...
[LangChain] 03 LangGraph 基本概念（AgentState、StateGraph，nodes，edges）
...
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
...
[gpt2 番外] training vs. inference（generate），PPL 计算，交叉熵损失与 ignore_index
...
[lora 番外] LoRA merge 与 SVD（矩阵奇异值分解）
...
[LLMs tuning] 02 accelerate ddp 与 trl SFTTrainer
...
[LLM && AIGC] visual chatgpt 02 认识 Text2Image 及 stable-diffusion-v1-5