[personal chatgpt] Llama2 7B vs. Llama3 8B （词表、attention 及 mlp）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[QKV attention] kv-cache、decoder only vs. BERT, 单向注意力 vs. 双向注意力
...
[personal chatgpt] 从 RoPE 到 CoPE（绝对位置编码，相对位置编码，Contextual Position Encoding）
...
[LLMs 实践] 21 llama2 源码分析 GQA：Grouped Query Attention
...
[personal chatgpt] trl rlhf PPOTrainer，原理分析与代码走读（OpenRLHF framework）
...
[personal chatgpt] LLAMA 3 整体介绍（与 LLama 2 的不同？）
...
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
...
[personal chatgpt] trl 基础介绍：reward model，ppotrainer
...
[动手写 Transformer] 手动实现 Transformer Decoder（交叉注意力，encoder-decoder cross attentio）
...
[personal chatgpt] peft LoRA merge pipeline（lora inject，svd）
...
[personal chatgpt] trl reward model 与 RewardTrainer（奖励模型，分类模型）
...
[LLMs 实践] 221 llama2 源码分析 generate 的完整过程
...
EMNLP2024分享会之多模态主题
...
[LLMs tuning] 03 llama3-8B instruct SFT on Financial RAG
...
多头注意力（Multi-Head Attention）
...
[[bert、t5、gpt] 03 AttentionHead 与 MultiHeadAttention
...
[personal chatgpt] instructGPT 中的 reward modeling，概率建模与损失函数性质
...
[动手写bert系列] BertSelfLayer 多头注意力机制（multi head attention）的分块矩阵实现
...
[Python 机器学习] 深入理解 numpy（ndarray）的 axis（轴/维度）
...
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
...
[LLMs 实践] 17 llama2 源码分析（RMSNorm 与 SwiGLU）
...
[LLMs 实践] 18 llama2 源码分析 RoPE 相对位置编码的复数形式
...
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader（mnist、fashionmnist、cifar10）
...
[LLM & AIGC] 02 ChatGPT api 的简单介绍（system, user, assistant）与多轮对话
...
[纳什荐书][生成式AI] 01 《GPT图解》导读
...
[LLM & AIGC] nvidia chat with rtx 初体验
...
[动手写Bert系列] bertencoder self attention 计算细节及计算过程
...
[LLMs 实践] 14 llama2 introduction 及 fine tune llama2（guanaco dataset）
...
[pytorch distributed] 05 张量并行（tensor parallel），分块矩阵的角度，作用在 FFN 以及 Attention 上
...
在Qwen2.5基础上训练的最强表格模型诞生，适配excel、csv和数据库等结构化数据，查询、分析、可视化、建模无压力
...
[pytorch 强化学习] 01 认识环境（environment，gym.Env）以及 CartPole-v0/v1 环境
...
[LLM && AIGC] visual chatgpt 01 认识 image captioning 及 blip model
...
[generative models] 概率建模视角下的现代生成模型（生成式 vs. 判别式，采样与密度估计）
...
【统计学】从置信水平（confidence level，置信区间）、Z值到最小采样数（最小抽样数）
...
[RLHF] 从 PPO rlhf 到 DPO，公式推导与原理分析
...
[动手写神经网络] 如何设计卷积核（conv kernel）实现降2采样，以及初探vggnet/resnet 卷积设计思路（不断降空间尺度，升channel）
...
[LLMs 实践] 15 llama2 源码初步（text completion & chat completion）
...
[python 多进程、多线程] 03 GIL、threading、多进程，concurrent.futures
...
[调包侠] tencent ailab 中文语料 embedding vector（word2vec）
...
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
...
[LangChain] 01 基础入门，LCEL 、Tool Use、RAG 以及 LangSmith