V
主页
[[bert、t5、gpt] 03 AttentionHead 与 MultiHeadAttention
发布人
本期 code:https://github.com/chunhuizhang/bert_t5_gpt/blob/main/tutorials/03_transformer_architecture_multi_head_attention.ipynb 系列视频:https://space.bilibili.com/59807853/channel/collectiondetail?sid=496538
打开封面
下载高清视频
观看高清视频
视频下载器
[bert、t5、gpt] 11 知识蒸馏(knowledge distill)huggingface trainer pipeline
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
[bert、t5、gpt] 09 T5 整体介绍(t5-11b,T5ForConditionalGeneration)
[pytorch distributed] 03 DDP 初步应用(Trainer,torchrun)
[动手写 bert 系列] bert embedding 源码解析,word_embedding/position_embedding/token_type
研究生必看!8个小时搞懂【Huggingface+BERT+Transformer】,中文模型实战实例讲解datasets类库,不愧是自然语言处理神器!!!
[LLMs 实践] 03 LoRA fine-tune 大语言模型(peft、bloom 7b)
[pytorch distributed] 05 张量并行(tensor parallel),分块矩阵的角度,作用在 FFN 以及 Attention 上
[BERT 番外] Sin Position Encoding 的简洁实现(RoPE 基础)
[全栈深度学习] 01 docker 工具的基本使用及 nvidia cuda pytorch 镜像
[prompt engineering] 从 CoT 到 ToT(Tree of Thoughts)
[动手写Bert系列] bertencoder self attention 计算细节及计算过程
[bert、t5、gpt] 08 GPT2 sampling (top-k,top-p (nucleus sampling))
[pytorch distributed] 01 nn.DataParallel 数据并行初步
[bert、t5、gpt] 05 构建 TransformerDecoderLayer(FFN 与 Masked MultiHeadAttention)
[动手写bert系列] BertSelfLayer 多头注意力机制(multi head attention)的分块矩阵实现
[动手写 bert] masking 机制、bert head 与 BertForMaskedLM
[sbert 01] sentence-transformers pipeline
[bert、t5、gpt] 01 fine tune transformers 文本分类/情感分析
【统计学】p-value(p值) 与 z-score(标准分/z得分/z分数)定义,计算以及适用场景
[GPT 番外] tied/share tensors wte与lm_head(GPT2LMHeadModel)
[bert、t5、gpt] 07 GPT2 decoding (greedy search, beam search)
[工具的使用] python jupyter 环境安装配置拓展(nbextension)(ExcecuteTime:执行时间,Table of Content)
[动手写 bert 系列] Bert 中的(add & norm)残差连接与残差模块(residual connections/residual blocks)
[动手写 bert 系列] BertTokenizer subword,wordpiece 如何处理海量数字等长尾单词
[动手写 bert 系列] 02 tokenizer encode_plus, token_type_ids(mlm,nsp)
[personal chatgpt] trl 基础介绍:reward model,ppotrainer
【计算机视觉】从图像距离(图像相似性)的计算(ahash/dhash/phash/whash)到以图搜索的实现(deep ranking)(一)
[[bert、t5、gpt] 02 transformer 架构 scaled dot product self attention(qkv)
[LLMs 实践] 09 BPE gpt2 tokenizer 与 train tokenizer
[动手写bert] bert pooler output 与 bert head
[LLMs 实践] 15 llama2 源码初步(text completion & chat completion)
[LLMs 实践] 04 PEFT/LoRA 源码分析
[不务正业] canvas ctx.getImageData rgba 图像灰度化(gray scale)
[LLMs 实践] 21 llama2 源码分析 GQA:Grouped Query Attention
[mcts] 02 mcts from scartch(UCTNode,uct_search, pUCT,树的可视化)
[动手写 bert 系列] 解析 bertmodel 的output(last_hidden_state,pooler_output,hidden_state)
[pytorch 强化学习] 02 将 env rendering 保存为 mp4/gif(以 CartPole 为例,mode='rgb_array')
[pytorch 强化学习] 11 逐行写代码实现 DQN(ReplayMemory,Transition,DQN as Q function)
[personal chatgpt] LLAMA 3 整体介绍(与 LLama 2 的不同?)