[BERT 番外] Sin Position Encoding 的简洁实现（RoPE 基础）
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
[番外] float16 与 bf16 表示和计算细节
...
[矩阵分析] 旋转矩阵的计算机与应用（复平面，RoPE）
...
rope换脸先锋3.0版本使用注意事项和容易出现错误的地方
...
[动手写 Transformer] 从 RNN 到 Transformer，为什么需要位置编码（position encoding）
...
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
...
[LLMs 实践] 18 llama2 源码分析 RoPE 相对位置编码的复数形式
...
[bert、t5、gpt] 05 构建 TransformerDecoderLayer（FFN 与 Masked MultiHeadAttention）
...
[personal chatgpt] 从 RoPE 到 CoPE（绝对位置编码，相对位置编码，Contextual Position Encoding）
...
[动手写 bert 系列] 解析 bertmodel 的output(last_hidden_state，pooler_output，hidden_state)
...
[LLM 番外] 自回归语言模型cross entropy loss，及 PPL 评估
...
[动手写 bert 系列] 02 tokenizer encode_plus, token_type_ids（mlm，nsp）
...
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
...
[动手写bert系列] 01 huggingface tokenizer （vocab，encode，decode）原理及细节
...
[bert、t5、gpt] 11 知识蒸馏（knowledge distill）huggingface trainer pipeline
...
[动手写 bert 系列] Bert 中的（add & norm）残差连接与残差模块（residual connections/residual blocks）
...
【Rope先锋版_免费Ai换脸软件最新版，支持直播_换脸时代来临_Rope-Live-NETX
...
[性能测试] 03 单 4090 BERT、GPT2、T5 TFLOPS 测试及对比 3090TI
...
[[bert、t5、gpt] 03 AttentionHead 与 MultiHeadAttention
...
[动手写 bert 系列] BertTokenizer subword，wordpiece 如何处理海量数字等长尾单词
...
[GPT 番外] tied/share tensors wte与lm_head（GPT2LMHeadModel）
...
[动手写bert系列] BertSelfLayer 多头注意力机制（multi head attention）的分块矩阵实现
...
[数值计算] 快速计算、秒算大数乘除运算，对数变换将乘除变为加减，再通过查表（logarithm table）获得10-99之间的对数值
...
[[bert、t5、gpt] 02 transformer 架构 scaled dot product self attention（qkv）
...
[bert、t5、gpt] 09 T5 整体介绍（t5-11b，T5ForConditionalGeneration）
...
[动手写bert] bert pooler output 与 bert head
...
[bert、t5、gpt] 10 知识蒸馏（knowledge distill）初步，模型结构及损失函数设计
...
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
...
【Python番外】可变对象（mutable）vs.不可变对象（immuable），可hash对象（hashable）vs.不可hash对象（unhashab）
...
第一节变脸换面容克隆实时克隆表情复刻换容，新版更新rope
...
[bert、t5、gpt] 04 构建 TransformerEncoderLayer（FFN 与 Layer Norm、skip connection）
...
[动手写 bert 系列] bert embedding 源码解析，word_embedding/position_embedding/token_type
...
[调包侠] tencent ailab 中文语料 embedding vector（word2vec）
...
[统计] python 假设检验基础（T-Test，ANOVA，chi2）
...
[性能测试] 04 双4090 BERT、GPT性能测试（megatron-lm、apex、deepspeed）
...
[bert、t5、gpt] 06 GPT2 整体介绍（tokenizer，model forward）
...
【AI换脸】超强AI换脸facefusion V3.0，最新整合包教程，解压后直接使用，无需配置电脑环境！| facefusion | 换脸 | deepfak
...
[pytorch 番外] Tensorboard 与计算图初步（算子与 ATen）
...
[动手写 bert] masking 机制、bert head 与 BertForMaskedLM
...
【机器学习中的数学】【概率论】正态分布的导数与拐点（inflection points）
...
[bert、t5、gpt] 08 GPT2 sampling （top-k，top-p （nucleus sampling））