V
主页
[LLM && AIGC] 05 OpenAI 长文本(long text,超出 max_tokens)处理及 summary,划分 chunk 处理
发布人
本期 code:https://github.com/chunhuizhang/bilibili_vlogs/blob/master/llm/tutorials/06_long_text_summarize_vanilla.ipynb opeani models:https://platform.openai.com/docs/models/gpt-3
打开封面
下载高清视频
观看高清视频
视频下载器
[bert、t5、gpt] 06 GPT2 整体介绍(tokenizer,model forward)
[LLMs 实践] 03 LoRA fine-tune 大语言模型(peft、bloom 7b)
[LLMs tuning] 05 StackLlama、SFT+DPO(代码组织、数据处理,pipeline)
[pytorch] [求导练习] 05 计算图(computation graph)构建细节之 inplace operation(data与detach)
[bert、t5、gpt] 07 GPT2 decoding (greedy search, beam search)
[LLM & AIGC] 03 openai embedding (text-embedding-ada-002)基于 embedding 的文本语义匹配
[sbert 01] sentence-transformers pipeline
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
[personal chatgpt] gpt-4o tokenizer 及特殊中文tokens(压缩词表),o200k_base
[LLM && AIGC] 06 OpenAI whisper 命令行及脚本的使用(生成视频的音频)
[动手写神经网络] 05 使用预训练 resnet18 提升 cifar10 分类准确率及误分类图像可视化分析
[LLM && AIGC] 04 深入理解 openai tokenizer 及 api 中的 logit_bias 与 logprobs
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
[LLMs 实践] 04 PEFT/LoRA 源码分析
[LLM & AIGC] 01 openai api 的简单介绍(文本生成/指令,图像生成)
[LLM & AIGC] 02 ChatGPT api 的简单介绍(system, user, assistant)与多轮对话
[bert、t5、gpt] 05 构建 TransformerDecoderLayer(FFN 与 Masked MultiHeadAttention)
[LangChain] 03 LangGraph 基本概念(AgentState、StateGraph,nodes,edges)
[LLMs 实践] 15 llama2 源码初步(text completion & chat completion)
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
[LLMs 实践] 02 LoRA(Low Rank Adaption)基本原理与基本概念,fine-tune 大语言模型
[personal chatgpt] peft LoRA merge pipeline(lora inject,svd)
[AI Agent] function calling & tool uses 与 argument generation
[强化学习基础 02] MDP价值迭代算法(value iteration,V(s), Q(s,a), pi(s))
[pytorch distributed] 03 DDP 初步应用(Trainer,torchrun)
[pytorch distributed] 05 张量并行(tensor parallel),分块矩阵的角度,作用在 FFN 以及 Attention 上
[LLMs 实践] 10 预训练语料,mapping & streaming(load_dataset)
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计(MLE)伯努利分布的参数
[[bert、t5、gpt] 02 transformer 架构 scaled dot product self attention(qkv)
[LLM && AIGC] visual chatgpt 01 认识 image captioning 及 blip model
[bert、t5、gpt] 08 GPT2 sampling (top-k,top-p (nucleus sampling))
[LLMs 实践] 221 llama2 源码分析 generate 的完整过程
[personal chatgpt] LLAMA 3 整体介绍(与 LLama 2 的不同?)
【python 运筹优化】scipy.optimize.minimize 使用
[AI 核心概念及计算] 优化 01 梯度下降(gradient descent)与梯度上升(gradient ascent)细节及可视化分析
[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程(nn.NLLLoss(nn.LogSoftmax))
[pytorch optim] 优化器相关 AdaGrad(adaptive gradient) 与 RMSprop,自适应梯度
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
[LLMs tuning] 03 llama3-8B instruct SFT on Financial RAG
[bert、t5、gpt] 09 T5 整体介绍(t5-11b,T5ForConditionalGeneration)