V
主页
文本转向量教程s3——Trainer二次开发(embedding为例)
发布人
重点:基于transformers的Trainer二次开发,做一个embedding训练器 背景 1. 需求:rag 很火、通用的很强,但是有时候需要微调。 知识点: 1. sbert、simcse、flag-embedding、colbert、m3e 2. 部署的时候,推理加速、optimum https://huggingface.co/docs/optimum/index 3. 前沿知识:bert类型的模型都可以做的(encode-only)。那么decode -only架构的能不能做(llama、gpt这种) 4. 长文本的embedding 5. 现在开源的主流的解决方案
打开封面
下载高清视频
观看高清视频
视频下载器
文本转向量教程s1——总体介绍
强化学习TRL包源码解读S2——PPO
transformers二次开发——为什么要实现自己的sentence-embedding训练代码
transformers源码阅读——如何看懂模型代码(以llama为例)
训练LLaVA模型(数据集构建、基于Trainer的训练框架搭建)——LLaVA系列
transformers源码阅读——入门(提高nlp工程师的工程能力)
文本转向量教程s2——认识文本转向量方法(sbert本质和推理加速)
强化学习TRL包源码解读S1——reward_Trainer
多模态大模型LLaVA模型讲解——transformers源码解读
transformers二次开发——bge-reranker模型微调流程
transformers二次开发——(定义自己的数据加载器 模型 训练器)bge模型微调流程
vLLM源码阅读s1——源码介绍
transfomers源码阅读——Trainer解读系列1_了解训练流程
transformers源码阅读——Trainer解读系列2_关键方法
transformers二次开发——为什么要实现自己的sft代码
transformers二次开发——百度轩辕70b大模型数据调度的实现
nlp开发利器——vscode如何debug transformers源码(torchrun形式)
使用vscode愉快的阅读transformers源码
nlp开发利器——vscode如何debug transformers源码
longlora是怎么实现的——如何在transformers的模型上修改的
手把手带你发现transformers的bug 并且修复它!
国内的大模型结构和llama有多相似?
nlp开发利器——vscode如何debug transformers源码(deepspeed形式)
nlp开发利器——vscode debug nlp大工程(最最最优雅的方式)
transformers源码阅读——图解mixtral模型——图解MoE细节
大模型量化是怎么实现的——transformers源码解读
transformers模型的批量推理小问题【left padding还是right padding】
图解minicpm-v-2.6源码(debug的形式 一个视频看懂他的网络结构)
transformers源码阅读——mixtral模型解读——MoE实现细节
transformers源码阅读——gradient_checkpointing详解
transformers源码阅读——transformers包的文件框架介绍
如何丝滑的下载大模型——下载hf的大模型真的会谢(太慢了)
我的vscode主题配色
图解llama架构 解读源码实现
transformers源码阅读——投机采样原理和实现方法
chatglm3源码阅读——吐槽角度
transformers源码阅读——neftune的工程实现
手把手教你搭建【NLP聊天机器人】,基于Pytorch实现,看完就能跑通!!!
为什么我的模型就没有办法使用ddp——基于bert做embedding任务 使用ddp进行训练
transformers源码阅读——llama模型调试