V
主页
vllm二次开发——自定义的新模型如何部署在vllm上S1
发布人
介绍如何在vllm上部署一个新的模型——这里以qwen2-rm模型为例(使用transformers创建这个模型、修改vllm的模型结构等) 主要是注意下面几点: cuda版本要在12.几以上、注意安装对于的编译版本、注意推理的时候,设置tp=1、floattype=float32等。 更多的注意事项,都在视频里面了 参考链接: https://docs.vllm.ai/en/latest/index.html https://github.com/vllm-project/vllm/pull/8896/files https://github.com/vllm-project/vllm
打开封面
下载高清视频
观看高清视频
视频下载器
vLLM源码阅读s1——源码介绍
vLLM源码阅读s2——是如何进行离线推理的
transformers二次开发——为什么要实现自己的sentence-embedding训练代码
多模态大模型LLaVA模型讲解——transformers源码解读
自定义多模态大模型LLaVA——LLaVA系列
训练LLaVA模型(数据集构建、基于Trainer的训练框架搭建)——LLaVA系列
transformers二次开发——(定义自己的数据加载器 模型 训练器)bge模型微调流程
强化学习TRL包源码解读S1——reward_Trainer
transformers一个非常严重的bug——在使用梯度累计的时候 loss不等效
transformers二次开发——bge-reranker模型微调流程
transformers源码阅读——投机采样原理和实现方法
transformers二次开发——为什么要实现自己的sft代码
如何优雅的修改transformers包的模型结构——面向nlp小白的开发教程
transformers二次开发——百度轩辕70b大模型数据调度的实现
transformers更新了啥S1——InternLM模型和llama模型竟然是差不多的
transformers集成了Liger Kernel:在llm训练的时间更少、显存使用的更少
AutoModel的lazy加载方式原理解读
文本转向量教程s1——总体介绍
一个视频让你对flash attention2下头(比较FA2和sdpa的效率)
吹爆!这可能是唯一能将搭建私有化应用讲清楚的教程了,环境搭建-模型准备-模型部署-api调用-知识库构建一条龙解读!草履虫都能学得会!人工智能|大模型
大模型量化是怎么实现的——transformers源码解读
transformers源码阅读——图解mixtral模型——图解MoE细节
nlp开发利器——vscode愉快的写nlp代码
transformers源码阅读——Trainer解读系列2_关键方法
nlp开发利器——vscode debug nlp大工程(最最最优雅的方式)
强化学习TRL包源码解读S2——PPO
手把手带你发现transformers的bug 并且修复它!
transformers源码阅读——如何看懂模型代码(以llama为例)
三分钟一键部署Ollama!解压即用!从安装到微调,只要五步,免费开源 AI 助手 Ollama ,带你从零到精通,保姆级新手教程,100%保证成功!
阅读lora源码的视频准备
transformers源码阅读——transformers包的文件框架介绍
我的vscode主题配色
chatglm3源码阅读——吐槽角度
transformers源码阅读——mixtral模型解读——MoE实现细节
总结
使用vscode愉快的阅读transformers源码
nlp开发利器——vscode如何debug transformers源码(deepspeed形式)
transfomers源码阅读——Trainer解读系列1_了解训练流程
喂饭教程!25分钟本地部署Qwen2大模型:配置、微调、部署+效果展示,带你训练自己的行业大模型!
nlp开发利器——vscode如何debug transformers源码