V
主页
llama.cpp + A40 显卡运行 Mixtral 8x7B MoE 量化模型推理速度记录
发布人
这一期为补录,记录推理速度之用,由于是新人 up 主,还没选集功能,只能这么加了。 使用模型 Q4_K_M 这个也很重要,不同的量化模型速度肯定区别很大,效果也区别很大 模型地址 https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF 使用显卡 A40 采用平台 AutoDL 完整视频 https://www.bilibili.com/video/BV1w94y1A7bh
打开封面
下载高清视频
观看高清视频
视频下载器
用 llama.cpp 跑通 mixtral MoE 模型
VLLM 测试 Mixtral MoE 的 GPTQ 量化版本
只需 24G 显存,用 vllm 跑起来 Yi-34B 中英双语大模型
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
【B站强推】一小时彻底掌握提示工程(Prompt Engineering)超详细,草履虫都能听懂!!!(大模型|LLM|多模态|人工智能)
【全374集】2024最新清华内部版!终于把AI大模型(LLM)讲清楚了!全程干货讲解,通俗易懂,拿走不谢!
大模型推理 NvLink 桥接器有用吗|双卡 A6000 测试一下
【B站首推】为什么LangChain会被判死刑?LangChain从入门到精通最新教程,草履虫都能听懂!!!大模型_LLM_人工智能
非Transformmer架构站起来了! 首个纯无注意力大模型, 超越开源巨头Llama 3.1!这70种魔改思路不得不看
大模型推理 A40 vs A6000 谁更强 - 对比 Yi-34B 的单、双卡推理性能
Ollama 支持的 flash attention 能提升推理速度吗?我们一起测测看吧
从入门到郁闷 - AutoDL 下载模型全记录
Yi-VL-34B 多模态大模型 - 用两张 A40 显卡跑起来
轻松搭建本地大模型 Web 交互界面 - Ollama + Open WebUI
【2024最新】清华大佬一小时带你入门提示词工程(Prompt Engineering),全网最通俗易懂教程,全程干货无废话!大模型|LLM|多模态|人工智能)
不用安装,一键克隆运行大模型啦 - 在云 GPU 上把 ollama 和 open webui 跑起来
AI 大模型周报 2024年8月 b
轻松实现Llama 3.1 70B一键推理
百度要放弃基础通用大模型的研发了?
双显卡部署 Yi-34B 大模型 - vLLM + Gradio 踩坑记录
AI开发者动态:LLM毫秒级推理速度来啦
(超爽中英!) 2024公认最好的【吴恩达RAG】教程!更适合中国宝宝体质,全程干货无废话,学完成为AGI大佬!
ollama 支持并发请求啦 - 效果如何呢?分别在 4090 和 macbook 上测侧看
中国大语言模型登顶全球第一,你最常用哪个?ChatGPT4
最小的机器跑最大的模型 - 铭凡 UM780xtx 运行通义千问 72B 大模型
【还不会微调Llama3?】草履虫都能看懂的Llama3模型教程,功能调用、微调、量化、部署一次给你讲明白!!(多模态大模型/人工智能)
腾讯混元大模型负责人王迪:揭秘万亿 MoE 系统工程之道|智者访谈
InternLM-1.8B 模型安卓端侧部署实践
强烈推荐!吴恩达大模型微调+langchain+RAG+Mistral系列教程!不愧是圈内公认的大佬!多模态大模型
破站的大模型 INDEX-1.9B 首次手机运行
卷卷卷!新的开源多模态大模型王者来啦,从量化到部署用 lmdeploy 把它运行起来吧
这本书就是学大模型的神!大模型人请务必翻烂!!!大模型Agent搭建实例,从入门到实战!手把手教你动手做AI Agent!
本地测试 Yi-34B 大模型|LM Studio + Mac M1 Max
GLM4 9B - 环境准备和 vllm 部署
【大模型超级教程】LangChain实战极简入门教程,从入门到入魔,看这一篇就够了,草履虫都能学会,超详细!!!LLM_agent_提示词
神马!只用60行Numpy代码手搓出GPT大模型!这老哥简直太牛啦
AI Agent,普通人也能抓住的AI技术的第一波红利!
C-Eval 大语言模型评测基准- 用 LM Evaluation Harness + vLLM 跑起来
开源大模型新王炸,超越GPT-4o,能自我纠错!
终于有大模型可视化工具了!外网破百万浏览,3D直现LLM推理过程! -人工智能/深度学习/机器学习