AWQ和GPTQ大模型4bit量化 哪种算法更优？#小工蚁
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
AWQ大模型量化INT4比FP16 推理快2倍，GPU内存1/3
...
Qwen1.5系列6个模型如何选择？ AWQ还是GPTQ？#小工蚁
...
用GPTQ算法量化大型模型 大幅减少GPU使用并提高准确率
...
AutoLabel：自动标注，比人快100倍，准确度和人一样！#小工蚁 #大语言模型
...
大模型量化技术概述
...
哪种模型偏好微调最优？DPO、IPO、KTO算法 #小工蚁
...
Qwen2-7B-Instruct不同量化方法准确度和性能比较
...
Transformers支持3种量化算法性能对比 #小工蚁
...
llama.cpp大神实现投机采样，让大模型推理性能直接翻倍 #小工蚁
...
阿里发布Text2SQL最新实践开源模型准确度超GPT4
...
如何提高垂直领域RAG准确率？ #小工蚁
...
不看太可惜！又快又准，即插即用！Sage Attention——清华8bit量化Attention
...
谷歌开源时间序列大模型 直接使用不需要训练 #小工蚁
...
Embedding模型8bit量化推理 成本下降4倍，准确度下降0.7%
...
多模态Embedding开源模型 Visualized BGE #小工蚁
...
LightRAG一种简单高效的RAG新方法 #小工蚁
...
如何使用DPO微调Llama2，打造行业大模型？ #小工蚁 #llama2
...
Qwen2-Audio语音多模态大模型使用实践 #小工蚁
...
PDF文档文字、表格混排自动识别，增强RAG应用准确度 #小工蚁
...
传统推荐算法遇强敌：LLM微调后的表现如何？中科大和谷歌为你解答！#小工蚁 #llm #推荐系统
...
Qwen2.5-Coder写代码大模型技术报告解读 #小工蚁
...
多模态大模型在网易音乐推荐的应用 #小工蚁
...
仿人脑海马体HippoRAG智能问答准确度提升 20% #小工蚁
...
如何将LLM输出文本转为结构化数据？ #小工蚁 #langchain
...
书生200亿开源大模型压力测试 算法优化后性能飙升几十倍 #小工蚁 #开源大模型
...
OCR-2.0开源小模型实现OCR端到端应用 #小工蚁 #pdf转markdown
...
构建多模态RAG应用实践 #小工蚁
...
RAFT：微调你的LLM使其在垂直领域的RAG中表现更好 #小工蚁
...
mBART开源多语言翻译模型支持全球最常用50种语言 #小工蚁
...
Text2SQL Llama 7B模型微调DuckDB-NSQL-7B #小工蚁
...
Triton优化GPTQ算法GPU内核 效率提升3～6倍
...
开源AI生成声音和音乐大模型AudioLDM2 #小工蚁
...
PISSA大模型微调新方法收敛更快，效果更好 #小工蚁
...
合并同源模型权重获得新能力，阿里开源DARE算法 #小工蚁
...
通义千问2投机解码实践演示 #小工蚁
...
将新鲜知识注入大型语言模型：只需一个命令！#小工蚁 #rome
...
LLaMA-Omni开源语言对话大模型，超低延时 #小工蚁
...
大语言模型快速JSON解码算法 Jump Forward Decoding #小工蚁
...
具备反思能力智能体算法当前哪种最强？#小工蚁
...
多GPU推理加速Qwen-72B开源大模型 #小工蚁