FastChat新版本发布整合vLLM，让大模型推理能力提升10倍
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
MiniCPM3-4B开源 4B参数挑战7B性能！真的吗？ #小工蚁
...
探索开源FastChat 平台，揭秘基于LLM大型语言模型的智能化应用框架！
...
Qwen2-72B大模型推理性能对比 4张RTX4090对比2张L20
...
Jina Embedding v3开源多语言嵌入大模型
...
清华ChatGLM2中英文LLM 2代模型发布，性能大幅提升
...
LightLLM轻量级高性能推理框架 和vLLM哪个更强？
...
Qwen2.5-Coder写代码大模型技术报告解读 #小工蚁
...
LLaMA-Omni开源语言对话大模型，超低延时 #小工蚁
...
AWQ大模型量化INT4比FP16 推理快2倍，GPU内存1/3
...
用LLM从文本中自动提取数据 生成表格的新算法效率提升110倍
...
性能媲美CUDA 开源方案助力大模型推理优化 #小工蚁
...
BCE Embedding开源大模型 RAG应用准确度提升关键
...
LLM如何接入到个人微信？ 演示群聊中AI自动回复
...
华为910B训练通义千问2-7B LoRA微调实践
...
TGI让Huggingface Transformer推理速度提升10倍，本地演示 #小工蚁 #huggingface
...
LangGraph Autogen CrewAI 哪个Agent框架更好？#小工蚁
...
将训练数据打包减少一半大模型训练时间 #小工蚁
...
阿里发布Text2SQL最新实践开源模型准确度超GPT4
...
基金日常信息发布内容AI审核
...
通义千问2.5 7B-Instruct模型 C-eval评测 #小工蚁
...
LongCite让大模型精准找到引用，智能回答更准确 #小工蚁
...
开源训练框架Acccelerate 1.0即将发布，有哪些亮点？ #小工蚁
...
开源最强大语言模型Mixtral 推理和训练如何使用？#小工蚁
...
DeepSeek V2开源大模型为什么可以节省90% 以上KV Cache？
...
大模型微调训练实践 准确度10%提升至90%
...
表格式out！大模型最爱JSON，你了解吗？
...
Prefix Caching原理和对大模型推理加速影响 #小工蚁
...
微调大语言模型如何自动生成 训练数据以及优化技巧
...
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁
...
伯克利大学开源vLLM项目 让LLM推理效率提升24倍
...
MOSHI实时对话大模型 有啥技术亮点？
...
多模态Embedding开源模型 Visualized BGE #小工蚁
...
多跳智能问答EfficientRAG更胜一筹 #小工蚁
...
腾讯开源LlaMA Pro增强LLM性能 新方法，打造行业模型 #小工蚁
...
A16z风投对企业软件最新预测 替代劳动力，前景巨大 #小工蚁
...
混合RAG结合向量RAG和图RAG优势在哪里？
...
OpenAI GPTo1发布告诉我们提升模型性能新途径 强化学习RLAIF #小工蚁
...
StreamingLLM算法让推理速度 提升22倍，支持400万Token输出
...
DeepSpeed-FastGen比vLLM推理性能快2倍，SplitFuse策略 #小工蚁
...
无限上下文大模型推理加速StreamingLLM #小工蚁