开源FastLLM加速推理性能究竟如何？#小工蚁
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
DeepSpeed-FastGen比vLLM推理性能快2倍，SplitFuse策略 #小工蚁
...
LightLLM轻量级高性能推理框架 和vLLM哪个更强？
...
算子优化MoE模型推理加速4倍
...
ClickHouse和Elastisearch 深度对比
...
无限上下文大模型推理加速StreamingLLM #小工蚁
...
开源Text Embedding加速推理 比HF性能提升3～4倍
...
MiniCPM3-4B开源 4B参数挑战7B性能！真的吗？ #小工蚁
...
开源InternLM2大模型测评 #小工蚁
...
让Mixtral-8*7B模型运行在16GB显存GPU上 #小工蚁
...
Qwen2-Audio语音多模态大模型使用实践 #小工蚁
...
PDF文档文字、表格混排自动识别，增强RAG应用准确度 #小工蚁
...
BurstAttention长上下文LLM推理和训练加速算法 #小工蚁
...
MInfernece长上下文大模型推理加速4～10倍 #小工蚁
...
DeepSeek V2开源大模型为什么可以节省90% 以上KV Cache？
...
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁
...
腾讯开源LlaMA Pro增强LLM性能 新方法，打造行业模型 #小工蚁
...
多GPU推理加速Qwen-72B开源大模型 #小工蚁
...
使用Triton内核加速Llama3-70B FP8推理 #小工蚁
...
SQLEval Text2SQL能力评估实践 #小工蚁
...
人类反馈强化学习最新替代方法SimPO #小工蚁
...
mBART开源多语言翻译模型支持全球最常用50种语言 #小工蚁
...
Text2SQL Llama 7B模型微调DuckDB-NSQL-7B #小工蚁
...
AWQ大模型量化INT4比FP16 推理快2倍，GPU内存1/3
...
Qwen1.5系列6个模型如何选择？ AWQ还是GPTQ？#小工蚁
...
AutoLabel：自动标注，比人快100倍，准确度和人一样！#小工蚁 #大语言模型
...
传统推荐算法遇强敌：LLM微调后的表现如何？中科大和谷歌为你解答！#小工蚁 #llm #推荐系统
...
如何测试大模型推理加速？通义千问和百川2模型测试对比 #小工蚁
...
通义千问千亿模型比720亿模型更省算力 #小工蚁
...
纯Memba架构大语言模型开源性能超越Transformer #小工蚁 #memba
...
将训练数据打包减少一半大模型训练时间 #小工蚁
...
MiniCPM-2B和MoE-8x2B模型 开源最强“小模型” #小工蚁
...
构建多模态RAG应用实践 #小工蚁
...
商汤开源Piccolo2大模型有啥亮点？#小工蚁
...
Qwen2-7B-Instruct不同量化方法准确度和性能比较
...
HippoRAG中仿人脑海马体PPR算法实现 #小工蚁
...
如何快速下载Huggingface大模型权重？#小工蚁
...
RAGChecker开源RAG诊断框架
...
RAPTOR一种树结构检索的RAG算法 #小工蚁
...
TableBench全面基于表格问答复杂任务评测框架 #小工蚁
...
为什么说AI芯片的最大问题不是算力，而是内存带宽？ #小工蚁 #英伟达