投机采样创新：多头美杜莎让推理速度提升2倍 #小工蚁
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
llama.cpp大神实现投机采样，让大模型推理性能直接翻倍 #小工蚁
...
AWQ大模型量化INT4比FP16 推理快2倍，GPU内存1/3
...
开源Text Embedding加速推理 比HF性能提升3～4倍
...
DeepSpeed-FastGen比vLLM推理性能快2倍，SplitFuse策略 #小工蚁
...
Qwen1.5系列6个模型如何选择？ AWQ还是GPTQ？#小工蚁
...
开源InternLM2大模型测评 #小工蚁
...
零一万物发布Yi-9B大模型，代码数学推理能力全面提升 #小工蚁
...
AquliaChat2-7B AWQ量化实践 34B和7B模型推理速度和显存对比测试 #小工蚁
...
多模态Embedding开源模型 Visualized BGE #小工蚁
...
互联网大厂在AI CodeReview代码检查成功实践 #小工蚁
...
LightLLM轻量级高性能推理框架 和vLLM哪个更强？
...
MiniCPM-2B和MoE-8x2B模型 开源最强“小模型” #小工蚁
...
使用LangChain实现Tool Calling #小工蚁
...
Text2SQL Llama 7B模型微调DuckDB-NSQL-7B #小工蚁
...
微调开源模型具备Function Call讲解和演示 #小工蚁
...
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁
...
LLM解码参数Temperature Top K & Top P有啥作用？#小工蚁
...
StreamingLLM算法让推理速度 提升22倍，支持400万Token输出
...
Unsloth微调LLM训练更快2～5倍 GPU显存省50% #小工蚁
...
SQLEval Text2SQL能力评估实践 #小工蚁
...
投机解码应用于Whisper模型 声音识别速度提升2倍
...
通义千问千亿模型比720亿模型更省算力 #小工蚁
...
开源FastLLM加速推理性能究竟如何？#小工蚁
...
Qwen2-Audio语音多模态大模型使用实践 #小工蚁
...
RAPTOR一种树结构检索的RAG算法 #小工蚁
...
让Mixtral-8*7B模型运行在16GB显存GPU上 #小工蚁
...
书生200亿开源大模型压力测试 算法优化后性能飙升几十倍 #小工蚁 #开源大模型
...
Qwen1.5-72B上下文推理准确度评估演示16K时最优 #小工蚁
...
北大开源法律大模型ChatLaw：让法律问题不再复杂 #小工蚁 #ChatLaw
...
传统推荐算法遇强敌：LLM微调后的表现如何？中科大和谷歌为你解答！#小工蚁 #llm #推荐系统
...
2024年最新斯坦福人工智能报告十大观点 #小工蚁
...
ClickHouse和Elastisearch 深度对比
...
微软开源Dynamic SplitFuse加速大模型推理功能实践 #小工蚁
...
演示xllm-stream镜像如何可视化微调模型？#小工蚁
...
阿里开源Qwen1.5-MOE-A2.7B CEval评测 #小工蚁
...
Ollama在Mac上运行大语言模型 #小工蚁
...
Yi-VL开源最强多模态大模型 #小工蚁
...
人类反馈强化学习最新替代方法SimPO #小工蚁
...
Huggingface开源新框架Candle让大模型运行在各种设备上 #小工蚁 #huggingface
...
如何让大语言模型Qwen-7b使用Langchain中的工具？ #小工蚁 #qwen7b