AquliaChat2-7B AWQ量化实践 34B和7B模型推理速度和显存对比测试 #小工蚁
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
AWQ大模型量化INT4比FP16 推理快2倍，GPU内存1/3
...
Qwen1.5系列6个模型如何选择？ AWQ还是GPTQ？#小工蚁
...
LMDeploy 量化部署进阶实践
...
DeepSpeed-FastGen比vLLM推理性能快2倍，SplitFuse策略 #小工蚁
...
让Mixtral-8*7B模型运行在16GB显存GPU上 #小工蚁
...
AWQ和GPTQ大模型4bit量化 哪种算法更优？#小工蚁
...
Transformers支持3种量化算法性能对比 #小工蚁
...
如何让大语言模型Qwen-7b使用Langchain中的工具？ #小工蚁 #qwen7b
...
多模态Embedding开源模型 Visualized BGE #小工蚁
...
大模型量化技术概述
...
Unsloth微调LLM训练更快2～5倍 GPU显存省50% #小工蚁
...
Text2SQL Llama 7B模型微调DuckDB-NSQL-7B #小工蚁
...
VLM视觉大模型如何评测？MMMU排行榜 #小工蚁
...
Flash-Decoding长上下文LLM推理速度提8倍 #小工蚁
...
Qwen2-7B-Instruct不同量化方法准确度和性能比较
...
多模态RAG检索增强生成2种实现方式 #小工蚁
...
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁
...
通义千问千亿模型比720亿模型更省算力 #小工蚁
...
使用Triton内核加速Llama3-70B FP8推理 #小工蚁
...
Embedding模型8bit量化推理 成本下降4倍，准确度下降0.7%
...
开源InternLM2大模型测评 #小工蚁
...
Llama3和Llama2模型全面对比 #小工蚁
...
互联网大厂在AI CodeReview代码检查成功实践 #小工蚁
...
构建多模态RAG应用实践 #小工蚁
...
零一万物发布Yi-9B大模型，代码数学推理能力全面提升 #小工蚁
...
人类反馈强化学习最新替代方法SimPO #小工蚁
...
LLM解码参数Temperature Top K & Top P有啥作用？#小工蚁
...
Mixtral-8*7B开源模型生产环境部署优化 2块RTX4090 #小工蚁
...
如何测试大模型推理加速？通义千问和百川2模型测试对比 #小工蚁
...
SQLEval Text2SQL能力评估实践 #小工蚁
...
最强7B模型Zephyr，打败LlaMA2-70B #小工蚁
...
微软开源Dynamic SplitFuse加速大模型推理功能实践 #小工蚁
...
DeepSeek V2开源大模型为什么可以节省90% 以上KV Cache？
...
BurstAttention长上下文LLM推理和训练加速算法 #小工蚁
...
微调开源模型具备Function Call讲解和演示 #小工蚁
...
在RAG应用中LLM不同上下文检索和推理准确度不同 #小工蚁
...
BAdam大模型全参训练方法更省显存，速度更快，性能更优
...
Ollama在Mac上运行大语言模型 #小工蚁
...
DSPy提示工程自动优化框架 #小工蚁
...
开源数字人SadTalker项目源代码解读 #小工蚁 #sadtalker