MInfernece长上下文大模型推理加速4～10倍 #小工蚁
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
无限上下文大模型推理加速StreamingLLM #小工蚁
...
Prefix Caching原理和对大模型推理加速影响 #小工蚁
...
Qwen2-Audio语音多模态大模型使用实践 #小工蚁
...
Jamba1.5开源大模型同等性能降低10倍KV Cache
...
Qwen2-7B-Instruct不同量化方法准确度和性能比较
...
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁
...
Text2SQL Llama 7B模型微调DuckDB-NSQL-7B #小工蚁
...
通义千问千亿模型比720亿模型更省算力 #小工蚁
...
AutoLabel：自动标注，比人快100倍，准确度和人一样！#小工蚁 #大语言模型
...
DeepSpeed-FastGen比vLLM推理性能快2倍，SplitFuse策略 #小工蚁
...
多模态RAG检索增强生成2种实现方式 #小工蚁
...
HippoRAG中仿人脑海马体PPR算法实现 #小工蚁
...
开源InternLM2大模型测评 #小工蚁
...
构建多模态RAG应用实践 #小工蚁
...
智源公开大模型SFT训练数据集微调后性能达到和超过GPT4
...
开源数字人SadTalker项目源代码解读 #小工蚁 #sadtalker
...
如何快速下载Huggingface大模型权重？#小工蚁
...
MiniCPM3-4B开源 4B参数挑战7B性能！真的吗？ #小工蚁
...
TGI让Huggingface Transformer推理速度提升10倍，本地演示 #小工蚁 #huggingface
...
商汤开源Piccolo2大模型有啥亮点？#小工蚁
...
Llama3和Llama2模型全面对比 #小工蚁
...
使用Triton内核加速Llama3-70B FP8推理 #小工蚁
...
开源AI生成声音和音乐大模型AudioLDM2 #小工蚁
...
突破极限：Yi-VL多模态模型惊艳亮相，推理加速性能压测演示 #小工蚁
...
Yi-VL开源最强多模态大模型 #小工蚁
...
SQLEval Text2SQL能力评估实践 #小工蚁
...
企业大语言模型用什么GPU H100/A100还是4090？ #小工蚁
...
零一万物发布Yi-9B大模型，代码数学推理能力全面提升 #小工蚁
...
腾讯开源LlaMA Pro增强LLM性能 新方法，打造行业模型 #小工蚁
...
开源最强大语言模型Mixtral 推理和训练如何使用？#小工蚁
...
制造业在大模型应用如何实现降本增效 #小工蚁
...
Qwen2-VL通义千问多模态大模型能做什么？性能如何？ #小工蚁
...
多模态Embedding开源模型 Visualized BGE #小工蚁
...
DSPy提示工程自动优化框架 #小工蚁
...
NL2SQL大模型生成SQL调研报告
...
Mixtral-8*7B开源模型生产环境部署优化 2块RTX4090 #小工蚁
...
MiniCPM-2B和MoE-8x2B模型 开源最强“小模型” #小工蚁
...
使用LangChain实现Tool Calling #小工蚁
...
如何让大语言模型Qwen-7b使用Langchain中的工具？ #小工蚁 #qwen7b
...
AquliaChat2-7B AWQ量化实践 34B和7B模型推理速度和显存对比测试 #小工蚁