V
主页
S-LORA为数千个LoRA同时提供推理,性能提升30倍 #小工蚁
发布人
S-LORA为数千个LoRA同时提供推理,性能提升30倍 #小工蚁
打开封面
下载高清视频
观看高清视频
视频下载器
DeepSpeed-FastGen比vLLM推理性能快2倍,SplitFuse策略 #小工蚁
Flash-Decoding长上下文LLM推理速度提8倍 #小工蚁
AWQ大模型量化INT4比FP16 推理快2倍,GPU内存1/3
多模态RAG检索增强生成2种实现方式 #小工蚁
使用LangChain实现Tool Calling #小工蚁
开源InternLM2大模型测评 #小工蚁
ClickHouse和Elastisearch 深度对比
通义千问千亿模型比720亿模型更省算力 #小工蚁
LightLLM轻量级高性能推理框架 和vLLM哪个更强?
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁
Text2SQL Llama 7B模型微调DuckDB-NSQL-7B #小工蚁
如何快速下载Huggingface大模型权重?#小工蚁
Qwen1.5系列6个模型如何选择? AWQ还是GPTQ?#小工蚁
人类反馈强化学习最新替代方法SimPO #小工蚁
MiniCPM-2B和MoE-8x2B模型 开源最强“小模型” #小工蚁
AquliaChat2-7B AWQ量化实践 34B和7B模型推理速度和显存对比测试 #小工蚁
互联网大厂在AI CodeReview代码检查成功实践 #小工蚁
开源数字人SadTalker项目源代码解读 #小工蚁 #sadtalker
开源Mistral-7B LORA微调 增强中文能力演示
零一万物发布Yi-9B大模型,代码数学推理能力全面提升 #小工蚁
Ollama在Mac上运行大语言模型 #小工蚁
如何让大语言模型Qwen-7b使用Langchain中的工具? #小工蚁 #qwen7b
LangChain LCEL如何开发(2/3)#小工蚁
百川2大模型是如何炼成的? #小工蚁 #百川2
Llama3和Llama2模型全面对比 #小工蚁
DSPy提示工程自动优化框架 #小工蚁
Qwen1.5-72B上下文推理准确度评估演示16K时最优 #小工蚁
MInfernece长上下文大模型推理加速4~10倍 #小工蚁
StreamingLLM算法让推理速度 提升22倍,支持400万Token输出
LLM解码参数Temperature Top K & Top P有啥作用?#小工蚁
QLoRA一种高效的微调方法,和LoRA有啥不同?
VLM视觉大模型如何评测?MMMU排行榜 #小工蚁
LLM大模型应用场景2:Text2SQL #小工蚁
Qwen2-Audio语音多模态大模型使用实践 #小工蚁
LangChain v0.2新版即将发布 #小工蚁
Mixtral-8*7B开源模型生产环境部署优化 2块RTX4090 #小工蚁
近期开源VLM大模型介绍 #小工蚁
为什么说AI芯片的最大问题不是算力,而是内存带宽? #小工蚁 #英伟达
RAPTOR一种树结构检索的RAG算法 #小工蚁
微信小程序十亿级用户画像底层如何实现?#小工蚁 #clickhouse