V
主页
如何加速大语言模型推理?万字长文综述大语言模型高效推理技术
发布人
主题 如何加速大语言模型推理?万字长文综述大语言模型高效推理技术 论文:A Survey on Efficient Inference for Large Language Models 地址:https://arxiv.org/pdf/2404.14294 嘉宾 周紫轩,硕士就读于清华大学深圳国际研究生院,目前博0(硕士刚毕业),硕士导师为汪玉教授和董宇涵副教授,博士导师为汪玉教授和张晓平教授,本人研究兴趣主要为模型压缩、大模型高效推理等领域。 主持人 薛博阳 香港中文大学博士生 内容 研究背景与基础概念介绍 分层、分领域综述高效推理领域的技术 2.1: 数据层 2.2: 模型层 2.3: 系统层(简略) 未来方向讨论与结论 QA 研究背景 大语言模型(Large Language Models, LLMs)在近些年受到了学术界和工业界的广泛关注,得益于其在各种语言任务上的突出表现,大语言模型推动了各种人工智能应用(如ChatGPT、Copilot等)的发展。然而,大语言模型的应用部署受限于其巨大的推理开销,如何提升大语言模型的推理效率,优化推理的延时、吞吐、功耗和存储等指标,是很多研究工作关注的目标。本次分享报告将综述大语言模型高效推理领域的各类技术,报告将首先分析当前大语言模型推理过程的效率瓶颈,深入分析其根本原因。基于此分析,报告将目前的优化方法划分为三个层次(即数据层、模型层和系统层),并分层、分子领域进行技术介绍和领域总结。最后,报告将深入讨论高效推理领域未来应当关注的场景、挑战和路线,为研究者提供可行的研究方向。
打开封面
下载高清视频
观看高清视频
视频下载器
从0开始训练1.4b中文大模型的经验分享
LLM推理加速新范式!推测解码(Speculative Decoding)最新综述
语言模型如何确保无害性?通过推理过程中的隐状态解析越狱和安全对齐
OpenWebUI+Ollama本地部署保姆级教程(非Docker),轻松搭建大语言模型!
论文速读35:大语言模型存在逆转诅咒
GPT o1模型使用及API调用
B站讲的最好的AI大模型实战(2024最新版)LLM+RAG系统+GPT-4o+OpenAI,全部都讲明白了!!
全栈大模型微调框架LLaMA Factory:从预训练到RLHF的高效实现
2024年吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI) 全程通俗易懂,别再走弯路了,逼自己一周学完,少走99%弯路,学不会我退出IT界!
大语言模型的知识编辑:问题,方法与挑战
2024吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI),3天学完,让你少走99%弯路!
迈向可信的AI:探索安全、负责的大语言模型
LLM智能应用开发 L9:大语言模型解析 VI 数据集处理, 微调 [2024南京大学计算机学院选修课]
大语言模型编辑中的崩溃研究
综述 - LLM遇见数学
冷暖LLM知?大语言模型对物理概念的理解能力探究
【AI大模型】3天构建一个AI Chatbot聊天机器人,2025版最系统全面的AI大模型教程(LLM+RAG+Open AI+GPT+生成式AI)
鲨疯了!最适合新手入门的【LLM医疗大模型】教程:医疗大模型LLM应用现状及如何微调一个医疗大模型?我竟然一天就搞懂了!
MM-Eval: 大语言模型现代蒙古语多层次评测数据集 - IMLIP2024 多语种语言资源建设与评测论坛
2025版AI大模型全套视频 (LLM+RAG系统+GPT-4o+OpenAI)这绝对是ai大模型教程天花板!
【Agent+RAG】10小时博士精讲AI Agent(人工智能体)系列—提示工程、文本大模型、GPT...
【Flash Attention详解 UmarJamil】
6篇NeurIPS'24|大语言模型: 模拟人类信任行为、推理边界框架、偏见放大等
2024逼自己一周学会AI大模型(LLM+RAG系统+GPT-4o+OpenAI),全程通俗易懂,别再走弯路了,学不会我退出IT界!
从零开始训练大模型
评估大语言模型多轮对话能力的细粒度评测集
跟着帅小伙一起无痛文献学习-《物流车辆路径优化问题研究综述》
无矩阵乘法LLM - 一个来自线性Transformer的视角
EMNLP2024分享会之模型安全主题
【小白福音】Ollama + AnythingLLM,有手就行本地知识库部署,从安装到部署,手把手教你玩转知识库!
大语言模型多选题评估的偏见与鲁棒性
为什么神经网络可以学习几乎任何东西?
结合Doc2x翻译极少数棘手的PDF格式论文【学术GPT】
B站讲的最好的AI大模型教程,包含【LLM+RAG系统+GPT-4o+OpenAI】所有核心知识点,一周学完,让你少走99%弯路!
Deita: 用高质量数据在微调中“四两拨千斤”
让我们一起构建ChatGPT,用代码,拼出来
破防了!原来大家都是这么过的大模型岗面试...真的是个很恶心但快速的方法!
【AI大模型】强推!清华大学教授匠心之作 | 从0到1入门AI大模型!
【李宏毅】浅谈图像生成模型 Diffusion Model 原理
OpenRLHF:大规模分布式RLHF训练系统介绍