V
主页
京东 11.11 红包
如何加速大语言模型推理?万字长文综述大语言模型高效推理技术
发布人
主题 如何加速大语言模型推理?万字长文综述大语言模型高效推理技术 论文:A Survey on Efficient Inference for Large Language Models 地址:https://arxiv.org/pdf/2404.14294 嘉宾 周紫轩,硕士就读于清华大学深圳国际研究生院,目前博0(硕士刚毕业),硕士导师为汪玉教授和董宇涵副教授,博士导师为汪玉教授和张晓平教授,本人研究兴趣主要为模型压缩、大模型高效推理等领域。 主持人 薛博阳 香港中文大学博士生 内容 研究背景与基础概念介绍 分层、分领域综述高效推理领域的技术 2.1: 数据层 2.2: 模型层 2.3: 系统层(简略) 未来方向讨论与结论 QA 研究背景 大语言模型(Large Language Models, LLMs)在近些年受到了学术界和工业界的广泛关注,得益于其在各种语言任务上的突出表现,大语言模型推动了各种人工智能应用(如ChatGPT、Copilot等)的发展。然而,大语言模型的应用部署受限于其巨大的推理开销,如何提升大语言模型的推理效率,优化推理的延时、吞吐、功耗和存储等指标,是很多研究工作关注的目标。本次分享报告将综述大语言模型高效推理领域的各类技术,报告将首先分析当前大语言模型推理过程的效率瓶颈,深入分析其根本原因。基于此分析,报告将目前的优化方法划分为三个层次(即数据层、模型层和系统层),并分层、分子领域进行技术介绍和领域总结。最后,报告将深入讨论高效推理领域未来应当关注的场景、挑战和路线,为研究者提供可行的研究方向。
打开封面
下载高清视频
观看高清视频
视频下载器
LLM推理加速新范式!推测解码(Speculative Decoding)最新综述
从0开始训练1.4b中文大模型的经验分享
从零开始训练大模型
【LLM大模型+RAG】2024大模型RAG企业项目实战:从零开始搭建一套完整的RAG系统,理论+原理+代码深入解析!(附课件教程)
全栈大模型微调框架LLaMA Factory:从预训练到RLHF的高效实现
ChatGPT提示词——以大学生日常使用为例
20分钟学会qwen大模型本地部署+微调法律大模型(只需5G内存)
别傻了,大模型岗无非就是这些东西啊,五天内背完 轻轻松松拿offer
LLM智能应用开发 L4:大语言模型解析 I [2024南京大学计算机学院选修课]
在上下文学习中,语言模型究竟学到了什么? 探索结构化任务假说
【通义千问2.0】微调之DPO训练
腾讯大模型岗面试好强啊,真的hold不住了!
一站式大语言模型API调用:基础调用教程
大语言模型的知识编辑:问题,方法与挑战
新手如何学习大语言模型,从个人角度谈一谈(基础,论文,代码等等)
国内最新ChatGPT4.0国内免费使用了,免翻,无任何限制国内直接使用,最新GPT4.0白嫖分享教程
女子回家路上惨遭三壮汉轮流强推AI大模型应用开发2024精品课【LangChain+LlamaIndex+Agent+多模态】——大模型总综述——理论开篇
LLMLingua: 压缩prompt构造LLMs的语言
【豆瓣9.4】本书有纯粹的LLM微调的入门知识,绝非推广AWS
2024公认最好的【吴恩达微调+私有化大模型】教程!更适合中国宝宝体质,全程干货无废话,学完成为大模型微调大佬!(附课件+代码)
RNN卷土重来:基于门控记忆槽的线性注意力机制
【全368集】强推!这可能是B站最全的AI大模型开发系统教程,2024最新版,草履虫都能学会!存下吧,逼自己一个月学完,少走99%的弯路!
【小白教程】20分钟学会qwen大模型本地部署+微调法律大模型,仅需5G内存,小白一学就会!
中文TOP期刊讲解:《管理世界》2024年第8期《大语言模型、文本情绪与金融市场》(上)
大模型事实性综述
NotebookLM 最全教程: AI 学习神器! 一款 AI 笔记本居然让我 1 分钟变身英文播客主播?!
符号化规则强化CoT,大幅提高推理性能 - ACL2024
吹爆!2024公认最好的大模型学习课程!不愧是清华教授讲解!18个小时带你从入门到起飞!
【喂饭教程】8分钟学会微调大模型Qwen2,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~
5天参加了10次大模型面试,毫无悬念,offer拿满!
AI写作的N种方式:整体描述法+问题引导法...
【NICE一期】吴胜琼:NExT-GPT:全能多模态大语言模型
【官方双语】大语言模型怎么用PyTorch实现呢?一步步带你进行词嵌入word embedding代码实现!
能白嫖GPT-o1和GPT-4o的免费平台,无套路打开即用
冷暖LLM知?大语言模型对物理概念的理解能力探究
ChatGPT4.0使用教程分享,免魔法,无需翻墙,没有任何限制
10月12日最新ChatGPT4.0使用教程,国内版免费网站,电脑手机版如何免下载安装通用2024
LLM for Robotics前沿- 系统性讲解大语言模型如何助力通用机器人- LLM Agents
【GPT4.0保姆级分享】国内无需翻墙,无任何限制使用chatgpt3.5和gpt4.0网站,
文献计量学,综述居然可以当论著发表!无需实验1周即出文章各个学科均适用!(私信UP领全部视频+资料包)