V
主页
LoRAShear:一种有效的大型语言模型结构压缩方法
发布人
【彩蛋】 可以试试/ask + 你的提问和本篇论文进行交流 【论文标题】 LoRAShear: Efficient Large Language Model Structured Pruning and Knowledge Recovery 【论文简述】近年来,大型语言模型(LLMs)已经改变了人工智能的景观,但它们的庞大尺寸也带来了计算成本上的重大挑战。本文介绍了LoRAShear,一种新颖的有效方法,用于结构压缩LLMs并恢复知识。给定一般的LLMs,LoRAShear首先创建依赖图以发现最小移除结构并分析知识分布。然后,它在LoRA适配器上进行渐进式结构压缩,并使内在知识转移得以更好地保留冗余结构中的信息。为了恢复压缩过程中丢失的知识,LoRAShear精心研究并提出了动态微调方案,并使用动态数据适配器有效地缩小与完整模型之间的性能差距。数值结果表明,仅使用一块GPU在几个GPU天内,LoRAShear可以有效地将LLMs的足迹减少20%,性能降低仅为1.0%,并且明显优于最先进的技术。源代码将在https://github.com/microsoft/lorashear上提供。 【引导阅读的问题】 1. LoRAShear是什么?2. LoRAShear如何有效地结构压缩LLMs?3. LoRAShear如何恢复压缩过程中丢失的知识? 【论文链接】 https://arxiv.org/pdf/2310.18356
打开封面
下载高清视频
观看高清视频
视频下载器
GridFormer 表结构识别方法
基于个性化教学原理的关闭源LLMs模型蒸馏方法
基于语言模型的知识探测和推理方法
吴恩达大模型系列教程:面向生成式AI开发的碳意识计算|Carbon Aware Computing for GenAI Developers
语义压缩:扩展大型语言模型的上下文窗口
探索ChatGPT与大型语言模型(LLMs)背后的技术
蜜蜜蜂:一种局部增强的多模态大型语言模型投影器
Paper Reading Group基于知识增强的语言表示模型
融合像素与潜在扩散模型的文本到视频生成方法
PromptBench:全面评估大型语言模型的统一框架
基于认知树的小型语言模型推理能力提升
对比激活添加:精确操控大型语言模型行为的新方法
利用数据中心方法提升大型语言模型在金融领域的应用
大规模语言模型在多模态音乐理解与生成中的应用
SPHINX: 一种多模态大语言模型的联合混合方法
利用FP8低位数据格式高效地训练大型语言模型
大型语言模型如何从网络上的信息中辨别真假?
通过学习规划和感知进行任务和运动规划
大型语言模型:从训练到推理的全面综述
生成高质量的长视频:SEINE视频扩散模型
基于上下文调整的检索增强生成方法
人工智能视觉语言模型对视觉错觉的感知
吴恩达《LLMs的函数调用和结构化数据提取|Function-Calling and Data Extraction with LLMs》中英字幕
语言模型对齐新方法:基于对比不似然训练的判断反馈
大规模语言模型结合神经符号模型的生成型神经符号视觉推理
吴恩达大模型系列教程:《使用 LLM 进行函数调用和数据提取|Function-Calling and Data Extraction with LLMs》
大型语言模型在链式思维推理中的应用
大规模语言模型在科学中的应用:P vs. NP问题的研究
多语言大型语言模型训练数据集CulturaX
外网超火爆的神级LLM大模型教程:从头开始构建LLM大语言模型,281页PDF+课件教程
PaperWeekly x 清华大学:计算未来轻沙龙——揭秘AutoML技术
基于自然语言模型的离线强化学习框架LaMo
【AI Drive】ACL 2021:利用对比学习增强预训练语言模型的实体与实体间关系理解
基于统一视觉语言模型的图像和视频混合学习
通用视觉基础模型:多任务学习实现高效零样本迁移
基于语言、任务和指标的人工智能模型的一致性分析
探索大型语言模型在工业芯片设计中的应用
ECLIPSE:一种资源高效的文本到图像先验模型用于图像生成
大规模语言模型的训练与优化研究
小型语言模型的强大能力:TeacherLM-7.1B模型的研究