V
主页
ACL'24杰出论文|LM-Steer: 词向量是语言模型的方向盘
发布人
内容简介:语言模型(Language Mode, LM)在语料库上预训练的过程中,会自动学习输出型词向量 (output word embeddings)用以计算下一个词的概率。词向量通常被解读为单个词的语义特 征,而它们在语言模型生成中的作用尚不明确。在这项工作中,我们从理论和实验上重新分析了 输出型词向量在自然语言模型的作用。我们发现词向量空间上的线性变换空间等价于对语言模型 生成样式的调节,并以此设计了名为 LM-Steers 的语言模型调控方法。我们发现词向量的这种调 节作用普遍存在于各种尺寸的语言模型中。它只需要学习原始模型 0.2% 的参数就可以引导各种 风格。在语言模型去毒化和生成情感控制等任务上,LM-Steers 可以实现与最先进的受控生成方 法相当或更好的性能,同时保持更好的生成质量平衡。学习到的 LM-Steer 还可以充当文本风格 的解读弃:它可以解释各种文本样式与词向量哪些维度相关,并且可以用于寻找最具代表性的文 本片段。 LM-Steer 可通过显式计算来在不同语言模型之间转移,而不需要额外训练。我们还可 以简单地通过缩放 LM-Steer 来实现风格的连续控制,或者实现多种生成控制的组合。我们的代 码库链接为 https://github.com/Glaciohound/LM-Steer。 讲者简介:韩迟目前是一名四年级计算机科学博士生,就读于伊利诺伊大学厄巴纳-香槟分校(UIUC)的自然语言处理组,导师为季姮教授。 本科期间他就读于清华大学计算机科学实验班,曾以访问学生身份在麻省理工学院(MIT)Cocosci实验室学习。他在 NeurIPS、ICLR、ACL、NAACL 等会议上发表过第一作者论文,其中在 NAACL 2024 和 ACL2024 中获得杰出论文奖。他的研究兴趣集中在对大型语言模型(LLM)表征机理的理解上,旨在为高效、可控和可解释的自然语言生成提供直观理解和有效工具。
打开封面
下载高清视频
观看高清视频
视频下载器
NAACL 2024杰出论文奖:解锁大语言模型中自发涌现的模块性
ACL24最佳论文|利用扩散模型破译甲骨文语言
[NAACL杰出论文奖]LM-Infinite: 大语言模型的零样本极限长度推广
【ICLR杰出论文荣誉提名奖】元持续学习:基于二阶优化信息视角的理解与探索
【ICLR 杰出论文荣誉提名奖】 图同态——评估图神经网络表达能力的定量框架
ACL 2023 自然语言处理顶会-大模型专题:MVP、超关系知识图谱、CFSum、大模型文本生成等
ACL 2024|浙江大学软件学院专场
ACL 2024|东北大学计算机科学与工程学院专场
CVPR 2024最佳学生论文|BioCLIP:用于生命树的视觉基础模型
【AAAI 2023杰出论文】DropMessage:图神经网络随机删减方法的归并统一
大模型视觉规化、量化、Text-to-SQL
KDD'24最佳学生论文奖一作分享|Dataset Regeneration for Sequential Recommendation
CVPR 2024最佳学生论文|Mip-Splatting: Alias-free 3D Gaussian Splatting
ACL 2023—大模型的安全与可靠性、复杂逻辑查询、情感分析等
NeurIPS'24预讲会|大语言模型12篇工作:多智能体协作、端到端信息检索、高效微调架构、不确定性感知规划等
NeurIPS'24预讲会|AI 4 Sceience 6篇工作:全局优化控制、自动化细胞分类、3D半监督对比学习等
8篇NeurIPS'24|计算机视觉:Vista、分割模型、自我蒸馏等
ACL 2024|清华大学自然语言处理与社会人文计算实验室 Part1
大语言模型—张宁豫 吕鑫 罗凌 刘潇 朱红 张绍磊 邓程【大模型嘉年华0104下午】
17篇 NeurIPS'24| 大语言模型:价值对齐、文化理解、冲突缓解、推荐优化等
ACL 2024|清华大学自然语言处理与社会人文计算实验室 Part2
6篇NeurIPS'24|大语言模型: 模拟人类信任行为、推理边界框架、偏见放大等
强推!全网最系统的自然语言处理全套教程分享,学完可少走99%的弯路! NLP基础/NLP实战项目
6篇NeurIPS'24|浙江大学软件学院专场
以语言为核心多模态大模型探索-户保田老师|EMNLP 2024预讲会特邀报告
MiniGPT-4、表格推理、代码生成、生成式推理-来自斯坦福、北大、阿卜杜拉、达摩院的四位论文一作思辨大模型
7篇NeurIPS'24|香港浸会大学TMLR课题组专场:Trustworthy Machine Learning and Foundation Models
EMNLP 2023杰出论文奖-保持知识不变性:反思开放信息抽取的鲁棒性验证
10篇NeurIPS'24|多模态大模型:视频语义检索、时序视频生成、知识编辑、跨模态异常检测等
语言模型的训练、评测与应用|北京大学张铭教授Dlib团队
多模态大模型—袁粒 张敏 洪文逸 陈俊松 李博 杨靖康 孙鑫宇【大模型嘉年华0104下午】
CodeGeeX:更强大的代码大模型与项目级编程助手
12篇NeurIPS'24|机器学习与数据科学:Lambda、协作世界模型、多域多模态时间序列数据集等
“会说话”的推荐系统大模型|EMNLP 2024 港大马琦尧
如何基于GLM打造行业模型?【ChatGLM干货分享】
一作们的ECCV顶会投稿经验分享与CV热点探讨
ACL 2024 0725 Part1
AAAI 2024 预讲会 0124 下午
如何从审稿人的角度,让你的论文脱颖未出?来自清华、宾大、马普所的四位一作真实分享
MiniLLM、RAM、MERT等大模型前沿分享-来自清华、复旦、曼彻斯特的三位大模型论文一作