V
主页
Transformer模型能否进行隐式的推理?一个关于Grokking和泛化的深入探索
发布人
主题 Transformer模型能否进行隐式的推理?一个关于Grokking和泛化的深入探索 论文:Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization 地址:https://arxiv.org/abs/2405.15071 状态:在投 嘉宾 汪博石,是俄亥俄州立大学的三年级博士生,在Huan Sun教授的指导下进行研究。他的主要研究方向为评估、理解和提升语言模型的知识和推理能力。他曾经在自然语言处理和人工智能领域的顶级会议上发表多篇论文,其中在ACL-23发表的理解大模型的思维链能力(Chain-of-Thought)的工作曾获得最佳论文荣誉提名奖。他的近期研究兴趣主要集中在Transformer模型的隐式推理能力和其相关的影响。 主持人 华文越 罗格斯大学博士生 内容 背景 - Transformer语言模型隐式推理能力的欠缺 我们为什么要关注隐式推理和参数化知识? 研究方法与评估设计 Grokking现象与其背后原理的分析 模型的内部电路(circuits)与系统性泛化 参数知识对于复杂推理的重要性与潜力 总结与展望 QA 研究背景 现今的大语言模型虽然能力广而出众,但许多工作发现它们依旧很难基于参数知识做隐式推理。这项缺陷会导致他们内部对知识和规则的表示冗余而难以更新,同时限制它们的泛化。在这篇工作中,我们系统性地研究Transformer是否可以获得隐式推理的能力。我们的一系列实验和对于模型内部的分析揭示了Grokking对于获得隐式推理能力的重要性,其背后的过程和原因,以及Transformer模型对于不同任务的系统性泛化能力的差异。最后,为了展示参数知识表示在复杂推理中的功能和潜力,我们设计了一个具有巨大搜索空间的推理任务,同时发现 如果基于非参数知识表示,无论提示风格或检索增强,即使目前最强的语言模型(例如GPT-4-Turbo和Gemini-1.5-Pro)都无法取得好的效果, 一个Grokking完全的Transformer可以实现接近完美的推理准确性。
打开封面
下载高清视频
观看高清视频
视频下载器
知识斗地主:解析RAG大模型中复杂的知识冲突
无矩阵乘法LLM - 一个来自线性Transformer的视角
大语言模型的时间魔法:从共时推理到框架优化
LLM推理加速新范式!推测解码(Speculative Decoding)最新综述
语言模型如何确保无害性?通过推理过程中的隐状态解析越狱和安全对齐
LLaMA-MoE:基于参数复用的混合专家模型构建方法探索
如何加速大语言模型推理?万字长文综述大语言模型高效推理技术
脆弱的不确定性:大模型的可信度如何被操控
大模型时代下非自回归模型的多层次能力提升:媲美自回归模型的探索之路
RNN卷土重来:基于门控记忆槽的线性注意力机制
Deita: 用高质量数据在微调中“四两拨千斤”
LLMLingua: 压缩prompt构造LLMs的语言
符号化规则强化CoT,大幅提高推理性能 - ACL2024
全栈大模型微调框架LLaMA Factory:从预训练到RLHF的高效实现
评估中文大模型中的幻觉
【李宏毅】2024秋《生成式人工智能导论》教程!LLM大模型入门到进阶,一套全解决!2024生成式人工智慧-附带课件代码
综述 - LLM遇见数学
超越GPT4!Claude3.5国内使用方式,手机电脑都可轻松完成
大模型事实性综述
生成式搜索引擎能否取代检索技术?
从0开始训练1.4b中文大模型的经验分享
Transformer的无限之路:位置编码视角下的长度外推
【NICE一期】张子殷:代码大模型综述
【国内白嫖】8月26日最新ChatGPT4.0
AI 代理: LangChain和LLM在自动化与商业中的应用
浦语提示词工程实践
强推!【时间序列预测算法】第一次有人把讲的这么通俗易懂!(Informer | LSTM |Transformer|卡尔曼滤波|神经网络|机器学习)
【人翻中字|电影理论】帕姆尼是邪恶AI!(神奇数字马戏团)
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
FacTool: 生成人工智能中的事实检测 - 用于多任务和多领域场景的工具增强框架
本地LLM模型运行微软GraphRAG步骤指导
【精选transformer教程】1.transformer(时间复杂度过高)优化策略 2.transformer原理讲解 实战代码讲解 入门教程 改进优化
大语言模型在text-based game上的表现及分析
【2024年8最新chatgpt】GPT4.0免费使用教程,免登录就可以直接使用
(超爽中英!) 2024公认最全的【吴恩达大模型LLM】系列教程!附代码_LangChain_微调ChatGPT提示词_RAG模型应用_agent_生成式AI
(超爽中英!) 2024公认最全的【吴恩达大模型LLM】系列教程!附代码_LangChain_微调ChatGPT提示词_RAG模型应用_agent_生成式AI
【深度解析】AI大模型scaling law 幂律法则:为什么Scaling Laws重要?对大模型数据量 参数量 算力之间的最优分配!大模型训练的重要指导法则
【ChatGPT4.0手机版免费】不翻墙 无需账号 可直接下载APP到桌面使用。
我愿称之为2024年B站【AI大模型】公开课天花板!清华大佬刘知远团队带你从入门到实战,全都是干货!!!
InternLM+LlamaIndex RAG 实践