V
主页
基于认知树的小型语言模型推理能力提升
发布人
【加群】 一起来刷arxiv,请加vx: pwbot02(请备注:b站arxiv) 【论文标题】 基于认知树的小型语言模型推理能力提升 【论文简述】 本文提出了一种名为“认知树”(CogTree)的框架,以提升小型语言模型在复杂推理任务上的表现。CogTree框架受到认知科学中双重过程理论的启发,包含直觉系统和反思系统两个部分。直觉系统通过使用上下文示例,将复杂问题分解为子问题并生成响应;反思系统则评估直觉系统生成的响应,选择最可能的解决方案,为直觉系统的下一步生成提供指导。实验结果表明,CogTree框架可以在参数量远小于GPT-3.5的情况下,达到与GPT-3.5相当的推理性能。这为提高小型语言模型的推理能力提供了一种有效途径。 【论文链接】 https://arxiv.org/abs/2311.06754
打开封面
下载高清视频
观看高清视频
视频下载器
基于潜在变量推断的训练链式思维提升语言模型推理能力
小型语言模型的强大能力:TeacherLM-7.1B模型的研究
斑马模型:通过分层分组的局部-全局注意力提升语言模型的长文本处理能力
对比解码提升大型语言模型推理能力
大规模语言模型的数学求解能力的安全性评估
大规模语言模型的训练与优化研究
分布式大型语言模型的互联网低成本推理与微调
小模型大智慧:TinyGSM助力小规模语言模型在数学推理上超越大规模模型
PromptBench:全面评估大型语言模型的统一框架
共训练和共蒸馏:提高预训练语言模型性能与推理速度的新框架
大型语言模型生成内容质量自评估提升选择性生成
蜜蜜蜂:一种局部增强的多模态大型语言模型投影器
大型语言模型效率研究综述
基于语言模型的知识探测和推理方法
大规模语言模型结合神经符号模型的生成型神经符号视觉推理
人工智能视觉语言模型对视觉错觉的感知
大型语言模型在链式思维推理中的应用
利用数据中心方法提升大型语言模型在金融领域的应用
大型语言模型 (LLMs) 在应对需要任务规划和使用外部工具的任务时表现出了熟练的能力
开源指令生成:用开源代码提升代码生成模型性能
探索大型语言模型在工业芯片设计中的应用
【AI Drive】ACL 2021:利用对比学习增强预训练语言模型的实体与实体间关系理解
基于统一视觉语言模型的图像和视频混合学习
大规模语言模型在多模态音乐理解与生成中的应用
人工智能在图灵测试中的自然语言交流与欺骗能力分析
Sorted LLaMA: 动态推理解锁大型语言模型中间层潜力
对比激活添加:精确操控大型语言模型行为的新方法
LoRAShear:一种有效的大型语言模型结构压缩方法
微量多语言数据提升多语言指令跟随能力
大规模语言模型在科学中的应用:P vs. NP问题的研究
利用FP8低位数据格式高效地训练大型语言模型
面向诚实的对齐:提升大型语言模型的知识边界意识
语言模型对齐新方法:基于对比不似然训练的判断反馈
面向结构化数据的大模型推理框架
基于语言、任务和指标的人工智能模型的一致性分析
语义压缩:扩展大型语言模型的上下文窗口
面向大型语言模型的有约束文本生成方法
基于自然语言模型的离线强化学习框架LaMo
重量子克隆:利用大型预训练模型加速小型Transformer训练
大型语言模型:从训练到推理的全面综述