V
主页
京东 11.11 红包
论文分享 | arXiv-21 | 利用虚拟交互优化基于表示的文本匹配模型
发布人
论文标题:Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents 论文链接:https://arxiv.org/abs/2112.04195 随着预训练模型的广泛应用,文本匹配形成了两种范式,一为交互式匹配,其利用预训练模型对两个文本进行深度交互,匹配效果好但效率低下,二为双塔匹配,其利用预训练模型提取两个文本的表示向量,然后利用轻量级后交互预测匹配结果,其效率高,但由于缺乏深度交互而制约了其匹配效果。本文提出了一种虚拟交互方式,通过分析交互式和双塔文本匹配中注意力机制的作用方式,引入虚交互将交互注意力图蒸馏至双塔模型,并引入与虚拟交互相适应的后交互器,输出最终的匹配结果。本文的方法在多个文本匹配公开数据集中取得了SOTA的成绩,且在推理时不需要引入额外的计算过程,对多个预训练模型都有很好的适配。
打开封面
下载高清视频
观看高清视频
视频下载器
论文分享 | EMNLP-21 | 不同Transformer版本的效果(关于模型结构)
论文分享 | CVPR21 | 反事实 VQA——如何用因果推断的方法消除视觉问答中的语言偏差
论文分享 | SIGIR21 | 面向跨模态检索的动态交互建模
论文分享 | CVPR-22 | 动态梯度调整的多模态平衡学习
论文分享 | NeurIPS-21 | R-Drop:神经网络的正则化Dropout
论文分享 | AAAI-22 | 搜索和学习:提高数据到文本生成的语义覆盖率
论文分享 | ACL-22 | 分治-解开关键词与意图的文本语义匹配
论文分享 | ACL-22 | SPAN表示哪家强?PL-Marker有新花样(关系抽取最新SOTA)
论文分享 | ACL-22 | 感知世界:用于文本游戏的问题引导的强化学习
论文分享 | ACL-22 | 基于动态自注意力内容规划的长文本生成
论文分享|ArXiv-23|通过“梯度下降”和波束搜索自动提示优化
论文分享 | ICLR21 | CoCon:文本内容控制的自监督可控文本生成
论文分享 | ACL21 | 利用加权的词袋进行大规模的文本到图像的检索
论文分享 | ACL-21 | 结合文本和表格数据的开放域问答
论文分享 | NAACL-22 | 如何在文本生成任务中迁移应用prompt
论文分享 | EMNLP-21 | 不同Transformer版本的效果(关于激活函数及正则化)
论文分享|ArXiv-23|SWIFTSAGE: 针对复杂交互任务具有快速和慢速思考的生成式智能体
论文分享|Arxiv-23|学习从大规划语料库中生成事实正确的文章
论文分享 | ICML-22 | 描述并克服多模态深度神经网络学习的贪婪特性
论文分享 | SIGIR-21 | 基于平衡话题采样的高效稠密检索模型训练方法
论文分享 | ACL-21 | 通过生成性证据融合和往返预测回答模糊问题
论文分享 | NeurIPS21 | BEIR: 用于检测检索模型零样本学习能力的基准
论文分享 | ACL-22 | 一种与模型无关的数据操作方法,用于基于角色的对话生成
论文分享 | ACL-22 | “开卷有益”同样适用于AI做题家:一种预测时利用训练集检索的简单方法
论文分享 | EMNLP-21 | 使用示例捆束来学习阅读理解
论文分享 | NeurIPS-21 | ALBEF: 先对齐再融合:利用动量蒸馏学习图文表示
论文分享 | SIGIR21 | 利用负样本来优化稠密检索模型
论文分享 | ACL-22 | 通过“召回-再验证”框架回答开放域多答案问题
论文分享 | SIGIR-21 | 对话同伴也很重要!角色融合在基于检索的聊天机器人进行个性化回答的作用
论文分享|Arxiv-23|REPLUG:检索增强黑盒语言模型
论文分享|ArXiv-23|图像检索的生成式建模
论文分享 | NeurIPS21 | 多约束条件下基于连续优化的可控文本生成
论文分享 | ACL-22 | Prompt可以探测预训练的语言模型吗?从因果关系看隐形风险
论文分享 | ACL-22 | 模型自动生成的数据增强方法
论文分享 | ACL-21 | 信息搜寻型问答的挑战:可回答性预测和段落检索
论文分享|ICLR-23|通用视觉-语言稠密检索:多模态检索的统一表示空间学习
论文分享|ArXiv-23|通过多智能体辩论鼓励大型语言模型中的发散思维
论文分享 | EMNLP-22 | 重新思考示例的作用:是什么让上下文学习发挥作用?
论文分享|ICLR-23|REACT: 语言模型结合推理和行动,动态构建prompt
论文分享 | ACL-21 | 预训练语言模型是知识渊博还是小聪明的胡猜?