V
主页
论文分享 | ACL-22 | 文本样本增强还能这样做?基于虚拟表示增强的对比学习
发布人
论文标题:Virtual Augmentation Supported Contrastive Learning of Sentence Representations 论文链接:https://arxiv.org/pdf/2110.08552 近年来,对比学习被广泛用于句子表示学习中,通过无监督的方式来得到高质量的句子表示。这一方式往往依赖于数据增强,然而自然语言的离散型导致设计通用且有效的文本增强是非常困难的。最近的工作利用Dropout来作为样本增强的方法,并显著超过了其他显式地文本增强方法。在此基础上,本文提出了一种新的虚拟增强的策略来提升对比学习的表现。具体而言,本文在文本特征表示空间中通过KNN算法寻找一个实例的邻域,然后设计了一个邻域判别任务,基于该领域通过对抗的方式来生成虚拟增强表示。然后,本文将该虚拟增强表示视作正例,邻域内其他表示作为负例,提出了基于邻域上的对比学习损失,并与现有的Batch内的对比学习损失结合训练。实验结果表明,本文提出的方法增强了对比学习的性能,在文本相似度、文本聚类、意图识别等下游任务中验证了本方法的有效性,显著提升了现有方法的表现。
打开封面
下载高清视频
观看高清视频
视频下载器
论文分享 | ACL-22 | 使用对比前缀的可控文本生成模型
论文分享 | ACL-22 | 模型自动生成的数据增强方法
论文分享 | ACL-20 | CasRel:解决关系重叠问题,大幅提升SOTA分数
论文分享 | ACL-22 | 分治-解开关键词与意图的文本语义匹配
论文分享 | AAAI-22 | 搜索和学习:提高数据到文本生成的语义覆盖率
论文分享 | ACL-20 | FLAT:又快又好的中文实体识别模型
论文分享 | ACL-22 | 通过“召回-再验证”框架回答开放域多答案问题
论文分享 | ACL-22 | PELT:一个简单而有效的用于预训练语言模型的可插拔实体查询表
论文分享 | ICML-22 | 描述并克服多模态深度神经网络学习的贪婪特性
论文分享 | NeurIPS-21 | R-Drop:神经网络的正则化Dropout
论文分享 | SIGIR21 | 面向跨模态检索的动态交互建模
论文分享 | ACL-21 | 结合文本和表格数据的开放域问答
论文分享 | ACL-22 | “开卷有益”同样适用于AI做题家:一种预测时利用训练集检索的简单方法
论文分享 | EMNLP-21 | 不同Transformer版本的效果(关于模型结构)
论文分享 | ACL21 | 利用加权的词袋进行大规模的文本到图像的检索
论文分享 | ACL-22 | 无监督句子表示中的对比学习去偏
论文分享 | ACL-22 | 一种与模型无关的数据操作方法,用于基于角色的对话生成
论文分享 | ACL-22 | 模拟通过用户反馈来学习抽取式问答
论文分享 | ACL-22 | 用于开放域稠密向量检索的文档多角度表示学习
论文分享 | ACL-21 | PRGC:又好又快的关系三元组联合抽取模型
论文分享 | ACL-21 | 信息搜寻型问答的挑战:可回答性预测和段落检索
30分钟吃透Transformer架构!pytorch从0实现! | 代码逐行讲解 | 源码开放 | 高效入门
论文分享 | NAACL-21 | PURE:超级简单的流水线关系抽取方法
论文分享 | ACL-22 | Prompt可以探测预训练的语言模型吗?从因果关系看隐形风险
论文分享 | EMNLP-21 | 句子嵌入的一种简单对比学习方法
论文分享 | ACL-22 | 嘿,AI,你能通过与智能体交谈来解决复杂的任务吗?
论文分享 | ACL-20 | 学习为低资源场景下的对话生成任务定制模型结构
深度学习 | MSAF多尺度注意力特征融合模块 | YOLO可替换连接层 | 提供了2D和3D版本,适用于语义分割,实例分割,目标检测,暗光增强,图像增强等任务
论文分享 | ACL-21 | 因果干预的命名实体识别去偏
论文分享 | ICLR21 | CoCon:文本内容控制的自监督可控文本生成
【2024最新完整版】不愧是李宏毅教授!一口气学完机器学习、深度学习、强化学习、NLP、生成式AI等课程!一套全解决!
论文分享 | ACL-20 | 生成、删除和重写:提高对话生成角色一致性的三阶段框架
论文分享 | SIGIR-22 | 面向视频检索的模态平衡表示
论文分享 | NeurIPS-22 | 学习Dropout:一种训练序列VAEs的对抗性方法
论文分享 | ACL-22 | 基于动量领域对抗的零样本稠密向量检索
论文分享|ICLR-22|微调语言模型是零样本学习者
论文分享|EMNLP-22|代码语言模型是小样本常识学习者
论文分享|ACL-23-Findings|IF 的魔力:研究大型代码语言模型中的因果推理能力
论文分享 | SIGIR-Forum | 重新思考搜索:从浅知识模型中训练领域专家模型
论文分享 | EMNLP-21 | 使用示例捆束来学习阅读理解