V
主页
青年科学家专场26-On position embeddings
发布人
王本友,意大利帕多瓦大学博士生,欧盟玛丽居里研究员。将在2022年6月份作为助理教授加入香港中文大学(深圳)数据科学学院。在天津大学受宋大为和张鹏教授指导下获得硕士学位,曾在丹麦哥本哈根大学,加拿大蒙特利尔大学,荷兰阿姆斯特丹大学,华为诺亚方舟实验室,中科院理论物理所,社科院语言所交流访问。在工业应用方面,他2017年开始曾在腾讯全职工作,作为主要算法设计人员,在腾讯云上从零搭建了稳健的智能客服系统。在相对较短的学术生涯,他致力于构建更加鲁棒和智能的自然语言处理系统,兼顾技术合理性和语言学动机。迄今他和他的合作者一起获得了国际信息检索顶级会议SIGIR 2017最佳论文提名奖和国际自然语言处理顶级会议NAACL 2019最佳可解释论文,发表了包括国际顶级会议ICLR/SIGIR/WWW/NAACL/AAAI/IJCAI/CIKM等20余篇。 内容分享简介:transformer广泛使用在nlp任务(特别是预训练模型),甚至开始用到cv领域崭露头角。transformer其结构除去位置编码将不能建模输入的顺序,所以位置编码及其重要。目前很多预训练模型都用不同的位置编码(比如完全可学习的位置编码,三角函数式固定的位置编码,相对位置编码),经验上都表现不错,但是缺少一个统一的框架来理解和评价这些位置编码。我们先从理论角度解释为什么三角函数式位置编码的动机,简单说就是以旋转的方式替换平移,以给词向量注入位置信息。我们最新的工作形式化位置编码的一些原则上的属性(平移不变,单调和对称性),并评估存在的位置编码多少程度上满足这些属性,最后定量评估这些属性如何受益/损害下游任务。我们发现完全可学习的位置编码在整句分类场景效果不错,得益于其能够灵活处理CLS特殊token和正常的位置;相对位置编码在span prediction上效果更佳。
打开封面
下载高清视频
观看高清视频
视频下载器
【AI TIME 青年科学家-7】面向人类和多智能策略的评估-杜雅丽
【AI TIME 青年科学家-9】知识图谱的高校构建与工业应用-张宁豫
【AI TIME-5】论道无人驾驶:近在咫尺还是遥遥无期|杨殿阁、邓志东、楼天成(2019年7月26日)
【AI TIME 青年科学家-25】随机矩阵理论及其在大规模机器学习中的应用-廖振宇
【AI TIME 青年科学家-24】变分连续贝叶斯学习-张强
数学与AI——AI的拓扑几何基础
【AI TIME PhD】MILA DeepGraph实验室专场-1
【AI TIME 青年科学家-6】随机梯度方法的学习理论-雷云文
2022ICLR专场一
【AI TIME PhD】基于信息瓶颈理论的神经元竞争初始化策略-毛海涛
【AI TIME 青年科学家-5】理解自监督学习,知识蒸馏和二值化网络
2022ICLR优秀论文分享专场四
【AI TIME 技术分享】教你1分钟理解1篇科学文献-袁会会
【AI TIME PhD CVPR-5】嘉宾:郭小青、丁天雨、祝澜耘
【AI TIME 青年科学家-15】如何通过极弱监督来完成海量文本的结构化?-商静波
【AI TIME PhD KDD2021-3】嘉宾:任慧敏、魏天心、曲良
【AI TIME PhD IJCAI2021-1】人体姿态估计与运动预测-刘振广
【AI TIME PhD ICML2021-3】嘉宾:陈云路、刘泽春、谢桑
【AI TIME 2020年中国科技峰会系列活动青年科学家沙龙】人工智能学术生态与产业创新-喻纯、车万翔、冯福利、张静、张鹏、周畅...(25号下午场)
Phd Debate——神经网络的后门攻击与防御
【AI TIME PhD KDD2021-5】嘉宾:李之涵、谢明坤
福建舰八万余吨的排水量究竟“余”了多少?
【AI TIME 第十八期】争相步入“情感计算”时代!你上车了吗?-陶建华、贾珈、金琴、宋睿华
【ICLR 2023】联邦学习的泛化分析
2022KDD预讲-8位一作学者在线分享宝藏论文,带你提前解锁KDD优秀论文
【AI TIME PhD AAAI-2】嘉宾:吴桐桐、李娇阳
【AI TIME 2020年中国科技峰会系列活动青年科学家沙龙】人工智能学生态与产业创新-王帅国、刘洋、徐剑军、万怀宇、赵开勇、何中军...(26日上午场)
量子计算
【AI TIME PhD Debate-8】迈向尝试知识的高级语义理解
【AI TIME 2020年中国科技峰会系列活动青年科学家沙龙】人工智能学术生态与产业创新-唐杰、楼天城、刘知远、杨洋、黄高、马雄峰(25号上午场)
【AI TIME-15】AI 精度与隐私的博弈-张钹、高文、杨强、唐杰、刘知远
知识服务创新助力科技战略决策
【AI TIME PhD ICML-4(1)】嘉宾:朱鑫祺、张智杰、陈晓晖、姚骅修
【AI TIME PhD】嘉宾:郑银河、刘劼西
【AI TIME PhD KDD2021-1】嘉宾:王齐童、王涵之、孟垂正
【AI TIMEPhD ICML2021-6(2)】嘉宾:钟方威、孙胜扬
ACL 预讲-1
【AI TIME PhD 知识图谱-4】细粒度实体分类综述-金海龙
【AI TIME PhD】对话系统中的共情表达与情绪支持方法研究-郑楚杰
【AI TIME PhD NeurlPS2020专场-1】嘉宾:坑易澎、周易