V
主页
231201 国际中文教育中的资源评估——专注于命名实体识别(NER)相关语言资源的质量与适用性分析 王诚文
发布人
转自中央财经大学讲座 讲座内容提要: 在数字化时代的迅猛发展中,语言资源的种类和数量呈现出前所未有的增长。然而,随着这种蓬勃发展,一个明显且迫切的问题浮现出来:这些资源的质量参差不齐。这种质量的不均衡不仅影响了语言资源的有效应用,而且在更广泛的范围内对语言技术产生了深远的影响。 特别是在NLP领域,这个问题表现得尤为突出,诸如GLUE和SuperGLUE之类的评测基准在推出不久后便迅速被先进的模型所攻破。这些模型不仅在技术上取得了突破,甚至在某些情况下超过了人类的表现。深入分析这一现象,可以发现一个关键因素:评测基准数据集本身存在的质量问题。这种质量缺陷不仅限制了模型的有效评估,而且在某种程度上扭曲了我们对人工智能进步的理解。 在这样的背景下,受到人类考试和评测中厂泛使用的经典测量理论(Classical test Theory)的启发,我们构建了一个全新的质量评估框架。这个框架围绕信度、效度和难度三个核心维度构建,旨在为NLP评测数据集提供一个全面而精准的质量评估。以NER数据集为例,进行了一系列的实证研究。这些研究不仅验证了我们评估框架的有效性。而日揭示了如何通过改进数据集的质量来提升整个NLP领域的标准和性能。 主讲人:王诚文 北京语言大学博士,北京大学博士后现为中央财经大学国际文化交流学院助理研究员;主要研究方向为语言工程、语言资源评测和国际中文教育!主持一项中国博士后面上基金项目“自然语言处理评测数据集质量评估研究”,并以主要成员身份参加科技部、国家社科和自科项目若干项。以第一作者身份在国内外自然语言处理领域期刊和会议上发表论文10余篇左右。担任《Frontiers in psychology》和全国计算语言大会 (CCL) 的审稿人。 主持人:饶高琦
打开封面
下载高清视频
观看高清视频
视频下载器
240327 概念转喻:理论发展与前沿动态 魏在江
231207 语言活动的仪式功能:一个文化符号学视角 余红兵
231110 翻译与语言的关系(第三讲) 李德超
231211 分析性外语词汇识别 蒋楠
240328 终结性、动词性量化与完整体的融合 胡旭辉
231128 变异社会语言学的新发展及其对相关研究的启示 田海龙
231128 时空共现存现句信息结构的韵律模式研究 黄彩玉
231201 第一讲构式语法能为对比语言学研究带来哪些启示 Martin Hilpert
231120-231124 概念隐喻及其最新发展
数字资源研究工作坊P2
1217 非语言交际的认知机制 石毓智
230917 国际中文教师的身份认同 丁安琪 王添淼
理论与实践结合视角下的国际中文教学研究 孙雁雁 1211
240307 初级汉语语法教学中的语用视角 吴中伟
231215 动词-构式匹配关系的认知操作研究 程琪龙
240228 CCorpus-Based Language Pedagogy Workshop Series 2024
231202 汉语教学中语言学前沿知识的吸收和转化 施春宏
240516 国学双语中国教育史上的范式革命 赵彦春
231020 颜色词的隐喻多义性 抽象概念与视觉感知关联的实证研究 刘美君
二语学习者汉字认知和学习研究及其教学启示 江新 221208
230301 机器语言能力测评研究及CHATGPT引发的思考
第八组 HSK3第十五课词汇
231107 “有点儿+形容词”的程度语义学分析 郭锐
230317 人工智能大跃进背景下的语言学理论思考 袁毓林
231125 当代中国文学英译与国际传播论坛
240515 词序变异的隐藏规则 Guglielmo Cinque
231213 汉语语法与语法教学学术工作坊
230831 分析性类型与汉语历史语法研究 史文磊
240425 系统功能语言学在翻译研究中的探索与实践 司显柱
231209 反思和革新:新时代国际中文语法的体系构建 李先银
SEGA质性分析研究方法书籍《会话、话语与文档分析》推介会 游蠡
230316 声音的意义及其空间使用 陆正兰
汉语词汇发展与汉字发展的互动关系 王贵元 1209
230510 为什么我们并非面向过去:时空认知与模组分析 张敏
240409 Klaus-Uwe Panther & Linda L. Thornburg 教授 讲座两则
构式与构式研究 张克定
231031 译读赵元任博士论文《连续性方法论的研究》 石锋
231130 Consider the language in speakers and speakers in contexts 林悠然
汉英名词性领属结构语序竞争:认知定势对概念化顺序的压制与反压制 陈忠
完整体类型的类型学思考 陈前瑞