语言模型的训练、评测与应用|北京大学张铭教授Dlib团队

发布人

讲者及报告简介

讲者：袁野同学来自北京大学计算机学院，目前在读博士三年级，师从北京大学张铭教授。研究方向主要为大模型的训练与微调加速、大模型的评测等，同时也对结合大模型的数学自动定理证明领域感兴趣。
报告题目：语言模型的高效预训练 &amp; 多模态模型的评测
报告简介：本次报告袁野同学将介绍最近分别发表于AAAI2024与ICLR2024的两篇工作。在AAAI2024发表的Preparing Lessons for Progressive Training on Language Models工作提出了一种渐进预训练策略的改进，能够使模型的预训练过程获得大幅加速。在ICLR2024发表的Measuring Vision-Language STEM Skills of Neural Models工作中，作者提出了一个具有挑战性的细粒度的多模态模型评测数据集。

讲者： 杨君维同学来自北京大学计算机学院，目前在读博士二年级，师从北京大学张铭教授。研究方向主要为大规模预训练模型和生物医学的交叉应用。
报告题目：大语言模型对科学发现的负面影响
报告简介：
大语言模型的强大生成能力已经使诸多科学研究从中获利，但其负面影响尚缺乏系统性地研究。本次报告中，杨君维同学将介绍如何以知识图谱为媒介，探究大语言模型对科学发现的影响。研究结果表明，对于包含三百万篇科学论文的数据库，只需要通过特定方式混入一篇由大语言模型生成的有害文章，就能有效扰乱基于该数据库构建的科学知识图谱，进而使得下游的科学发现呈现出攻击者所期望的结果。本次报告旨在通过这一现象展示大语言模型滥用和非同行评审文章滥用能带来的确切负面影响，进而强调负责任和值得信赖的科学知识发现的重要性。

讲者: 刘成武同学来自北京大学计算机学院，目前在读博士一年级，师从北京大学张铭教授。研究方向主要为结合大语言模型的自动定理证明和大语言模型的数学推理。
报告题目：搭建形式化与非形式化数学的桥梁
报告简介：在大型语言模型崛起之后，数学推理被视为通向通用人工智能的关键能力之一。形式化数学具有精确性和可由程序验证的特点，因此受到学术界的广泛关注。然而，目前形式化数学的自动化程度较低，形式化语言的表达不够灵活，导致形式化数学数据相对稀缺且专家标注成本高昂。本报告旨在介绍我们基于自动形式化的解决方案，以建立形式化与非形式化数学之间的桥梁，从而突破数据稀缺的困境。

讲者：袁境阳同学来自北京大学计算机学院，目前在读博士二年级，师从北京大学张铭教授。研究方向主要为图神经网络和动力学系统。
报告题目：带有噪声标签下的图迁移学习
报告简介：图神经网络（GNN）由于在各种图机器学习任务中表现出色而备受关注。然而，大多数基于GNN的方法都是使用含人工标签的基准数据集进行检验的，这导致在实际图学习场景中表现不佳。本次报告对这一问题进行阐述，并介绍我们的解决方案。

打开封面下载高清视频观看高清视频视频下载器