V
主页
【ICLR 杰出论文荣誉提名奖】 图同态——评估图神经网络表达能力的定量框架
发布人
设计具有强大表达能力 (expressive power) 的图神经网络 (GNN) 是图学习领域的一个核心问题。到目前为止,GNN表达能力的评估主要通过Weisfeiler-Lehman (WL) 层次结构进行。然而,这种表达性度量方法存在明显的局限性:它本质上是粗糙的、定性的,且无法很好地反映实际需求(例如编码子结构的能力)。本次报告将提出一个新的框架,能够定量研究图神经网络的表达能力,并克服上述所有局限性。具体来言,我们将引入一种基本的表达能力度量,称为同态表达能力,它量化了GNN模型在同态下对图进行计数的能力。同态表达能力提供了一种完整且实用的评估工具:其完整性能够直接比较不同GNN模型的表达能力差异,而其实用性则有助于理解具体的GNN能力,例如子图计数。通过对四类代表性的GNN进行研究,本次报告推导了这些架构在不变 (invariant) 和等变 (equivariant) 情形的同态表达能力,给出了简单、统一且优雅的描述。这些结果为一系列先前的工作提供了新的见解,统一了不同子领域的研究范式,并解决了一些开放性问题。 讲者简介:张博航,北京大学博士,导师为王立威教授。博士期间的研究方向为机器学习中的基础性问题,尤其聚焦图神经网络和Transformer的表达能力。博士期间在NeurIPS、ICLR、ICML三大机器学习国际会议上发表10余篇论文,多篇论文入选口头报告,其中两篇代表性论文荣获ICLR 2023杰出论文奖以及ICLR 2024杰出论文奖提名。曾获字节跳动奖学金、北京市优秀毕业生、北京大学优秀博士论文等荣誉
打开封面
下载高清视频
观看高清视频
视频下载器
【AAAI 2023杰出论文】DropMessage:图神经网络随机删减方法的归并统一
ACL'24杰出论文|LM-Steer: 词向量是语言模型的方向盘
[NAACL杰出论文奖]LM-Infinite: 大语言模型的零样本极限长度推广
【AITIME&WAIC】图神经网络与认知智能前沿技术论坛
MotionGS 和 GaussianFlow 论文插图的一些观察
【ICLR 2023】联邦学习的泛化分析
【ICLR 2023】面向时空异构数据的联邦学习
目前,最满意的本地知识库 Copilot【总第 128 期】
【喂饭教程】ollama+FastGPT快速搭建本地知识库,免费、无限制、保护隐私、无需网络~小白入门必看的保姆级教程!
大模型被实习生投毒如何防?
【全126集】目前B站最系统的Transformer教程!入门到进阶,全程干货讲解!拿走不谢!(神经网络/NLP/注意力机制/大模型/GPT/RNN)
ICLR 2024 预讲会——具身智能专题|清华大学 TEA LAB
ICLR 2023(三)来自清华、CMU、南洋理工、中科大等8位一作作者
【附源码】2024最新53个大模型实战项目!练完即就业Ⅰ基础到框架Ⅰ适合小白入门_LLM_RAG_Agent_ChatGPT_Prompt
【数学视角下的Transformer】不愧是MIT数学系的Philippe Rigollett——自注意力机制、深度神经网络、CV+NLP
6篇NeurIPS'24|浙江大学软件学院专场
EMNLP 2023杰出论文奖-保持知识不变性:反思开放信息抽取的鲁棒性验证
厦门大学在读博士张妍:加权关键词共现网络的潜在空间模型及其在统计学知识发现中的应用
【全374集】2024最新清华内部版!终于把AI大模型(LLM)讲清楚了!全程干货讲解,通俗易懂,拿走不谢!
【Youth PhD Talk】ICLR 预讲会(三)
大模型知识机理与编辑
【AI TIME PhD ICLR】-度量和改进图信息在图神经网络中的使用-侯逸帆
ECCV'24 7篇工作|3D大场景生成、视频问答自动评估、手写文本生成、虚拟试穿等
大模型推荐系统专题-中科大数据科学实验室
从指令微调到数学推理能力,探索大模型潜力-来自清华、上交大、USC、UCB、达摩院的五位一作
MiniLLM、RAM、MERT等大模型前沿分享-来自清华、复旦、曼彻斯特的三位大模型论文一作
ICLR 2024 预讲会 0228 下午
GLM大模型技术前沿与应用探索 世界人工智能大会2023
ICLR 2024 预讲会 0228 上午
CVPR 2024最佳学生论文|Mip-Splatting: Alias-free 3D Gaussian Splatting
【全748集】这绝对是2024最细最适合自学的AI大模型实战教程:提示词+应用框架+知识库+智能体+微调原理讲解+代码解析,草履虫都能轻松听懂!
如何从审稿人的角度,让你的论文脱颖未出?来自清华、宾大、马普所的四位一作真实分享
CodeGeeX:更强大的代码大模型与项目级编程助手
ChatGLM大模型应用构建和指令工程
ICLR 2023(五)来自MIT、港中文、微软、Mila、NUS、UCSB的6位一作作者
【AI TIME 青年科学家-18】Labeling Trick 一个图神经网络多节点表示学习理论-张牧涵
【从零开始打造专属大模型】60小时自学大模型原理基础到实战!提示工程、 LangChain、NLP、神经网络、数据预处理、LLM生成模型
ICLR 2023(六)来自北大、复旦、东京大学、墨尔本大学等6位一作作者
CVPR 2024预讲会|清华大学刘烨斌老师实验室
EMNLP 2024预讲会|10月18日下午场 可解释性、训练与推理、问答、评估等