V
主页
通过图曲率理解图神经网络瓶颈和过度挤压问题 Understanding Over-Squashing and Bottlenecks via Curvature
发布人
Understanding Over-Squashing and Bottlenecks on Graphs via Curvature Paper "Understanding Over-Squashing and Bottlenecks on Graphs via Curvature": https://arxiv.org/abs/2111.14522 摘要: 大多数图神经网络(GNN)使用消息传递范式,其中节点特征在输入图上传播。最近的工作指出,从远处节点流出的信息失真是限制依赖远距离交互的任务的消息传递效率的一个因素。这种现象被称为“过度挤压”,被启发性地归因于图形瓶颈,其中 k-hop 邻居的数量随着 k 而迅速增长。我们提供了GNN中过度挤压现象的精确描述,并分析了它是如何从图中的瓶颈引起的。为此,我们引入了一种新的基于边缘的组合曲率,并证明负弯曲的边缘是导致过度挤压问题的原因。我们还提出并实验测试了一种基于曲率的图重新布线方法,以减轻过度挤压。 Abstract: Most graph neural networks (GNNs) use the message passing paradigm, in which node features are propagated on the input graph. Recent works pointed to the distortion of information flowing from distant nodes as a factor limiting the efficiency of message passing for tasks relying on long-distance interactions. This phenomenon, referred to as 'over-squashing', has been heuristically attributed to graph bottlenecks where the number of k-hop neighbors grows rapidly with k. We provide a precise description of the over-squashing phenomenon in GNNs and analyze how it arises from bottlenecks in the graph. For this purpose, we introduce a new edge-based combinatorial curvature and prove that negatively curved edges are responsible for the over-squashing issue. We also propose and experimentally test a curvature-based graph rewiring method to alleviate the over-squashing.
打开封面
下载高清视频
观看高清视频
视频下载器
【全198集】不愧是吴恩达!一口气讲完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等深度学习神经网络算法,简直不要太爽!
物理学启发的图神经网络学习 Physics inspired learning on graphs
论几何图形神经网络的表达能力
密歇根大学:理解数据:导航统计、科学和AI,Understanding Data: Navigating Statistics, Science, and AI
Score-based Generative Modeling of Graphs via the System of SDE
Ravid Ziv - Information Flow in Deep Neural Networks 深度神经网络中的信息流(对偶信息瓶颈,神经正切核)
对偶信息瓶颈- The Dual Information Bottleneck
深度学习的信息瓶颈理论的出现
秒懂!图神经网络!一口气带你学完(图卷积、PYG、图注意力机制、图相似度)真的简单易懂!建议收藏!
神经常微分方程入门- Neural Ordinary Differential Equations
GNN新的视角 - Graph Neural Networks as Gradient Flows
神经微分方程综述
【122集付费】太全了!一口气学完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络!比刷剧爽多了,草履虫都能学会!
人生苦短,我用知识图谱!国内顶尖学府北大强推的【知识图谱导论】教程分享!博导花半天教你掌握人工智能必备知识图谱课程!_人工智能/机器学习/神经网络/知识图谱
超全超简单!一口气刷完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM七大深度学习神经网络算法!真的比刷剧还爽!(人工智能\机器学习)
动画解析神经网络为什么可以学习?看计算机大佬如何通俗易懂的讲解神经网络底层逻辑原理!带你入门到实战!——(人工智能、深度学习、机器学习、机器学习算法、AI)
几何结构在机器学习和优化中的应用 - Melanie Weber
NLDL2022 Tutorial -深度神经网络中的信息瓶颈方法
ICLR 2023 | ACMP: 具有引力斥力机制的Allen-Cahn消息传递
Kartik Ahuja - 当不变性原理遇到信息瓶颈 - 用于解决分布外(OOD)泛化
2023 MIT 因果机器学习课程 IAP course 6.S091 Lecture 1 - Structural Causal Models
这六大神经网络竟然被他一次讲透彻了!CNN/RNN/GAN/GNN/LSTM/Transformer,草履虫都能看懂的原理与实战!
Hierarchical Graph Pooling using Information Bottleneck
直观理解物理信息神经网络 (PINN)!轻松学会深度学习求解偏微分方程,苏黎世理工大学!
不愧是公认最好的【图神经网络GNN/GCN教程】,从基础到进阶再到实战,一个合集全部到位!-人工智能/神经网络/图神经网络/深度学习。
面向图结构数据的机器学习(图机器学习与最优传输)
Diffusion and Score-Based Generative Models
弱监督学习与因果表征学习
学懂图神经网络,我只用了20小时!GCN、GraphSAGE、GAT、PyG....系列知识点,绝对通俗易懂!
diffusion生成模型的最优控制视角
【全122集】冒死上传!CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络一口气全部学完!
绝对是B站最通俗易懂的智慧交通课程!卡尔曼滤波 +车道线检测+Deepsort+序列图神经网络详解!—自动驾驶、matlab、卡尔曼滤波器
火遍油管!大神把【马尔科夫链】给做成动画了!一步一步动画深入理解原理,从模型理论到核心概念 (附讲解视频+资料)-机器学习算法、马尔科夫链、随机过程
超全超简单!一口气学完线性代数、微积分、统计学、概率论、核函数、贝叶斯、相关分析、聚类分析等人工智能高等数学基础!简直不要太爽!(机器学习/深度学习/神经网络)
An Introduction to Score Based Generative Models 基于分数的生成模型入门
适合新手入门!北大博士导师强推【python+机器学习+深度学习+神经网络】全套课程,共300集,人工智能系列最通俗易懂!pytorch/计算机视觉
从去噪扩散模型到扩散薛定谔桥(Schrodinger bridges)-应用
2024封神之作!【五大神经网络】计算机博士带你一口气学完GNN图神经网络、RNN循环神经网络、Transformer、GAN生成式对抗网络!真的通俗易懂!
深度生成模型系列-4.2 分数匹配与扩散模型 Score-matching & Diffusion Generative Models.
Søren Hauberg - 从数据中学习黎曼流形 Learning Riemannian Manifolds from Data