V
主页
Kartik Ahuja - 当不变性原理遇到信息瓶颈 - 用于解决分布外(OOD)泛化
发布人
尽管理论前景看好,但基于不变性原理的方法在常见的分类任务中失败了。这些失败是因为方法未能捕获不变性吗?或者,不变性本身是不够的吗?为了回答这些问题,我们回顾了回归任务的基本假设,其中基于不变性的方法被证明推广了分布外(OOD)。我们表明,对于分类任务,我们需要对分布移位进行更严格的限制,否则不可能实现面向对象的泛化。此外,即使对分布移位有适当的限制,我们也证明了仅有不变性是不够的。 我们证明了信息瓶颈约束和不变性有助于解决关键故障。 Despite the promising theory, invariance principle-based approaches fail in common classification tasks. Are these failures due to the methods failing to capture the invariance? Or is the invariance itself insufficient? To answer these questions, we revisit the fundamental assumptions for regression tasks, where invariance-based approaches were shown to provably generalize out of distribution (OOD). We show that for classification tasks we need much stronger restrictions on the distribution shifts, or otherwise OOD generalization is impossible. Furthermore, even with appropriate restrictions on distribution shifts in place, we show that the invariance alone is insufficient. We prove that information bottleneck constraint along with invariance helps address key failures.
打开封面
下载高清视频
观看高清视频
视频下载器
深度学习的信息瓶颈理论的出现
对偶信息瓶颈- The Dual Information Bottleneck
Ravid Ziv - Information Flow in Deep Neural Networks 深度神经网络中的信息流(对偶信息瓶颈,神经正切核)
NLDL2022 Tutorial -深度神经网络中的信息瓶颈方法
Hierarchical Graph Pooling using Information Bottleneck
通过图曲率理解图神经网络瓶颈和过度挤压问题 Understanding Over-Squashing and Bottlenecks via Curvature
信息流与表征学习 Information Flow and Deep Representation Learning
[ACL] An Information-theoretic Approach to Prompt Engineering Without Ground Tru
Leon Bottou: Learning Representations Using Causal Invariance 使用因果不变性学习表征
[ICML 2022] 因果公平性分析 Causal Fairness Analysis
实现AI系统的组合泛化(包括组件分解思想在diffusion等生成模型的应用) - Shuang Li
火遍油管!大神把【马尔科夫链】给做成动画了!一步一步动画深入理解原理,从模型理论到核心概念 (附讲解视频+资料)-机器学习算法、马尔科夫链、随机过程
用于医疗数据增强的几何感知变分自动编码器 - Stéphanie Allassonnière
AAAI 2022 Workshop: Trustworthy AI for Healthcare 用于医疗的可信AI
Score-based Generative Modeling of Graphs via the System of SDE
因果学习与深度学习 1.2 Graphical models
哈夫曼编码,霍夫曼编码
深度概率模型-2.1 Deep probabilistic models ll (其中变分近似等方法视角会用于深度生成式模型)
如何理解信息论中的熵???
Diffusion and Score-Based Generative Models
面向图结构数据的机器学习(图机器学习与最优传输)
因果学习与深度学习 1.3 Causal graphs
神经常微分方程入门- Neural Ordinary Differential Equations
深度生成模型系列-1.2 变分自编码器的原理
论几何图形神经网络的表达能力
深度生成模型系列-4.3 分数匹配与扩散模型 Score-matching & Diffusion Generative Models.
深度生成模型系列-1.5 变分自编码器的原理
2023 MIT 因果机器学习课程 IAP course 6.S091 Lecture 1 - Structural Causal Models
2023 MIT 因果机器学习课程 6.S091 Lecture 4 - Causal Structure Learning I
diffusion生成模型的最优控制视角
弱监督学习与因果表征学习
An Introduction to Score Based Generative Models 基于分数的生成模型入门
深度生成模型系列-4.2 分数匹配与扩散模型 Score-matching & Diffusion Generative Models.
扩散模型应用于医学 - 磁共振扩散成像(MRI)去噪扩散模型的研究
2023 MIT 因果机器学习课程 6.S091 Lecture 2 - Policy Evaluation I
我用意念点了一盏灯
深度生成模型系列-1.1 变分自编码器的原理
从去噪扩散模型到扩散薛定谔桥(Schrodinger bridges)-应用
Søren Hauberg - 从数据中学习黎曼流形 Learning Riemannian Manifolds from Data
Yoshua Bengio: Generative Flow Networks | IACS Distinguished Lecturer