V
主页
基于正向-后向SDEs理论的薛定谔桥（Schrödinger Bridge）似然训练
发布人
Paper: "Likelihood Training of Schrödinger Bridge Using Forward-Backward SDEs Theory" https://www.semanticscholar.org/paper/Likelihood-Training-of-Schr%C3%B6dinger-Bridge-using-Chen-Liu/509e166d5e66df10675a0e15063daad518dcc5ad 摘要：Schrödinger Bridge(SB)是一个熵正则的最优运输问题，与基于评分的生成性模型(SGM)相比，由于其数学上的灵活性，在深度生成性建模中受到了越来越多的关注。 然而，SB的最优化原则是否与深度生成模型的现代训练有关尚不清楚，这通常依赖于构造对数似然对象，这就提出了SB模型作为原则性选择是否适合于生成性应用的问题。 在这项工作中，我们提出了一种新的基于正倒向随机微分方程理论的SB模型似然训练的计算框架--一种出现在随机最优控制中的数学方法，它将SB的最优性条件转化为一组SDE。 重要的是，这些随机微分方程可以用来为某人构建可能性目标，令人惊讶的是，这些目标将特殊情况下的可能性目标概括为特殊情况。 这导致了一种新的优化原则，它继承了相同的SB最优性，但又不损失现代生成性训练技术的应用，我们表明，所产生的训练算法在MNIST、CelebA和CIFAR10上生成逼真的图像时取得了类似的结果。 Abstract: Schrödinger Bridge (SB) is an entropy-regularized optimal transport problem that has received increasing attention in deep generative modeling for its mathematical flexibility compared to the Scored-based Generative Model (SGM). However, it remains unclear whether the optimization principle of SB relates to the modern training of deep generative models, which often rely on constructing log-likelihood objectives.This raises questions on the suitability of SB models as a principled alternative for generative applications. In this work, we present a novel computational framework for likelihood training of SB models grounded on Forward-Backward Stochastic Differential Equations Theory - a mathematical methodology appeared in stochastic optimal control that transforms the optimality condition of SB into a set of SDEs. Crucially, these SDEs can be used to construct the likelihood objectives for SB that, surprisingly, generalizes the ones for SGM as special cases. This leads to a new optimization principle that inherits the same SB optimality yet without losing applications of modern generative training techniques, and we show that the resulting training algorithm achieves comparable results on generating realistic images on MNIST, CelebA, and CIFAR10.
打开封面
下载高清视频
观看高清视频
视频下载器
从去噪扩散模型到扩散薛定谔桥(Schrodinger bridges)-应用
基于薛定谔桥的生成模型 Generative Modeling via Schrodinger Bridge with Prof. Huyen Pham
薛定谔桥（Diffusion Schrodinger Bridge）及与生成模型（流匹配Flow Matching、DDPM、SMLD）
面向图结构数据的机器学习（图机器学习与最优传输）
Riemannian Diffusion Models 黎曼扩散模型 | Chin-Wei Huang and Milad Aghajohari
Diffusion and Score-Based Generative Models
(ICLR 2023) Generative Modelling with Inverse Heat Dissipation
Søren Hauberg - 从数据中学习黎曼流形 Learning Riemannian Manifolds from Data
流形假设下去噪扩散模型的收敛
生成模型和比较成像：软扩散模型（Soft Diffusion）和从损坏的数据中学习 Giannis Daras
分层分枝扩散模型 Hierarchically branched diffusion models
学习等变能量模型（EBM）通过等变斯坦变分梯度下降
An Introduction to Score Based Generative Models 基于分数的生成模型入门
新的生成模型范式 GFlowNet Foundations and Applications in Biological Sequence Design
实现AI系统的组合泛化（包括组件分解思想在diffusion等生成模型的应用） - Shuang Li
Score-based Generative Modeling of Graphs via the System of SDE
GenPhys：从物理过程到生成模型 From Physical Processes to Generative Models | Ziming Liu
diffusion生成模型的最优控制视角
Diffusion models as plug-and-play priors 作为即插即用先验的扩散模型
扩散模型应用于医学 - 磁共振扩散成像（MRI)去噪扩散模型的研究
深度学习的信息瓶颈理论的出现
物理学启发的图神经网络学习 Physics inspired learning on graphs
弱监督学习与因果表征学习
因果表征学习 Causal Representation Learning Workshop @ UAI 2022
神经常微分方程入门- Neural Ordinary Differential Equations
因果学习与深度学习 1.1 Introduction to causality
ICML' 24 | Residual-Conditioned Optimal Transport for Image Restoration
Georgios Arvanitidis：从数据中学习的黎曼流形
Cristopher Salvi - 从 Neural SDEs 到 Neural SPDEs, 一个粗糙路径的视角
深度生成模型系列-3.1 Early energy-based models 早期的能量模型 —Deep Generative & Energy Models
CMU《深度学习系统|CMU 10-414714 Deep Learning Systems 2022 fall》中英字幕
Emile Mathieu -流形标准化流 Manifold normalizing flows
深度生成模型系列-3.3 Early energy-based models 早期能量模型 —Hopfield networks
Kartik Ahuja - 当不变性原理遇到信息瓶颈 - 用于解决分布外（OOD）泛化
深度生成模型系列-1.1 变分自编码器的原理
ICML2022 - Neural Laplace
深度生成模型系列-1.2 变分自编码器的原理
[ACL] An Information-theoretic Approach to Prompt Engineering Without Ground Tru
深度生成模型系列-3.2 Early energy-based models 早期能量模型 —Energy-based models
KDD’24博士论文奖｜Time Compute to Enhance Generative Models' Capabilities
