V
主页
ICML2022 - Neural Laplace
发布人
This is a quick intro to our ICML 2022 paper “Neural Laplace: Learning diverse classes of differential equations in the Laplace domain” by Samuel Holt, Zhaozhi Qian and Mihaela van der Schaar. Abstract: Neural Ordinary Differential Equations model dynamical systems with ODEs learned by neural networks. However, ODEs are fundamentally inadequate to model systems with long-range dependencies or discontinuities, which are common in engineering and biological systems. Broader classes of differential equations (DE) have been proposed as remedies, including delay differential equations and integro-differential equations. Furthermore, Neural ODE suffers from numerical instability when modeling stiff ODEs and ODEs with piecewise forcing functions. In this work, we propose Neural Laplace, a unified framework for learning diverse classes of DEs including all the aforementioned ones. Instead of modeling the dynamics in the time domain, we model it in the Laplace domain, where the history-dependencies and discontinuities in time can be represented as summations of complex exponentials. To make learning more efficient, we use the geometrical stereographic map of a Riemann sphere to induce more smoothness in the Laplace domain. In the experiments, Neural Laplace shows superior performance in modeling and extrapolating the trajectories of diverse classes of DEs, including the ones with complex history dependency and abrupt changes. 摘要: 神经常微分方程用神经网络学习的常微分方程组来建模动态系统。然而,对于工程和生物系统中常见的具有远程依赖或不连续的系统建模,常微分方程组是根本不够的。更广泛的类型的微分方程(DE)已被提出作为补救措施,包括时滞微分方程和积分-微分方程。此外,在模拟刚性常微分方程组和分段强迫函数常微分方程组时,神经微分方程组存在数值不稳定问题。在这项工作中,我们提出了神经拉普拉斯,一个统一的框架来学习不同类别的DES,包括上述所有类别。我们不是在时间域中对动力学进行建模,而是在拉普拉斯域中对其进行建模,在拉普拉斯域中,时间上的历史依赖性和不连续性可以表示为复指数的和。为了使学习更有效,我们使用黎曼球面的几何赤平映射在拉普拉斯域中诱导更多的光滑性。在实验中,神经拉普拉斯在建模和外推不同类别的DEs的轨迹方面表现出了优越的性能,包括具有复杂历史依赖性和突变的DEs。 Paper: https://arxiv.org/abs/2206.04843 Code: https://github.com/samholt/NeuralLaplace https://github.com/ vanderschaarlab/NeuralLaplace
打开封面
下载高清视频
观看高清视频
视频下载器
因果表征学习 Causal Representation Learning Workshop @ UAI 2022
神经常微分方程入门- Neural Ordinary Differential Equations
因果学习与深度学习 2.2 Neural causal discovery
GNN新的视角 - Graph Neural Networks as Gradient Flows
Cristopher Salvi - 从 Neural SDEs 到 Neural SPDEs, 一个粗糙路径的视角
神经微分方程综述
diffusion生成模型的最优控制视角
Score-based Generative Modeling of Graphs via the System of SDE
通过图曲率理解图神经网络瓶颈和过度挤压问题 Understanding Over-Squashing and Bottlenecks via Curvature
Ravid Ziv - Information Flow in Deep Neural Networks 深度神经网络中的信息流(对偶信息瓶颈,神经正切核)
【多模态机器学习 11-777 2022】卡耐基梅隆—中英字幕
122集付费!CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络一口气全部学完!
OpenAI o1 核心成员 Hyung Won Chung 分享最新内幕 (1/2)
[ICML 2022] 因果公平性分析 Causal Fairness Analysis
研究生如何一周水完一篇SCI论文,从写到投稿的全过程详解!
深度学习的信息瓶颈理论的出现
草履虫都能学会!这可能是B站最全的(Python+机器学习+深度学习)系列课程了,入门巨简单学不会你打我!机器学习/深度学习/人工智能/python学习
Diffusion and Score-Based Generative Models
如何查找数据集并下载,用于自己实验内
Georgios Arvanitidis:从数据中学习的黎曼流形
吹爆!目前B站讲的最透彻的MATLAB教程全套完整版,包含所有干货内容。强烈建议收藏
因果学习与深度学习 1.1 Introduction to causality
因果学习与深度学习 2.3 Causality-inspired ML 完结撒花~
面向图结构数据的机器学习(图机器学习与最优传输)
实现AI系统的组合泛化(包括组件分解思想在diffusion等生成模型的应用) - Shuang Li
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
2023 MIT 因果机器学习课程 IAP course 6.S091 Lecture 1 - Structural Causal Models
物理学启发的图神经网络学习 Physics inspired learning on graphs
刚刚研一,深度学习直接上花书吗?需要先学机器学习吗?感觉东西很多不知道怎么去学,有没有学习路线?
【基于Pytorch从零实现Stable Diffusion模型 by Umar Jamil】
【中文配音】深度学习(3Blue1Brown)
B站强推!Pytorch入门到精通!不愧是2024公认最通俗易懂的【PyTorch】教程(深度学习/PyTorch安装/Pytorch教程/机器学习/神经网络)
大佬重讲OpenCV!这绝对是2024年最好的OpenCV入门教程!不接受任何反驳!
Kartik Ahuja - 当不变性原理遇到信息瓶颈 - 用于解决分布外(OOD)泛化
这才是科研人该学的【时间序列预测模型】教程,一口气学完LSTM、Informer、ARIMA、Pandas、Transformer!通俗易懂!机器学习|深度学习
人工智能基础 | 机器学习入门:Python机器学习算法基础(B站最全完整版)AI/机器学习实战/深度学习/数学基础/计算机视觉/决策树算法
这才是本研博最该看的深度学习入门教程——第8课:如何阅读研究论文/职业建议
流形假设下去噪扩散模型的收敛
【多模态+大模型+知识图谱】2024完整版:这绝对是B站最全的教程,论文创新点终于解决了!——人工智能/深度学习/aigc/计算机视觉
AAAI 2022 Workshop: Trustworthy AI for Healthcare 用于医疗的可信AI