V
主页
京东 11.11 红包
【Proof-Trivial】非凸低秩矩阵估计中的【过参数化】与【全局最优性】
发布人
https://www.youtube.com/watch?v=MnY8Y4Lr2cA Richard Zhang Assistant Professor, Electrical Engineering & Computer Science University of Illinois at Urbana-Champaign 摘要:许多涉及通信和信号处理的重要问题可以归结为对低秩矩阵进行非凸估计/优化。原则上,这些问题可以通过凸松弛可靠地实现全局最优解,但在实际数据集上使用时计算成本过高。实际上,更常见的做法是直接在低秩因子上进行优化,以显著提高可伸缩性,但代价是放弃凸性。不幸的是,像梯度下降这样的大规模算法通常很难收敛到临界点,并且总是有可能因为陷入虚假局部最小值或鞍点而完全失败。在这次演讲中,我描述了秩过度参数化如何克服低秩矩阵估计/优化的非凸性,以可靠且迅速地实现全局最优。首先,过度参数化可用于证明全局最优性或生成逃逸方向。其次,给定足够的过度参数化,非凸性变得良性,即每个局部最小值都是全局最小值,每个鞍点都可以逃逸。第三,一个简单的预处理器可以极大地提高梯度下降的收敛速度,特别是在过度参数化的范围内。最后,我们检查了在医学影像数据集、推荐引擎和神经网络认证任务上获得的大规模计算结果。 主要相关论文: https://arxiv.org/abs/2207.01789 https://arxiv.org/abs/2206.03345(与Gavin Zhang和Salar Fattahi合作) 个人简介:Richard Y. Zhang是伊利诺伊大学香槟分校电气和计算机工程系的助理教授。他在新西兰基督城的坎特伯雷大学获得了电气工程一等荣誉学士学位,并在麻省理工学院获得了电气工程和计算机科学的硕士和博士学位。在加入伊利诺伊大学之前,他曾在加利福尼亚大学伯克利分校担任博士后学者。他的研究兴趣涉及优化、机器学习以及在电力和能源系统中的应用。他尤其关注非凸低秩矩阵优化和凸半定规划的理论基础和实际算法。他是2021年NSF CAREER奖项的获得者。
打开封面
下载高清视频
观看高清视频
视频下载器
【Proof-Trivial】【2023年】最优化:建模、算法与理论 【北京大学 文再文】
【Proof-Trivial】流形上的优化 @Nicolas Boumal (ENS→Princeton→EPFL)
【Proof-Trivial】机器学习与数据科学中的【理论】与【算法】【北京大学 文再文】
【Proof-Trivial】凸优化-Stephen Boyd-Stanford (2023-2024最新课程)
【Proof-Trivial】统计机器学习【理论基础】与【前沿论文】
【Proof-Trivial】基于梯度的优化方法 —— 随机优化、非凸优化与加速优化 (Michael I. Jordan)
【Proof-Trivial】【讲座】在线学习与在线凸优化 (Online Learning&Convex Optimization)
【Proof-Trivial】随机矩阵理论
【Proof-Trivial】最优传输前沿讲座 (Optimal Transport) (更新中...)
【Proof-Trivial】深度神经网络中的【泛化理论】与【归纳偏差】 (Generalization and Inductive Bias)
【Proof-Trivial】【IROS‘22】机器人学习、优化与控制中的几何方法
【Proof-Trivial】矩阵流形上的黎曼优化_简介
【Proof-Trivial】贝叶斯优化与贝叶斯学习 (Bayesian Optimization) 持续更新
【Proof-Trivial】随机梯度下降中的【长尾效应】 (Heavy-tail Phenomenon in SGD)
【Proof-Trivial】高等数理统计(基于测度论) 清华大学
【Proof-Trivial】统计热力学 北京大学
【Proof-Trivial】通信与感知 —— 从【压缩采样】到【基于模型的深度学习】
【Proof-Trivial】深度学习理论讲座 (Deep Learning Theory) 持续更新......
【Proof-Trivial】高维概率及其在数据科学中的应用 (HDP) - Roman Vershynin
【Proof-Trivial】统计推断 (George Casella)【台北大学-李孟峰】【中文】
【Proof-Trivial】哈密顿系统与辛几何
【Proof-Trivial】现代机器学习中的【统计学习理论】
【Proof-Trivial】探索矩阵优化中的几何结构 – Melanie Weber (Harvard University)
【Proof-Trivial】【入门】基于物理信息的神经网络-Physics-Informed Neural Networks (PINNs)
【Proof-Trivial】从理论和实践两个角度审视 Linear Transformers
【Proof-Trivial】最优传输与平均场博弈 (Optimal transport and Mean field games)【Wuchen Li】
【Proof-Trivial】深度强化学习基础 (DRL)——复旦大学 (赵卫东)
【Proof-Trivial】深度学习的第一性原理 (Deep Networks from First Principles) 【马毅】
【Proof-Trivial】【Simons Institute】优化与采样中的几何方法 —— 机器学习理论研究者必刷
【Proof-Trivial】改变世界的数学(科学)大师(持续更新...)
2024最火的两个模型:Informer+LSTM两大时间序列预测模型,论文精读+代码复现,通俗易懂!——人工智能|AI|机器学习|深度学习
【Proof-Trivial】控制理论中的在线优化(Competitive Control via Online Optimization) @加州理工学院
【Proof-Trivial】李理论 (Lie theory) —— 李群、李代数、李括号
【Proof-Trivial】重新审视强化学习理论基础【Nan Jiang @UIUC】
【Proof-Trivial】最优传输中的【几何】与【动力学】(Fields Institute)
【Proof-Trivial】几何视角下的非凸优化问题 —— Suvrit Sra (MIT)
【Proof-Trivial】统计计算 & 高等统计数据分析 & 生物统计 【北京大学】
斯坦福公开课!不愧是计算机大佬李飞飞亲授:计算机视觉实战居然如此通俗易懂!建议收藏!(人工智能、深度学习、机器学习、神经网络、AI)
【Proof-Trivial】从高斯过程(GP)到神经正切核(NTK) —— 无限宽神经网络指北
【Proof-Trivial】信息几何【入门课程】 (Melvin Leok from UCSD)