V
主页
【Proof-Trivial】当【深度学习】遇见【稀疏正则化】 —— 信号处理视角
发布人
https://www.youtube.com/@communicationsandsignalpro6570 Rob Nowak Professor, Electrical and Computer Engineering University of Wisconsin-Madison Keith and Jane Nosbusch Professorship in Electrical and Computer Engineering University of Wisconsin-Madison Abstract: Deep learning has been wildly successful in practice and most state-of-the-art artificial intelligence systems are based on neural networks. Lacking, however, is a rigorous mathematical theory that adequately explains the amazing performance of deep neural networks. In this talk, I present a relatively new mathematical framework that provides the beginning of a deeper understanding of deep learning. This framework precisely characterizes the functional properties of trained neural networks. The key mathematical tools which support this framework include transform-domain sparse regularization, the Radon transform of computed tomography, and approximation theory. This framework explains the effect of weight decay regularization in neural network training, the importance of skip connections and low-rank weight matrices in network architectures, the role of sparsity in neural networks, and explains why neural networks can perform well in high-dimensional problems. This talk is based on joint work with Rahul Parhi, Joe Shenouda, and Liu Yang. Bio: Robert Nowak holds the Keith and Jane Nosbusch Professorship in Electrical and Computer Engineering at the University of Wisconsin-Madison, where he directs the AFOSR/AFRL University Center of Excellence on Data Efficient Machine Learning. His research focuses on machine learning, optimization, and signal processing. He serves on the editorial boards of the SIAM Journal on the Mathematics of Data Science and the IEEE Journal on Selected Areas in Information Theory.
打开封面
下载高清视频
观看高清视频
视频下载器
【Proof-Trivial】数学视角下的Transformer【MIT数学系-Philippe Rigollett】
【Proof-Trivial】深度学习的第一性原理 (Deep Networks from First Principles) 【马毅】
【Proof-Trivial】黎曼几何【北京大学/北师大 葛剑】
劝退强化学习？这是我见过最好的强化学习导论多伦多大学精品课程！简直就是小白救星！—深度强化学习/人工智能/神经网络/多智能体强化学习
【Proof-Trivial】【2023年】最优化：建模、算法与理论 【北京大学 文再文】
【多模态+大模型+知识图谱】2024完整版：这绝对是B站最全的教程，论文创新点终于解决了！——人工智能/深度学习/aigc/计算机视觉
斯坦福吴恩达大佬巅峰之作！目前讲解最全面的【深度学习】入门到精通教程终于被人整理出来了！
B站强推！2024公认最通俗易懂的【Transformer】教程，125集付费课程（附资料）神经网络_注意力机制_深度学习_BERT_大模型
【Proof-Trivial】【入门】基于物理信息的神经网络-Physics-Informed Neural Networks (PINNs)
2024最火两大模型：Informer+ARIMA 两大时间序列预测模型，论文精读+代码复现，究极通俗易懂！有手就能跑通！——人工智能|AI|机器学习|深度学习
【Proof-Trivial】量子信号处理 (Quantum Signal Processing)
纯干货无废话！这绝对是我在B站看过最全最详细的【PyTorch+NLP】教程！3小时学会基于pytorch的深度学习自然语言处理，草履虫都能看懂！
【Proof-Trivial】高维概率及其在数据科学中的应用 (HDP) - Roman Vershynin
【强到离谱】很多硕士，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
【Proof-Trivial】深度神经网络中的【泛化理论】与【归纳偏差】 (Generalization and Inductive Bias)
【Proof-Trivial】深度学习中的【良性过拟合】 (Benign Overfitting)
【全195集】禁止自学走弯路！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！
【Proof-Trivial】通信与感知 —— 从【压缩采样】到【基于模型的深度学习】
【大神带你一起啃书】学习PyTorch的首选教程书，一行行手敲代码带你进行深度学习实战！-人工智能_机器学习_神经网络
强推！终于等到李宏毅【机器学习+深度学习】完整版教程分享！从理论讲解到实战演练，全程干货讲解，真的太适合入门学习了！—人工智能_机器学习_深度学习_神经网络
【肝疯了】全B站最详细的【如何寻找论文创新点】教程，一年水6篇SCI不是梦想！存下吧，比自己看一百篇文献有用多了！（人工智能/机器学习/深度学习）
不愧是李宏毅！入门到精通一口气讲透CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络算法！简直不要太爽！
研一研二必看【Matlab论文复现】，原文解读+代码复现+手推公式，看完这个教程简直醍醐灌顶！！！（人工智能/神经网络/优化算法）
【Proof-Trivial】泛函分析保姆级入门教程 (Functional Analysis)
【Proof-Trivial】机器学习与数据科学中的【理论】与【算法】【北京大学 文再文】
【Proof-Trivial】统计机器学习【理论基础】与【前沿论文】
【Proof-Trivial】数学基础自学路线
【2024PyTorch自学指南】PyTorch深度学习快速入门，每天两小时，零基础也能轻松学会，写出自己的代码！-人工智能、深度学习、机器学习、神经网络
一次刷个够！麻省理工【数学课程大合集】！满足你对人工智能高等数学基础所有的需求！（线性代数/微积分/概率论/离散数学/机器学习/深度学习/Python编程）
【Proof-Trivial】哈密顿系统与辛几何
计算机专业这样学！暑假一口气卷完必掌握的十六大【高等数学】基础，零基础也能轻松学的大白话教程！——人工智能、机器学习、深度学习
全文解读！看原著大佬李沐如何通俗易懂的解读《动手学深度学习》！视频教程+配套PDF 深度学习神经网络原理与代码实现 （深度学习/神经网络/计算机视觉）
【Proof-Trivial】高等数理统计(基于测度论) 清华大学
主打一个硬核！周志华教授巨著西瓜书【机器学习】终于被人用大白话的方式讲解出来，绝对通俗易懂！附读书笔记、电子书分享——
超全超简单！入门到进阶一口气学完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等七大深度学习神经网络算法！真的比啃书好太多！
【难懂的数学】傅里叶、拉普拉斯、卷积、欧拉方程、梯度散度、拉格朗日方程、奈奎斯特采样、虚数等抽象难懂数学一网打尽
【Proof-Trivial】最优传输前沿讲座 (Optimal Transport) (更新中...)
完结撒花！纯手搓Transformer代码最后一期，别再说学不会了！-神经网络/深度学习/pytorch
这本信号处理与机器学习书让我轻松掌握了如何使用机器学习方法来处理各种信号数据！
【Proof-Trivial】流形入门 (Manifolds)
