V
主页
【Proof-Trivial】深度学习的第一性原理 (Deep Networks from First Principles) 【马毅】
发布人
https://www.youtube.com/@communicationsandsignalpro6570 Yi Ma, Professor Electrical Engineering and Computer Sciences University of California, Berkeley Abstract: In this talk, we offer an entirely “white box’’ interpretation of deep (convolution) networks from the perspective of data compression (and group invariance). In particular, we show how modern deep layered architectures, linear (convolution) operators and nonlinear activations, and even all parameters can be derived from the principle of maximizing rate reduction (with group invariance). All layers, operators, and parameters of the network are explicitly constructed via forward propagation, instead of learned via back propagation. All components of so-obtained network, called ReduNet, have precise optimization, geometric, and statistical interpretation. There are also several nice surprises from this principled approach: it reveals a fundamental tradeoff between invariance and sparsity for class separability; it reveals a fundamental connection between deep networks and Fourier transform for group invariance – the computational advantage in the spectral domain (why spiking neurons?); this approach also clarifies the mathematical role of forward propagation (optimization) and backward propagation (variation). In particular, the so-obtained ReduNet is amenable to fine-tuning via both forward and backward (stochastic) propagation, both for optimizing the same objective.
打开封面
下载高清视频
观看高清视频
视频下载器
【Proof-Trivial】统计机器学习【理论基础】与【前沿论文】
2024年最新!适合人工智能专业学习的【机器学习算法】教程,线性回归、逻辑回归、岭回归、决策树、支持向量机SVM、神经网络算法一次带你吃透!
这可能是B站最新的MATLAB教程了!花3小时就能从入门到精通,能听懂人话就行,包教包会!
【Proof-Trivial】【讲座】在线学习与在线凸优化 (Online Learning&Convex Optimization)
【神经网络与深度学习】这真的是不花钱就能看的内容吗?!超优质人工智能课程分享,复旦大学|神经网络与深度学习机器学习。
强推!【CNN卷积神经网络】动画解析!卷积神经网络理论详解与项目实战,模块讲解+项目实战!真的通俗易懂!(人工智能基础、深度学习、机器学习算法、神经网络、AI)
【Proof-Trivial】高维概率及其在数据科学中的应用 (HDP) - Roman Vershynin
【Proof-Trivial】最优传输与平均场博弈 (Optimal transport and Mean field games)【Wuchen Li】
麻省理工【算法导论】原著大佬带你一起啃书!全23讲!99%的程序员都会学!(人工智能、深度学习、机器学习、神经网络、pytorch、AI)
【多模态+大模型+知识图谱】2024完整版:这绝对是B站最全的教程,论文创新点终于解决了!——人工智能/深度学习/aigc/计算机视觉
【Proof-Trivial】深度学习理论讲座 (Deep Learning Theory) 持续更新......
11个小时啃透【机器学习与量化交易】项目实战,保姆级教程!!!(Python/可视化/金融/股票/算法/聚类/人工智能)
【Proof-Trivial】机器学习与数据科学中的【理论】与【算法】【北京大学 文再文】
【200集全】机器学习十大算法,线性回归、逻辑回归、KNN、决策树、K-means、SVM、集成学习、EM算法、GMM高斯混合模型一口气学完,原理+代码讲解
【Proof-Trivial】深度强化学习最近进展 Recent Advances in Deep Reinforcement Learning (2023)
【122集付费!】CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络一口气全部学完!
主打一个硬核!周志华教授巨著西瓜书【机器学习】终于被人用大白话的方式讲解出来,绝对通俗易懂!附读书笔记、电子书分享——
【Proof-Trivial】从高斯过程(GP)到神经正切核(NTK) —— 无限宽神经网络指北
全文解读!看原著大佬李沐如何通俗易懂的解读《动手学深度学习》!视频教程+配套PDF 深度学习神经网络原理与代码实现 (深度学习/神经网络/计算机视觉)
【整整500集】微积分、概率论、泰勒公式、拉格朗日、贝叶斯分析、聚类分析等难懂的数学基础一套课程一网打尽!—人工智能/机器学习/高等数学
【Proof-Trivial】通信与感知 —— 从【压缩采样】到【基于模型的深度学习】
【Proof-Trivial】格林函数 (Green's functions) —— 微分方程专业杀手
【Proof-Trivial】基于梯度的优化方法 —— 随机优化、非凸优化与加速优化 (Michael I. Jordan)
目前B站最完整的【图神经网络从入门到精通】讲解,我居然3小时就学懂了GNN原理模型与应用,纯干货!超详细!看完血赚!神经网络深度学习/AI 人工智能
研一研二必看【Matlab论文复现】,原文解读+代码复现+手推公式,看完这个教程简直醍醐灌顶!!!(人工智能/神经网络/优化算法)
太厉害了 已跪!终于有人能把OpenCV图像处理+YOLO目标检测讲的这么通俗易懂了,计算机视觉付费全套教程无偿分享给大家!-深度学习丨计算机视觉丨YOLO
【Proof-Trivial】黎曼几何【北京大学/北师大 葛剑】
蒲志强:群体智能决策 | 2024人工智能暑期学校
【难懂的数学】傅里叶、拉普拉斯、卷积、欧拉方程、梯度散度、拉格朗日方程、奈奎斯特采样、虚数等抽象难懂数学一网打尽
【Proof-Trivial】哈密顿系统与辛几何
CosyVoice最强声音复刻,只需3秒语音,完美复刻!支持中日英粤语,在线使用,超拟人!
【强推】深度学习话题:对于神经网络,硕士博士不需要弄明白原理,只需要,应用,是这样吗?迪哥精讲五大神经网络一次学懂算法原理与实战
强烈推荐【因果推断与机器学习】克拉克奖Susan Athey公开课及MIT 因果机器学习课程 6.S091!
遥感图像处理实战:基于深度学习实现遥感图像分类,原理详解+项目实战,究极通俗易懂!(深度学习/计算机视觉)
万物皆可GAN!我竟然用1天就学会了【GAN对抗生成网络】,公认的强大且有趣的算法,讲解通俗易懂!机器学习|深度学习|计算机视觉
用AI生成电影解说视频,半年狂赚43W!只要找对方法,其实富起来也就这两年!
写论文找不到创新点,试试这几种神级套路!
论文必看!遗传算法、蚁群算法、粒子群算法、模拟退火算法四大优化算法被一次性讲透了!绝对通俗易懂!
【Proof-Trivial】改变世界的数学(科学)大师(持续更新...)
【Proof-Trivial】流形上的优化 @Nicolas Boumal (ENS→Princeton→EPFL)