V
主页
深度学习优化基础:从泰勒展开到梯度下降法和牛顿法【深度学习中的数学ep4】
发布人
这节课相对轻松一些,一共就3个内容:泰勒展开及其向量矩阵表达、梯度下降法推导、牛顿法推导。一个相对简单的课后思考: 在讲解过程中对泰勒展开的高阶项进行了省略,那在优化算法里,为什么泰勒展开的高阶项可以省略? 二阶优化算法速度很快,但为何在深度学习实践中很少用? 提这两个小问题给刚接触深度学习的同学思考啦~
打开封面
下载高清视频
观看高清视频
视频下载器
最优化理论与方法-第一讲:最优化问题概述
最优化基础---基本概念:凸优化、梯度、Jacobi矩阵、Hessian矩阵
【梯度下降】3D可视化讲解通俗易懂
【深度学习的数学】直击神经网络根本原理 用数学知识打开深度学习的大门(线性代数/函数/向量/导数/SVM/回归分析/数列/贝叶斯公式)
“随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、Adam”,打包理解对梯度下降法的优化
[优化算法] 梯度下降、共轭梯度、牛顿法、逆牛顿法(BFGS)
梯度下降算法简单手推(w,b两参数)
[5分钟深度学习] #01 梯度下降算法
期末考试一眼秒懂——最优化之牛顿法
这绝对是B站梯度下降算法的天花板教程!不接受任何反驳!绝对实用!
第五章 最优化方法(6)最速下降法,牛顿法,阻尼牛顿法
如何理解“梯度下降法”?什么是“反向传播”?通过一个视频,一步一步全部搞明白
第五章 最优化方法(7)共轭梯度法
牛顿法-最优化算法
梯度下降 原理+例子+迭代公式推导
梯度下降法迭代公式推导
经典的“牛顿迭代法”:递归的取切线,求方程近似解
14-5 梯度下降法
无约束最优化方法之牛顿法
共轭梯度法-最优化-期末复习自用版
数值分析-牛顿迭代法
比啃书好太多!【最优化理论完整版教程】不愧是中科大教授!3小时让我清楚了凸优化,简直不要太爽!人工智能|AI|数学基础|最优化算法|机器学习|深度学习|nlp
【优化算法】梯度下降法-总体介绍
最优化方法速成视频-牛顿法题型(期末考试复习自用)
如何通俗地解释梯度下降法
【机器学习】用泰勒公式来理解梯度下降
简单易懂的梯度下降算法讲解,带你简单入门
【规划数学】非线性规划:梯度下降法,库恩塔克条件,机器学习基础,运筹学
数值计算一定要懂的牛顿迭代法
【数值分析】速成牛顿迭代法|考试宝典|一定能听懂!!
第4.3讲-牛顿法(上)
BFGS牛顿法和拟牛顿法
FC层和LN层该如何求导?【深度学习中的数学ep2】
为什么Transformer会好于ResNet,从Lipschitz常量讲起【深度学习中的数学ep10】
从SGD到AdamW - 优化器算法讲解(上) 【深度学习中的数学ep15】
深度学习中的矩阵求导基础【深度学习中的数学ep1】
Transformer主要模块从数学上如何解读?【深度学习中的数学ep9】
【优化算法】经典牛顿法-总体介绍
第4.2讲-最速下降法(上)
深度学习中的凸优化(上)【深度学习中的数学ep11】