V
主页
[AI 核心概念及计算] 优化 01 梯度下降(gradient descent)与梯度上升(gradient ascent)细节及可视化分析
发布人
本期 code:https://github.com/chunhuizhang/bilibili_vlogs/blob/master/ml_core/tutorials/01_grad_descent_details_visualization.ipynb 参考:https://realpython.com/gradient-descent-algorithm-python/#momentum-in-stochastic-gradient-descent
打开封面
下载高清视频
观看高清视频
视频下载器
[番外] float16 与 bf16 表示和计算细节
[AI 核心概念及计算] 概率计算 01 pytorch 最大似然估计(MLE)伯努利分布的参数
[优化算法] 梯度下降、共轭梯度、牛顿法、逆牛顿法(BFGS)
【手推公式】可导损失函数(loss function)的梯度下降(GD)、随机梯度下降(SGD)以及mini-batch gd梯度优化策略
[多元变量微分] 方向导数与梯度下降方法(directional derivatives)
[LangChain] 03 LangGraph 基本概念(AgentState、StateGraph,nodes,edges)
[pytorch optim] 优化器相关 AdaGrad(adaptive gradient) 与 RMSprop,自适应梯度
[LLMs 实践] 13 gradient checkpointing 显存优化 trick
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)
[程序员说金融] 等额本息概念及计算(月供还款分析:月供本金,月供利息)
[LLMs 实践] 01 llama、alpaca、vicuna 整体介绍及 llama 推理过程
【flask web 核心】01 认识 request,response 以及 cookie
[pytorch] 激活函数,从 ReLU、LeakyRELU 到 GELU 及其梯度(gradient)(BertLayer,FFN,GELU)
[pytorch] [求导练习] 06 计算图(computation graph)细节之 retain graph(multi output/backwar)
[pytorch 强化学习] 05 迷宫环境(maze environment)策略梯度(Policy Gradient)求解
[LLMs 实践] 02 LoRA(Low Rank Adaption)基本原理与基本概念,fine-tune 大语言模型
[五分钟系列] 01 gensim embedding vectors 距离及可视化分析
[LLMs 实践] 11 gradient accumulation 显存优化 trick
【python 运筹优化】scipy.optimize.minimize 使用
[mcts] 01 mcts 基本概念基本原理(UCB)及两个示例
[动手写神经网络] 05 使用预训练 resnet18 提升 cifar10 分类准确率及误分类图像可视化分析
[小白向-深度学习装机指南] 01 双4090 涡轮版开箱启动 vlog(gpu burn,cpu burn)
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
[pytorch 网络模型结构] batchnorm train 及 eval 模式的差异及(running_mean, running_var)的计算细节
[损失函数设计] 为什么多分类问题损失函数用交叉熵损失,而不是 MSE
【回归分析】R2(coefficient of determination)的定义及计算(SSres、SStot)及图形化解释(graphical expla)
[pytorch distributed] 01 nn.DataParallel 数据并行初步
【计算机视觉】从图像距离(图像相似性)的计算(ahash/dhash/phash/whash)到以图搜索的实现(deep ranking)(一)
[纳什荐书][生成式AI] 01 《GPT图解》导读
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
【手推公式】梯度下降(一阶泰勒展开)的一种直观形式
[LLM & AIGC] 03 openai embedding (text-embedding-ada-002)基于 embedding 的文本语义匹配
[pytorch distributed] 02 DDP 基本概念(Ring AllReduce,node,world,rank,参数服务器)
【统计学】p-value(p值) 与 z-score(标准分/z得分/z分数)定义,计算以及适用场景
【flask web 核心】03 前后端分离(传输 matplotlib 图像到前端),图像编码(base64)与数据传输(render_template)
[pytorch distributed] deepspeed 基本概念、原理(os+g+p)
[pytorch] [求导练习] 05 计算图(computation graph)构建细节之 inplace operation(data与detach)
[程序员说金融] LPR(基准利率)概念(数据获取),你的房贷利率降了吗
[调包侠] 04 使用预训练模型进行图像特征向量提取(image feature extractor,img2vec)并进行相似性计算
[leetcode reviews] 01 计算思维与刷题方法