V
主页
[pytorch] [求导练习] 05 计算图(computation graph)构建细节之 inplace operation(data与detach)
发布人
本期code:https://github.com/chunhuizhang/bilibili_vlogs/blob/master/learn_torch/grad/05_torch_variables_grad_inplace_operation.ipynb 系列视频:https://space.bilibili.com/59807853/channel/collectiondetail?sid=446911 计算图相关:https://www.bilibili.com/video/BV1hv4y1B7pE/ 参考:https://zhuanlan.zhihu.com/p/38475183
打开封面
下载高清视频
观看高清视频
视频下载器
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[pytorch] [求导练习] 06 计算图(computation graph)细节之 retain graph(multi output/backwar)
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)
[PyTorch] Dropout 基本原理(前向计算与自动求导)
[pytorch] [求导练习] 01 sigmoid 函数自动求导练习(autograd,单变量,多变量 multivariables 形式)
[QKV attention] flash attention(Tiling与重计算),operation fused,HBM vs. SRAM
[pytorch] [求导练习] 02 softmax 函数自动求导练习(autograd,Jacobian matrix)
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader(mnist、fashionmnist、cifar10)
[pytorch 强化学习] 01 认识环境(environment,gym.Env)以及 CartPole-v0/v1 环境
【时空预测】STID模型精讲,通俗易懂,一学就会
15分钟快速上手,如何为RAG选择一款合适的embedding模型?(附教程)
[动手写神经网络] 05 使用预训练 resnet18 提升 cifar10 分类准确率及误分类图像可视化分析
[动手写神经网络] 手动实现 Transformer Encoder
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
[pytorch 强化学习] 06 迷宫环境(maze environment)SARSA(Q-table,value iteration)求解
[LLM & AIGC] 03 openai embedding (text-embedding-ada-002)基于 embedding 的文本语义匹配
[pytorch 强化学习] 11 逐行写代码实现 DQN(ReplayMemory,Transition,DQN as Q function)
[pytorch 强化学习] 10 从 Q Learning 到 DQN(experience replay 与 huber loss / smooth L1)
【国内白嫖】11月15日最新ChatGPT4.0
[pytorch] nn.Embedding 前向查表索引过程与 one hot 关系及 max_norm 的作用
[pytorch 计算图] retain_graph 获取非叶子节点的 grad
[bert、t5、gpt] 05 构建 TransformerDecoderLayer(FFN 与 Masked MultiHeadAttention)
[pytorch 网络模型结构] batchnorm train 及 eval 模式的差异及(running_mean, running_var)的计算细节
[pytorch 强化学习] 03 动手写迷宫环境(maze env)状态及动作策略初步(及动画保存)
【数字图像处理】视频关键帧检测(I-frame,P-frame),ffprobe,视频推荐,video embedding
[LLM && AIGC] 05 OpenAI 长文本(long text,超出 max_tokens)处理及 summary,划分 chunk 处理
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
[pytorch distributed] 05 张量并行(tensor parallel),分块矩阵的角度,作用在 FFN 以及 Attention 上
[AI Agent] llama_index RAG 原理及源码分析
[调包侠] tencent ailab 中文语料 embedding vector(word2vec)
[pytorch distributed] 张量并行与 megtron-lm 及 accelerate 配置
[pytorch 模型拓扑结构] 深入理解 nn.CrossEntropyLoss 计算过程(nn.NLLLoss(nn.LogSoftmax))
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
[diffusion] 生成模型基础 VAE 原理及实现
[五分钟系列] 01 gensim embedding vectors 距离及可视化分析
[不务正业] canvas ctx.getImageData rgba 图像灰度化(gray scale)
[pytorch optim] pytorch 作为一个通用优化问题求解器(目标函数、决策变量)
[AI 核心概念及计算] 优化 01 梯度下降(gradient descent)与梯度上升(gradient ascent)细节及可视化分析
[pytorch] 深入理解 torch.gather 及 dim 与 index 的关系
[pytorch 强化学习] 07 迷宫环境(maze environment)Q Learning(value iteration)求解(策略关闭 off)