V
主页
手把手实现一个PyTorch!实现PyTorch核心自动微分!【自动微分】系列第六篇
发布人
【自动微分】系列第六篇:一起手把手实现一个PyTorch,了解实现PyTorch核心自动微分机制! 使用操作符重载(OO)编程方式的自动微分,其中数学实现模式则是使用反向模式(Reverse Mode),综合起来就叫做基于反向模式的OO实现AD。通过这个视频,可以了解到PyTorch自动微分是如何实现的,其具体的Tape原理和反向操作。
打开封面
下载高清视频
观看高清视频
视频下载器
想了解自动微分吗?自动微分内容介绍!【自动微分】系列第一篇!
自动微分是怎么实现的?Lib Base、操作符重载、源码转换不懂得快来!【自动微分】系列第四篇!
亲自撸一个正向自动微分的AI框架!【自动微分】系列第五篇
计算图跟微分什么关系?怎么用计算图表示自动微分?AI框架自动微分如何通过计算图来实现?【计算图】系列第三篇
前向微分和正向微分怎么理解?微分方式跟反向传播算法啥关系?【自动微分】系列第三篇
符号微分/数值微分/自动微分区别是什么?【自动微分】系列第二篇
OpenAI o1大模型炸了,数学逻辑推导能力堪比博士! #大模型 #OpenAI
GCC编译过程!优缺点是啥?手把手用GCC编译一个小程序【AI编译器】系列第三篇
自动微分挑战和未来!自动微分易用性和性能应该如何兼容?可微编程是否未来?【自动微分】系列第七篇
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
AI编译器架构发展!三个阶段出现的AI编译器有啥区别?【AI编译器】系列第二篇
AI框架有什么用?没有AI框架写算法又会怎么样?【AI框架基础】系列第二篇
LLVM架构了解下?为什么LLVM这么火?一起初体验实操LLVM【AI编译器】系列第四篇
什么是张量并行?张量并行的数学原理是什么?【分布式并行】系列第03篇
AI框架如何实现分布式训练?SISD和SIMT又是什么?【分布式集群】系列第05篇
推理系统和推理引擎的不同之处在哪?【推理系统】系列02篇
TorchDynamo原理来啦!PyTorch2.0编译新特性哦!【AI编译器之PyTorch】系列04篇
推理系统架构和Trition架构介绍!【推理系统】系列04篇
计算图有哪些内容知识?【计算图】系列第一篇
张量还能自动并行?MindSpore张量自动并行啥原理?【大模型与分布式训练】系列04篇
AI框架之争!都2022年,应该怎么选择AI框架?【AI框架基础】系列第三篇
PyTorch 2.0新特性开撸!图模式打开了潘多拉!【AI编译器之PyTorch】系列01篇
模型剪枝核心原理!模型剪枝算法和流程介绍!Model Pruning深度解析【推理引擎】模型压缩系列第05篇
模型并行的流水线并行来啦!了解下GPipe和PipeDream?【分布式并行】系列第05篇
NVIDIA十代GPU架构回顾(从Turning图灵到Hopper赫柏)【AI芯片】GPU架构03
卷积优化:Im2Col算法和组合优化算法【推理引擎】Kernel优化第03篇
图层IR(Graph IR)是什么?AI编译器如何接收图层IR进行优化呢?【AI编译器】系列之前端优化第02篇
如何对算子IR表示?算子是如何分开计算和调度两部分?【AI编译器】后端优化02篇
函数式编程和声明式编程啥区别?AI到底应该用什么编程范式?【AI框架基础】系列第四篇
LLVM IR详解!LLVM编译器的核心理念来啦!【AI编译器】系列第五篇(上)
AI框架都是怎么表示控制流的?PyTorch和TF对计算图中控制语句如何处理?【计算图】第五篇
向量数据库核心:相似性搜索 #大模型 #向量数据库
AI框架如何实现动静统一?PyTorch和MindSpore动静统一做得如何了?【计算图】第六篇
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
Megatron-LM张量并行的行切分和列切分核心原理 #大模型 #分布式并行 #分布式训练
向量数据库介绍,Vector和Embedding关系 #大模型 #向量数据库
LLVM后端代码生成!了解下基于LLVM的项目!【AI编译器】系列第五篇(下)
NVIDIA十代GPU架构回顾(从Fermi费米到Volta伏特)【AI芯片】GPU架构02
NCCL/HCCL 的基础 MPI 通信介绍!#大模型 #集合通信 #MPI
混合并行?多维并行?有多维度混合在一起并行吗?【分布式并行】系列第06篇