V
主页
AI框架如何实现动静统一?PyTorch和MindSpore动静统一做得如何了?【计算图】第六篇
发布人
AI系统之【计算图】第六篇:AI框架如何实现动静统一?PyTorch和MindSpore动静统一做得如何了? 随着神经网络算法研究的发展,一些新颖的神经网络结构很难自然地表示为纯数据流图。为了能够支持如自定义循环神经网络这类计算过程中天生就含有控制流结构的神经网络计算,主流深度学习框架不约而同的引入了对动态控制流的支持。本文内容主要是AI系统之【计算图】第五篇的续集,从控制流到动静统一。
打开封面
下载高清视频
观看高清视频
视频下载器
分布式训练、分布式集群的基础介绍!【分布式集群】第01篇
为什么AI框架都用计算图?什么是计算图?到底计算图有什么用?【计算图】系列第二篇
AI集群的软硬件通信:从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理!【分布式集群】系列第03篇
AI编译器后端优化来啦!AI编译器后端架构!【AI编译器】后端优化01篇
常量折叠原理!AI编译器常量折叠跟传统编译器什么关系?计算图也需要常量折叠!【AI编译器】系列之前端优化第06篇
TorchScript 解读!图模式的第一次尝试!静态图+JIT编译器!【AI编译器之PyTorch】系列02篇
计算图跟微分什么关系?怎么用计算图表示自动微分?AI框架自动微分如何通过计算图来实现?【计算图】系列第三篇
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
图层IR(Graph IR)是什么?AI编译器如何接收图层IR进行优化呢?【AI编译器】系列之前端优化第02篇
AI编译器后端算子优化来啦!算子优化手工方式!【AI编译器】后端优化03篇
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
AI编译器的前端优化/图优化Pass的顺序怎么排?【AI编译器】系列之前端优化第10篇
PyTorch 2.0新特性开撸!图模式打开了潘多拉!【AI编译器之PyTorch】系列01篇
int8/fp16/bf16/tf32在AI芯片中什么作用?【AI芯片】AI计算体系06
为什么需要AI编译器?跟传统编译器啥关系吗?【AI编译器】系列第一篇
计算图有哪些内容知识?【计算图】系列第一篇
AI框架都是怎么表示控制流的?PyTorch和TF对计算图中控制语句如何处理?【计算图】第五篇
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
TorchDynamo原理来啦!PyTorch2.0编译新特性哦!【AI编译器之PyTorch】系列04篇
编译器公共子表达式消除的方法!AI编译器消除公共子表达式【AI编译器】系列之前端优化第07篇
计算图优化策略!【推理引擎】离线优化系列第01篇
分布式训练总结!【大模型与分布式训练】系列第07篇
算子融合了解下!AI编译器如何实现算子融合的?【AI编译器】系列之前端优化第03篇
计算图未来将会走向何方?【计算图】第七篇
PyTorch静态图的TorchFX和Lazy Tensor特性解读!【AI编译器之PyTorch】系列03篇
AI框架有什么用?没有AI框架写算法又会怎么样?【AI框架基础】系列第二篇
编译器死代码消除的原理!AI编译器死代码消除【AI编译器】系列之前端优化第08篇
Flash Attention原理!数据布局转换与内存优化!【推理引擎】离线优化第04篇
AI编译器内存优化算法!动态内存和静态内存区别!【AI编译器】前端优化第05篇
AI框架如何实现分布式训练?SISD和SIMT又是什么?【分布式集群】系列第05篇
推理系统架构和Trition架构介绍!【推理系统】系列04篇
QNNPack之间接优化算法【推理引擎】Kernel优化第05篇
AI编译器前端"图层优化"内容概览!!【AI编译器】系列之前端优化第01篇
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
如何对算子IR表示?算子是如何分开计算和调度两部分?【AI编译器】后端优化02篇
AI框架内容介绍:AI框架基础、AI框架之争、AI编程范式!【AI框架基础】系列第一篇
算子优化的指令和存储优化!【AI编译器】后端优化05篇
如何自定义计算图IR?【推理引擎】离线转换系列第03篇
AI集群机器间是怎么通信?通信原语是个什么玩意?【分布式集群】系列第04篇
感知量化训练QAT原理!伪量化节点计算方式!【推理引擎】模型压缩系列第03篇