V
主页
模型序列化和反序列化原理,离线转换模块的格式!推理引擎离线转换模块!【推理引擎】离线转换与优化02
发布人
【推理引擎】离线转换与优化02:模型序列化和反序列化原理,离线转换模块的格式!推理引擎离线转换模块! 模型序列化是模型部署的第一步,如何把训练好的模型存储起来,以供后续的模型预测使用,是模型部署的首先要考虑的问题。无论是序列化与反序列的目的是将数据、模型长久的保存,让我们一起了解下模型序列化和反序列化原理,离线转换模块的格式!
打开封面
下载高清视频
观看高清视频
视频下载器
低比特量化基本原理!【推理引擎】模型压缩系列第02篇
Flash Attention原理!数据布局转换与内存优化!【推理引擎】离线优化第04篇
如何自定义计算图IR?【推理引擎】离线转换系列第03篇
离线转换模块架构与流程!【推理引擎】离线转换系列第01篇
推理系统和推理引擎的不同之处在哪?【推理系统】系列02篇
计算图优化策略!【推理引擎】离线优化系列第01篇
模型压缩架构和流程介绍!量化/剪枝/蒸馏/二值化4件套!【推理系统】模型压缩第01篇
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
知识蒸馏原理介绍!知识从哪里来怎么蒸馏?【推理引擎】模型压缩系列第06篇(上)
推理系统架构和Trition架构介绍!【推理系统】系列04篇
感知量化训练QAT原理!伪量化节点计算方式!【推理引擎】模型压缩系列第03篇
CNN模型小型化原理!SqueezeNet/ShuffleNet/MobileNet系列介绍!【推理系统】模型小型化第02篇
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
Kernel优化架构介绍!【推理引擎】Kernel优化第01篇
常量折叠与冗余节点消除优化!计算图优化Details!【推理引擎】离线优化第02篇
卷积优化:Im2Col算法和组合优化算法【推理引擎】Kernel优化第03篇
QNNPack之间接优化算法【推理引擎】Kernel优化第05篇
模型剪枝核心原理!模型剪枝算法和流程介绍!Model Pruning深度解析【推理引擎】模型压缩系列第05篇
卷积优化:卷积操作基础原理!【推理引擎】Kernel优化第02篇
算子融合/算子替换/算子前移优化!【推理引擎】离线优化第03篇
模型转换技术细节!【推理引擎】离线转换系列第04篇
推理引擎架构!MNN、TensorRT架构介绍!【推理系统】系列05篇(下)
知识蒸馏SOTA算法解读!【推理引擎】模型压缩系列第06篇(下)
什么是推理系统?推理有哪些应用?【推理系统】系列01篇
卷积优化:Winograd算法【推理引擎】Kernel优化第04篇
推理引擎内存布局方式【推理引擎】Kernel优化第06篇
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
CNN模型小型化算法总结!ESPnet/GhostNet系列介绍!【推理系统】模型小型化第03篇
云侧和端侧推理方式的特点和区别!【推理系统】系列03篇
Transformer轻量化SOTA模型原理!【推理系统】模型小型化第04篇
AI集群的软硬件通信:从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理!【分布式集群】系列第03篇
图层IR(Graph IR)是什么?AI编译器如何接收图层IR进行优化呢?【AI编译器】系列之前端优化第02篇
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
如何计算模型参数量?什么是FLOPS和MACC?【推理系统】模型小型化第01篇
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
算子优化的指令和存储优化!【AI编译器】后端优化05篇
int8/fp16/bf16/tf32在AI芯片中什么作用?【AI芯片】AI计算体系06
常量折叠原理!AI编译器常量折叠跟传统编译器什么关系?计算图也需要常量折叠!【AI编译器】系列之前端优化第06篇
TorchScript 解读!图模式的第一次尝试!静态图+JIT编译器!【AI编译器之PyTorch】系列02篇
深入NVLink原理:内部结构与组网拓扑【AI芯片】GPU详解05