V
主页
Transformer模型小型化原理!MobileFormer/EfficientFormer结构介绍!【推理系统】模型小型化04
发布人
【推理系统】模型小型化04:Transformer模型小型化原理!MobileFormer/EfficientFormer结构介绍! 轻量级网络的核心是在尽量保持精度的前提下,从体积和速度两方面对网络进行轻量化改。本视频内容主要是对Transformer的模型小型化进行介绍,特别是MobileNet/EfficientNet + Transformer 的结构轻量化模型设计,最后对轻量化网络模型的演进点进行总结。
打开封面
下载高清视频
观看高清视频
视频下载器
模型压缩架构和流程介绍!量化/剪枝/蒸馏/二值化4件套!【推理系统】模型压缩第01篇
感知量化训练QAT原理!伪量化节点计算方式!【推理引擎】模型压缩系列第03篇
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
低比特量化基本原理!【推理引擎】模型压缩系列第02篇
推理系统架构和Trition架构介绍!【推理系统】系列04篇
Flash Attention原理!数据布局转换与内存优化!【推理引擎】离线优化第04篇
推理系统和推理引擎的不同之处在哪?【推理系统】系列02篇
CNN模型小型化算法总结!ESPnet/GhostNet系列介绍!【推理系统】模型小型化第03篇
CNN模型小型化原理!SqueezeNet/ShuffleNet/MobileNet系列介绍!【推理系统】模型小型化第02篇
知识蒸馏原理介绍!知识从哪里来怎么蒸馏?【推理引擎】模型压缩系列第06篇(上)
模型剪枝核心原理!模型剪枝算法和流程介绍!Model Pruning深度解析【推理引擎】模型压缩系列第05篇
如何计算模型参数量?什么是FLOPS和MACC?【推理系统】模型小型化第01篇
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
如何自定义计算图IR?【推理引擎】离线转换系列第03篇
推理引擎架构!MNN、TensorRT架构介绍!【推理系统】系列05篇(下)
卷积优化:Im2Col算法和组合优化算法【推理引擎】Kernel优化第03篇
知识蒸馏SOTA算法解读!【推理引擎】模型压缩系列第06篇(下)
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
卷积优化:卷积操作基础原理!【推理引擎】Kernel优化第02篇
QNNPack之间接优化算法【推理引擎】Kernel优化第05篇
为什么AI训练使用GPU而不是CPU?【AI芯片】GPU原理02
卷积优化:Winograd算法【推理引擎】Kernel优化第04篇
云侧和端侧推理方式的特点和区别!【推理系统】系列03篇
大模型为什么需要微调?有哪些微调方式?#大模型 #微调
计算图优化策略!【推理引擎】离线优化系列第01篇
深度学习计算模式是什么?【AI芯片】AI计算体系02
什么是推理系统?推理有哪些应用?【推理系统】系列01篇
Kernel优化架构介绍!【推理引擎】Kernel优化第01篇
AI 计算体系到底是什么?【AI芯片】AI计算体系07
大模型推理需要多大的显存? #大模型 #AI系统 #推理 #显存
图层IR(Graph IR)是什么?AI编译器如何接收图层IR进行优化呢?【AI编译器】系列之前端优化第02篇
AI芯片涉及哪些知识?【AI芯片】内容简介
集合通信的操作/原语/算子是什么? #大模型 #通信 #集合通信
离线转换模块架构与流程!【推理引擎】离线转换系列第01篇
为什么AI框架都用计算图?什么是计算图?到底计算图有什么用?【计算图】系列第二篇
NVIDIA十代GPU架构回顾(从Fermi费米到Volta伏特)【AI芯片】GPU架构02
Google TPUV1 脉动阵列原理【AI芯片】TPU系列02
模型序列化和反序列化原理!【推理引擎】离线转换系列第02篇
大模型训练的存储优化方案(下) #大模型 #AI系统 #数据存储 #AI集群