V
主页
什么是FLOPS和MACC?如何计算模型参数量?推理参数指标介绍!【推理系统】模型小型化01
发布人
【推理系统】模型小型化01:什么是FLOPS和MACC?如何计算模型参数量?推理参数指标介绍! 在查看AI加速器和AI加速芯片的时候经常有很多硬件规格指标,这些指标告诉我们芯片在真正对于神经网络或者深度学习的时候理论的峰值计算性能和内存等性能,今天让我们一起以NVIDIA T4作为例子来了解下具体的参数背后的意义。了解完这些信息,更有助于我们去设计小型化模型,让模型保持参数量的前提下,更好地利用AI芯片计算资源。
打开封面
下载高清视频
观看高清视频
视频下载器
模型压缩架构和流程介绍!量化/剪枝/蒸馏/二值化4件套!【推理系统】模型压缩第01篇
LLM面试_模型参数量计算
如何衡量深度学习算法的计算量-常用计算量衡量指标解析(FLOPs、参数量、FPS)
【深度学习分享】自动计算模型参数量和FLOPs
什么是推理系统?推理有哪些应用?【推理系统】系列01篇
Transformer轻量化SOTA模型原理!【推理系统】模型小型化第04篇
低比特量化基本原理!【推理引擎】模型压缩系列第02篇
CNN模型小型化原理!SqueezeNet/ShuffleNet/MobileNet系列介绍!【推理系统】模型小型化第02篇
CNN模型小型化算法总结!ESPnet/GhostNet系列介绍!【推理系统】模型小型化第03篇
语言模型训练的FLOPs演算
[深度学习][目标检测][面试提问]模型的FLOPs
理解大模型的参数和参数量
知识蒸馏原理介绍!知识从哪里来怎么蒸馏?【推理引擎】模型压缩系列第06篇(上)
为什么大模型都用Transformer结构? #AIInfra #大模型 #Transformer
如何知道一个大模型在推理和训练时需要多少显存?
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
感知量化训练QAT原理!伪量化节点计算方式!【推理引擎】模型压缩系列第03篇
推理系统和推理引擎的不同之处在哪?【推理系统】系列02篇
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
AI芯片涉及哪些知识?【AI芯片】内容简介
离线转换模块架构与流程!【推理引擎】离线转换系列第01篇
推理系统架构和Trition架构介绍!【推理系统】系列04篇
深度学习小实验-卷积家族(fps,flops,param)对比实验
Kernel优化架构介绍!【推理引擎】Kernel优化第01篇
分布式训练、分布式集群的基础介绍!【分布式集群】第01篇
大模型整体架构、大模型全流程介绍 #大模型 #AI系统
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
推理引擎架构!MNN、TensorRT架构介绍!【推理系统】系列05篇(下)
大模型是怎么训起来的?分布式并行框架介绍 #大模型 #分布式并行 #训练
用torchsummary包简单查看pytorch模型参数量
AI编译器后端优化来啦!AI编译器后端架构!【AI编译器】后端优化01篇
从CPU发展和组成看并行架构!【AI芯片】芯片基础01
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
AI芯片除硬件本身外,还要关注什么?【AI芯片】黄金十年
分布式并行策略基础介绍!【分布式并行】系列第01篇
AI编译器前端"图层优化"内容概览!!【AI编译器】系列之前端优化第01篇
编译器和解释器啥区别?AOT和JIT啥区别?Pass和IR又是什么?【AI编译器】系列01篇
PyTorch 2.0新特性开撸!图模式打开了潘多拉!【AI编译器之PyTorch】系列01篇
AI框架内容介绍:AI框架基础、AI框架之争、AI编程范式!【AI框架基础】系列第一篇
ChatGPT狂飙:GPT家族详解!【ChatGPT原理】第01篇