V
主页
低比特量化基本原理!量化计算公式和量化的方法!【推理引擎】模型压缩02
发布人
【推理引擎】模型压缩02:低比特量化核心原理!量化计算公式和量化的方法! 模型量化是一种将浮点计算转成低比特定点计算的技术,可以有效的降低模型计算强度、参数大小和内存消耗。尤其是在极低比特(<4bit)、二值网络(1bit)、甚至将梯度进行量化时,带来的精度挑战更大。这里一起去了解下低比特量化的计算公式和基本方法,深入量化的原理。
打开封面
下载高清视频
观看高清视频
视频下载器
知识蒸馏原理介绍!知识从哪里来怎么蒸馏?【推理引擎】模型压缩系列第06篇(上)
模型压缩架构和流程介绍!量化/剪枝/蒸馏/二值化4件套!【推理系统】模型压缩第01篇
训练后量化PTQ深度解读!与量化部署核心原理!【推理引擎】模型压缩系列第04篇
感知量化训练QAT原理!伪量化节点计算方式!【推理引擎】模型压缩系列第03篇
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
Kernel优化架构介绍!【推理引擎】Kernel优化第01篇
为什么AI训练使用GPU而不是CPU?【AI芯片】GPU原理02
卷积优化:Im2Col算法和组合优化算法【推理引擎】Kernel优化第03篇
大模型为什么需要微调?有哪些微调方式?#大模型 #微调
推理引擎架构介绍!MNN、TF Lite、TensorRT介绍!【推理系统】系列05篇(上)
模型剪枝核心原理!模型剪枝算法和流程介绍!Model Pruning深度解析【推理引擎】模型压缩系列第05篇
为什么AI框架都用计算图?什么是计算图?到底计算图有什么用?【计算图】系列第二篇
什么是推理系统?推理有哪些应用?【推理系统】系列01篇
算子融合/算子替换/算子前移优化!【推理引擎】离线优化第03篇
NVIDIA英伟达Tensor Core基本原理(上)【AI芯片】GPU架构04
推理引擎架构!MNN、TensorRT架构介绍!【推理系统】系列05篇(下)
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
推理系统架构和Trition架构介绍!【推理系统】系列04篇
计算图优化策略!【推理引擎】离线优化系列第01篇
向量数据库介绍,Vector和Embedding关系 #大模型 #向量数据库
CNN模型小型化原理!SqueezeNet/ShuffleNet/MobileNet系列介绍!【推理系统】模型小型化第02篇
为什么大模型都用Transformer结构? #AIInfra #大模型 #Transformer
QNNPack之间接优化算法【推理引擎】Kernel优化第05篇
知识蒸馏SOTA算法解读!【推理引擎】模型压缩系列第06篇(下)
分布式训练总结!【大模型与分布式训练】系列第07篇
大模型整体架构、大模型全流程介绍 #大模型 #AI系统
Flash Attention原理!数据布局转换与内存优化!【推理引擎】离线优化第04篇
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
向量数据库的功能、特性、发展和基本原理 #大模型 #向量数据库
分布式训练、分布式集群的基础介绍!【分布式集群】第01篇
大模型是怎么训起来的?分布式并行框架介绍 #大模型 #分布式并行 #训练
如何计算模型参数量?什么是FLOPS和MACC?【推理系统】模型小型化第01篇
推理系统和推理引擎的不同之处在哪?【推理系统】系列02篇
NVIDIA十代GPU架构回顾(从Fermi费米到Volta伏特)【AI芯片】GPU架构02
模型序列化和反序列化原理!【推理引擎】离线转换系列第02篇
常量折叠与冗余节点消除优化!计算图优化Details!【推理引擎】离线优化第02篇
CNN模型小型化算法总结!ESPnet/GhostNet系列介绍!【推理系统】模型小型化第03篇
分布式并行策略基础介绍!【分布式并行】系列第01篇
int8/fp16/bf16/tf32在AI芯片中什么作用?【AI芯片】AI计算体系06