V
主页
京东 11.11 红包
TVM的量化框架(二)
发布人
模型压缩是减小深度学习模型的尺寸与计算需求,提高模型在资源有限环境下的适用性的技术。通常的压缩方法有方法如量化、剪枝和知识蒸馏。模型量化将深度学习模型的权重和激活值从高精度浮点转换为低精度定点表示,通过减少数据位数,降低模型的存储与计算成本,减轻部署压力。训练后量化对已经完成训练的网络模型进行量化,是推理引擎与深度学习编译器常用的量化技术。深度学习编译器TVM作为端到端部署的工具,主要解决将各种深度学习训练框架的模型部署到不同硬件所面临的问题,其内部同样包含用于模型量化的相关模块。本系列我们将会带领大家探索TVM的训练后量化的基本流程。 本次视频主要介绍TVM量化流程中相关Pass的第一个pass计算图标注annotate。
打开封面
下载高清视频
观看高清视频
视频下载器
TVM的量化框架(一)
TVM的量化框架(三)
无数据模型量化论文分享:ZeroQ
深度学习模型压缩概述
Astitch:机器学习访存密集计算编译优化框架
深度学习框架发展(三)
LLVM编译器入门(一):LLVM整体设计
图算融合论文分享:Apollo
算子调度优化论文分享:Rammer
深度学习框架发展(二)
深度学习模型压缩方法(二):剪枝
深度学习框架发展(一)
TVM自动调度算法AutoTVM
ANSOR:为深度学习生成高性能张量程序
ANSOR 优化算子代码解读(一)
论文分享:新型注意力算法FlashAttention
【整整198集】这太完整了!python金融分析与量化交易实战课程,全程干货无废话,入门到精通一步到位,(数据挖掘分析/大数据/金融/股票/)
【B站首推】2小时掌握ChatGLM-4本地部署-微调-实战,原理讲解+代码解析,超详细,LLM_大模型_微调_-Agent_RAG
深度学习编译发展概述
毕业论文终于有救了!这绝对是B站最全的【多模态+大模型+知识图谱】教程,轻松搞定大小论文创新点!!人工智能/深度学习/机器学习
CNN-卷积神经网络(一)
【基于PyTorch的量化技术详解 by Umar Jamil】
自编教材分享:第一章—程序性能优化的意义(一)
自编教材分享:第十章—CUDA程序优化(一)
人工智能先学什么框架?公认讲的最好的【Pytorch和TensorFlow全套教程】一网打尽,完爆同级别所有教程!人工智能/深度学习/机器学习
深度学习硬件平台
深度学习编译系统概述
深度学习的产生与发展
自动并行论文分享:CoCoNet
ANSOR优化算子代码解读(四)
ANSOR优化算子代码解读(三)
深度学习自动微分(一):什么是自动微分
MIT《TinyML和高效深度学习计算L5 - 量化|EfficientML.ai Course 2024 Fall MIT 6.5940》豆包
全场景AI框架昇思MindSpore
数据并行通信优化论文分享:MG-WFBP
全球100位伟大女性之一李飞飞演讲:我为什么投身AI事业?
自动并行—并行划分
HIP代码自动生成工具C2HIPC
自编教材分享:第七章—数据级并行(一)
动态shape深度学习算子自动调优论文分享:DietCode