V
主页
[HPCA 2023] ViTCoD: 通过专用算法和加速器协同设计实现 Vision Transformer 加速
发布人
Vision Transformers (ViTs) 在各种视觉任务上都取得了最先进的性能。然而,ViT 的自注意力模块仍然可以说是一个主要瓶颈,限制了它们可实现的硬件效率。与此同时,现有的专用于 NLP Transformer 的加速器对于 ViT 来说并不是最佳的。这是因为 ViT 和 NLP Transformers 之间存在很大差异:ViT 具有相对固定数量的输入 token,即使具有固定的稀疏模式,其注意力图也可以被修剪高达 90%;而 NLP Transformer 需要处理不同数量 token 的输入序列,并依赖于每个输入的动态稀疏注意力模式的动态预测来实现适当的稀疏性(例如,>=50%)。为此,我们提出了一种名为 ViTCoD 的专用算法和加速器协同设计框架,用于加速 ViT。具体来说,在算法层面,ViTCoD 对注意力图进行修剪和极化,使其具有更密集或更稀疏的固定模式,以在不损害准确性的情况下规范两个级别的工作负载,大大减少注意力计算,同时为缓解剩余的主要数据移动留出空间;最重要的是,我们进一步集成了一个轻量级且可学习的自动编码器模块,以便能够将占主导地位的高成本数据移动换成更低成本的计算。在硬件层面,我们开发了专用加速器来同时协调强制的密集/稀疏工作负载和编码器/解码器引擎,以提高硬件利用率。大量实验和消融研究证实,ViTCoD 很大程度上降低了主要的数据移动成本,与通用计算平台 CPU、EdgeGPU、GPU 和现有技术相比,速度提升高达 235.3 倍、142.9 倍、86.0 倍、10.1 倍和 6.8 倍Transformer 加速器 SpAtten 和 Sanger 的注意力稀疏度分别为 90%。
打开封面
下载高清视频
观看高清视频
视频下载器
[VLSI 2022] i-FlatCam: 一种用于VR/AR实时高效眼动追踪的253FPS,91.49 uJ/frame 超紧凑型无透镜智能相机
2023HPCA ViTCoD
[ICCAD 2021] G-CoS:针对更高准确性和效率的GNN加速器联合搜索
中英字幕 著名数学家陶哲轩牛津演讲:人工智慧在科学和数学领域的潜力
研一研二必看【Matlab论文复现】,原文解读+代码复现+手推公式,看完这个教程简直醍醐灌顶!!!(人工智能/神经网络/优化算法)
[ICML 2023] Master-ASR:通过模块化学习实现ASR的多语言扩展性和低资源适应性
2023ISCA Gen-NeRF (Lightning Talk)
[NeurIPS 2023] ShiftAddViT:通过混合矩阵乘法/移位/加减实现高效的视觉Transformer
【建议学习】不会安装Steam?不存在的!保姆级Steam安装教程2024版
2023ISCA Instant-3D (Lightning Talk)
B站强推!2024公认最通俗易懂的【Transformer】教程,125集付费课程(附资料)神经网络_注意力机制_深度学习_BERT_大模型
微积分、概率论、泰勒公式、拉格朗日、贝叶斯分析、聚类分析等难懂的数学基础一套课程一网打尽!—人工智能/机器学习/高等数学
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
【Booster】加速器 快速显化
2022HPCA GCN Co-Design (GCoD)
手里有一款需要加速器的国服游戏。。。
人工智能【数学基础】全讲,真“草履虫入门到起飞教学视频”,底层原理出发,全网“最全”“最详细”的人工智能数学基础教学,【整整200集!!!】
2023CVPR Auto-CARD
【8月4日】雷神加速器80000小时大放送,人人可白嫖,周卡月卡等你拿!人人可领790小时!
手游免费加速器推荐
2020ISCA TIMELY
AI行业快报:GPT-4o-large泄露,可能就是GPT-4.5、OpenAI草莓项目、谷歌Gemini Flash大降价!
[ISLPED 2021] DIAN:针对最大DNN效率的可微分加速器-网络联合搜索
太通俗易懂了!一口气学完【卡尔曼滤波算法+目标检测】,存一下吧,比啃书强太多了,草履虫都能轻松学会!计算机视觉|机器学习|深度学习
【官方双语】生动动画演示卷积神经网络训练过程!这可能是最简单易懂的卷积神经网络原理讲解过程!——(人工智能、神经网络、机器学习、Transformer)
吹爆!2024年完整的人工智能入门指南
这绝对是2024年【人工智能入门】天花板教程!清华大佬强力打造,68集带你吃透AI基础知识点!
[抽加速IP](已截止) 都2024了!还在为HYPIXEL高延迟而烦恼?试试这款2024最强加速IP!
2020ISCA SmartExchange
强烈推荐【因果推断与机器学习】克拉克奖Susan Athey公开课及MIT 因果机器学习课程 6.S091!
【魔兽世界】训练YOLO自动钓鱼
【火爆全网】2024最全最新麻省理工学院-深度学习导论 6.S191 深度学习入门
视频已失效
图像分割、目标检测、特征提取、边缘检测、图像滤波、人脸识别...终于有人把OpenCV那些必备的知识点讲透彻了!从入门到图像处理实战!
2022ISCA EyeCoD
2020ICASSP DNN Chip Predictor
狠狠心!!逼自己一周学完这十大机器学习算法你就牛啦~从入门到进阶,从青铜到王者,适宜小白入门学习 ,大佬巩固
2024年完整版人工智能入门指南-人工智能/opencv/pytorch/机器学习/神经网络/计算机视觉
2020NeurIPS FracTrain
2022ICLR PipeGCN