V
主页
[NeurIPS 2023] ShiftAddViT:通过混合矩阵乘法/移位/加减实现高效的视觉Transformer
发布人
视觉Transformer (ViT) 表现出了令人印象深刻的性能,并已成为多个视觉任务的统一骨干网络。 然而,由于密集乘法,ViT 中的注意力机制和多层感知器(MLP)都不够有效,导致训练和推理成本高昂。 为此,我们建议使用乘法原语的混合重新参数化预训练的 ViT,例如按位移位和加法,以实现一种新型乘法简化模型,称为 ShiftAddViT,其旨在实现端到端推理加速 在 GPU 上,无需从头开始训练。 具体来说,在将查询和键映射到汉明空间中的二进制代码之后,查询、键和值之间的所有 𝙼𝚊𝚝𝙼𝚞𝚕𝚜 都使用附加内核重新参数化。 然后使用移位内核重新参数化剩余的 MLP 或线性层。 我们利用 TVM 来实现和优化这些定制内核,以便在 GPU 上进行实际硬件部署。 我们发现,这种对注意力的重新参数化可以保持模型的准确性,但在应用于 MLP 时不可避免地会导致准确性下降。 为了结合两全其美,我们进一步提出了一种新的专家混合(MoE)框架,通过将乘法或其原语作为专家(例如乘法和移位)来重新参数化 MLP,并设计新的延迟感知负载平衡损失。 这种损失有助于训练通用路由器,根据延迟将动态数量的输入令牌分配给不同的专家。 对各种基于 Transformer 的视觉任务进行的大量实验一致验证了我们提出的 ShiftAddViT 的有效性,在 GPU 上实现了高达 5.18 倍的延迟减少和 42.9% 的能源节省,同时保持了与原始或高效 ViT 相当的精度。
打开封面
下载高清视频
观看高清视频
视频下载器
[HPCA 2023] ViTCoD: 通过专用算法和加速器协同设计实现 Vision Transformer 加速
[CVPR 2023] Hint-Aug: 通过从基础视觉变换器中提取提示,提升少样本下参数高效微调性能
图像分割、目标检测、特征提取、边缘检测、图像滤波、人脸识别...终于有人把OpenCV那些必备的知识点讲透彻了!从入门到图像处理实战!
强推!草履虫都能一口气学完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM、DBN等八大深度学习神经网络算法!真的比刷剧还爽!
【全463集】入门到精通,一口气学完线性回归、逻辑回归、梯度下降、SVM支持向量机、随机森林、决策树、贝叶斯、聚类算法、朴树贝叶斯、神经网络等十二大机器学习算法
神经网络必看!如何从零入门CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等!清华大佬一天就教会了我如何入门神经网络算法,绝对通俗易懂
【MATLAB论文复现】研一研二必看!MATLAB论文如何从代码到公式完整复现?看完这个你就彻底懂了!草履虫都能学会!
[ISCA 2023] Gen-NeRF: 基于软硬件协同设计的高效可泛化神经辐射场
太厉害了 已跪!终于有人能把知识图谱讲的这么通俗易懂了,浙大知识图谱入门及实战公开课分享!-深度学习丨NLP丨知识图谱
干货:我如何用FLUX开源模型实现最强AI换装模型!
强推!从入门到精通CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络一口气全部学完!比刷剧还爽!
【全126集】目前B站最系统的Transformer教程!入门到进阶,全程干货讲解!拿走不谢!(神经网络/NLP/注意力机制/大模型/GPT/RNN)
说点大实话,研究生“水”论文最实用的方法就是网络缝合模块!用上200+即插即用模块代码,大论文小论文轻松涨点!
喂饭教程!25分钟本地部署Qwen2大模型:配置、微调、部署+效果展示,带你训练自己的行业大模型!
[ICML 2024] 揭示与利用隐藏注意力下沉:通过注意力校准在无需训练的情况下增强大型语言模型
从零动画讲解Transformer
GNN+Transformer到底有多强?迪哥精讲迪哥精讲图神经网络融合transformer,绝对是今年的研究热点!
数学视角下的Transformer!MIT数学系的Philippe Rigollett主讲,UCL助理教授Haitham精讲论文,自注意力机制、深度神经网络
Mamba时间序列预测模型
深度学习Python基础
超越GPT-4o mini!北大开源国产多模态版o1,超强视觉推理惊呆网友
李飞飞:斯坦福计算机视觉公开课
深度学习如何高效炼丹?
2025吃透AI大模型实战进阶教程,一周学完帮你少走99%弯路!【LLM/RAG系统/GPT-4o/OpenAI】
研究生基本代码复现基本功!3分钟教会你如何跑通官方模型代码,再替换为自己的数据集跑通!人工智能|计算机技术|github
SCI 2024含二次创新改进 | GSA高效涨点注意力即插即用模块 | YOLOv8v10v11创新改进| 用于小目标检测和医学图像分割,所有CV任务通用
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
如何构建自己的数据集?
【200集付费】一口气学完回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机、神经网络等十二大机器学习算法一次性学完!
基于计算流体力学(CFD)和机器学习(PINN)的仿真模拟结果对比
强推!OpenCV+YOLO 实时目标检测实战教程,最详细的学习路线+技能介绍,毕设成功拿下!(深度学习丨计算机视觉丨YOLO丨OpenCV | 人工智能)
【全集195集】深度学习必看圣经!李沐大神《动手学深度学习》最新版全套视频教程分享,小白也能信手拈来,看完直接跑通!(深度学习/神经网络/pytorch)】
[ICCAD 2023] GPT4AIGChip: 通过大语言模型实现AI加速器设计自动化
[ICML 2023] Master-ASR:通过模块化学习实现ASR的多语言扩展性和低资源适应性
这绝对是2024年PyTorch框架天花板教程!清华大佬强力打造!100集带你吃透深度学习!
2021NeurIPS Robust Scratch Ticket
2020ISCA TIMELY
【200FPS方案】rk3588推理yolo到底有多快
多模态模型CLIP深度讲解
2024.11.24组会-生成模型专题汇报