V
主页
深度学习 | ICCV 2023 | 轻量高效编码器 | 视觉任务通用 | 即插即用
发布人
大家好,今天给大家介绍的是ICCV2023的文章SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications。该论文提出了一种名为SwiftFormer的高效、准确的图像分类模型。SwiftFormer采用了多级设计,通过在不同尺度下学习局部和全局特征来提高性能。具体来说,SwiftFormer包括一个有效的卷积编码器和一个SwiftTransformer编码器。卷积编码器用于提取空间信息并学习局部表示,而SwiftTransformer编码器则利用自注意力机制来捕捉全局上下文,并进一步丰富了局部和全局表示。 SwiftTransformer编码器中的自注意力机制被改进为一种高效的加法注意力机制,去除了不必要的键值交互,仅关注查询和键之间的交互。这种改进使得SwiftTransformer具有更快的推理速度和更稳健的上下文表示能力。 此外,SwiftFormer还使用了一种称为“有效卷积编码器”的新型卷积编码器,它将深度可分离卷积和Pointwise卷积相结合,以提高性能而不增加参数或延迟。
打开封面
下载高清视频
观看高清视频
视频下载器
深度学习CVPR 2024 | 轻量高效ViT | SHViT
深度学习|ECCV 2024 | 即插即用小波变换卷积|计算机视觉任务通用
深度学习 | 线性可变形卷积LDConv | 视觉任务通用 | Image and Vision Computing
深度学习 | MICCAI 2024 | 高效非局部注意力ENLTB
轻量高效即插即用模块MSPA,二维视觉图像任务均可用
【ECCV 2024】深度学习图像超分领域的轻量级即插即用模块FMB
深度学习 | 模块改进教程 | 增加创新性和工作量必看 | 计算机视觉任务通用
深度学习 | (arXiv 2024.07)即插即用注意力SCSA
一个视频带你完全掌握深度学习模块缝合全部基础操作,以UNet为例
深度学习 | 图像超分 | ICCV 2023 | DAT
深度学习 | ECCV 2024 | 图像恢复 | Histoformer
深度学习 | 图像超分 | ECCV 2022 | 高效长程注意力ELAB
深度学习 | ICCV 2023 | 图像超分领域模块FMM
【初学者必看】深度学习修改骨干网络教程 | 以ResNet为例
深度学习 | KBS | RGBD显著性目标检测 | MAGNet
深度学习 | Transformer | 代码修改教程
深度学习创新教程|全程干货不讲废话|看完直接举一反三 | 以 Swin Transformer为例
GhostModuleV1&V2:可以代替原有的卷积操作,即插即用
FeatUp(ICLR2024):适用于任何方向的模型无关模块,附缝合教程
CVPR 2024 | 医学图像分割 | 高效多尺度卷积注意力解码器EMCAD
FECAM:频率增强通道注意力模块,适用于时间序列预测任务,可以缝合在transformer中,即插即用
超轻量且高效的动态上采样器,附演示教程,可以轻松替代现有的上采样器,即插即用
深度学习模块缝合教程,看这个视频就够了,计算机视觉领域通用
深度学习 | ICME 2023 | 红外小目标检测 | Transformer模块和卷积模块
IEEE GRSL 2024 | 高光谱图像去噪 | 卷积和注意力混合
RevIN(ICLR 2022):适用于时间序列预测任务的归一化方法,可以应用在transformer中,即插即用
深度学习模块缝合思路 | 别再盲目缝合模块了!
CPCA:改进SE和CBAM的即插即用注意力模块
即插即用特征提取注意力模块HWAB,可用于低光图像增强任务【深度学习】
PyConv:金字塔卷积,适用于几乎所有计算机视觉任务,即插即用
真的超容易“搞深度学习神经网络到底怎么改代码的啊?”复旦博士教我用一本书搞定!
PConv(CVPR2023):即插即用卷积模块
深度学习 | 遥感语义分割 | 多尺度聚合注意力模块MSAA
DO-Conv:深度超参数化卷积层,适用于计算机视觉图像处理任务,可以替代传统卷积
axial attention(MICCAI2021):适用于图像分割的注意力模块
dynamic conv(CVPR2020):包含一维,二维,三维的动态卷积,即插即用
以U-Net为例,缝合模块教程,深度学习通用,看完不会直接来扇UP,报销路费
DASI:一种特征融合模块,即插即用,适用于目标检测等计算机视觉领域
TVConv(CVPR):可用于医学图像分割以及人脸识别的布局感知视觉处理的高效平移变体卷积,附缝合教程
DA模块,双重注意力,即插即用