V
主页
CVPR 2024 | 图像恢复 | Adaptive Sparse Transformer
发布人
大家好,今天给大家介绍的论文是Adapt or Perish: Adaptive Sparse Transformer with Attentive Feature Refinement for Image Restoration(CVPR 2024)。本文的主要贡献是提出了 ASSA 自注意力机制,它结合了稀疏性和密集性的优点,可以有效地过滤掉不相关的信息并保留重要的信息。此外,文章还设计了 Feature Refinement Feed-forward Network (FRFN),用于增强特征表示并简化冗余信息。AST 包括两个核心设计,即自适应稀疏自注意力(ASSA)块和特征细化前馈网络(FRFN)。本文主要解决了图像超分辨率中的信息恢复问题,即如何从低分辨率图像中重建高分辨率图像。传统的基于全连接注意力机制的方法可能会计算不必要的区域,导致计算效率低下和过拟合等问题。而本文提出的 ASSA 自注意力机制能够更好地控制输入标记的稀疏度,从而提高模型的泛化能力和准确率。同时,FRFN 可以进一步提升特征表示的质量,从而进一步提高模型的性能。
打开封面
下载高清视频
观看高清视频
视频下载器
快速排序代码(C/C++实现) 细到爆炸!
DFF:可以缝合在transformer中的动态特征融合模块,来自于2024年3月份的文章,适用于2D和3D分割任务
深度学习CVPR 2024 | 轻量高效ViT | SHViT
CVPR 2024 | 医学图像分割 | 高效多尺度卷积注意力解码器EMCAD
PConv(CVPR2023):即插即用卷积模块
DA_Block:即插即用模块,可缝合在transformer或unet中
深度学习 | ECCV 2024 | 图像恢复 | Histoformer
LPA:局部金字塔注意力模块,2d和3d版本,适用于图像分割任务
axial attention(MICCAI2021):适用于图像分割的注意力模块
HAAM:混合自适应注意力模块,适用于图像分割任务
DA模块,双重注意力,即插即用
NAF:即插即用模块,适用于图像恢复领域
深度学习CVPR 2024 | InceptionNeXt | 即插即用模块
【24年7月】SvANet | 小型医学对象分割网络
PGM(NeurIPS2023):适用于图像去噪,去雨,去雾的即插即用模块
Neural Networks 2024 | 深度学习改进SE通道注意力
针对transformer的FFN层缝合教程,把深度可分离卷积缝合在FFN层中教学【深度学习】
CSA:可以应用在U型网络中的多尺度注意力模块
两个适用于图像去噪任务的残差注意力模块,即插即用
深度学习轻量级图像恢复网络RAMiT,CVPR2024 Workshop
SFFusion:特征融合模块,2d和3d版本,附创新点的启发,提取和融合浅层特征
深度学习 | (arXiv 2024.07)即插即用注意力SCSA
CPCA:改进SE和CBAM的即插即用注意力模块
CondConv:经典动态卷积,适用于几乎所有计算机视觉图像任务
(PRCV 2023)深度学习即插即用空间聚合模块GLSA,医学图像分割
GCT(CVPR2020):改进通道注意力SENet,即插即用模块
深度学习模块缝合教程,将模块原有的注意力替换成别的模块的注意力
CVPR 2024 | 遥感目标检测 | 即插即用PKI模块
FeatUp(ICLR2024):适用于任何方向的模型无关模块,附缝合教程
SDM:特征融合模块,即插即用,2D和3D均适用
(JSTARS 2024)变化边界感知模块CBM,适用于遥感图像变化检测任务
MobileNetV4来啦,其中的UIB块
即插即用特征提取注意力模块HWAB,可用于低光图像增强任务【深度学习】
元素相乘优于相加,全新backbone:StarNet(CVPR2024)
【ICCV2023】深度学习多尺度线性注意力模块MLA
深度学习 | ECCV 2024 | mamba模块RSSG
多尺度图卷积模块,点云领域【深度学习即插即用模块】ECCV 2022
BMVC 2024 | 医学图像分割 | 多尺度自适应空间注意力门控MASAG
scSE:空间通道注意力,即插即用,适用于图像分割等图像处理领域
ULSAM(WACV2020):一种空间注意力模块,即插即用