V
主页
元素相乘优于相加,全新backbone:StarNet(CVPR2024)
发布人
https://arxiv.org/pdf/2403.19967 Rewrite the Stars 大家好,今天给大家介绍一个轻量高效的backbone,StarNet,一个简单但功能强大的模型,展示了令人印象深刻的性能和网络结构紧凑、高效,低时延预算。 就像天上的星星一样,逐元素乘法 (element-wise multiplication)虽然不起眼,却蕴藏着巨大的潜力。StarNet沿用了传统的层次网络,直接使用卷积网络层对分辨率进行下采样,并将每个阶段的通道数加倍。 作者重复多个star blocks来提取特征。 无需任何复杂的结构和精心选择的超参数,StarNet 就能够提供高效的性能。StarNet 的结构为 4 级分层架构,利用卷积层进行下采样并使用star blocks进行特征提取。 为了满足效率的要求,作者将 Layer Normalization 替换为批量归一化,并将其放置在深度卷积之后。 作者在每个块的末尾加入了一个深度卷积。 通过刻意避开复杂的设计元素(如重新参数化、与注意力集成、SE 块等)并最大限度地减少人为设计干预,作者强调了逐元素乘法 在StarNet 的概念和功能。视频中运行的代码是其中的star blocks部分,up觉得可以拿来替代现有网络中的block,例如mobilenet,感谢您的观看!
打开封面
下载高清视频
观看高清视频
视频下载器
CVPR2024:Rewrite the Stars,元素相乘操作助力提点
StarNet轻量级分类sota模型全网详细解读
微软新作StarNet创飞CVPR24:轻量级超强Backbone来了!在神经网络中应用价值极高
(TIP2023) CFP:即插即用的多尺度融合模块
YOLOV8改进-CVPR2024-StarNet超越CVPR2023-FasterNet(新SOTA)
PConv(CVPR2023):即插即用卷积模块
AAAI2024--Rethinking-attention:浅层MLP完全替换注意力模块提升性能
YOLOv8模型改进 第五讲 添加StarNet星形卷积StarsBlock
哥们中了一篇CVPR2024,做了一个完整版视频记录
YOLOV9改进-CVPR2024-StarNet、DRepCSPELAN
SDM:特征融合模块,即插即用,2D和3D均适用
DA_Block:即插即用模块,可缝合在transformer或unet中
KAN-缝合具体操作以及一些思考
CVPR2024中的多特征融合,附即插即用代码
【深度学习缝合模块】废材研究生自救指南!12个最新模块缝合模块创新!-CV、注意力机制、SE模块
两个适用于图像去噪任务的残差注意力模块,即插即用
[即插即用]计算机视觉,特征融合模块pag
GSC(MICCAI2024):可以应用在Mamba中的卷积模块,3d和2d版本,即插即用
GCT(CVPR2020):改进通道注意力SENet,即插即用模块
频率感知跨模态注意力和加权跨模态特征融合,适用于RGBD显著性目标检测任务
DFF:可以缝合在transformer中的动态特征融合模块,来自于2024年3月份的文章,适用于2D和3D分割任务
轻量级神经网络太强了!只有1.3ms延迟,清华大学强势跟进,成功登上CVPR2024!
MobileNetV4来啦,其中的UIB块
What KAN i Say?Pytorch-Conv-Kan开源!支持多种变种KAN算法!以YOLOV9、StarNet、UNet为例给大家教学如何添加KAN
TIAM:适用于遥感图像变化检测任务的时空交互注意力模块
DEConv-来自24年1月文章的新型即插即用卷积模块,基本可以应用于CV所有2d任务
DSAM:适用于图像恢复任务的注意力模块
CPCA:改进SE和CBAM的即插即用注意力模块
超越传统卷积!快速傅里叶卷积突破计算极限,加速高达7.93倍
视觉十分钟|通道注意力原理(SENet,CBAM,SRM,ECA,FcaNet)|计算机视觉/通道注意力/总结分享
NAF:即插即用模块,适用于图像恢复领域
CSA:可以应用在U型网络中的多尺度注意力模块
RevIN(ICLR 2022):适用于时间序列预测任务的归一化方法,可以应用在transformer中,即插即用
FECAM:频率增强通道注意力模块,适用于时间序列预测任务,可以缝合在transformer中,即插即用
针对transformer的FFN层缝合教程,把深度可分离卷积缝合在FFN层中教学【深度学习】
MCANet,多尺度交叉轴注意力
全网首发KAN+CNN的代码实现和指标对比!
很多同学在实验结果出来后开始写的时候才发现这个创新点早就被人发表了,食之无味弃之可惜,那么如何预防找到的创新点已经被发表呢?
24种魔改注意力机制 暴力涨点 即插即用 CNN+注意力机制
学术裁缝(财富)让你保底毕业,学会编故事让你的论文更上一个级别,CVPR带读