V
主页
【沈向洋带你读论文】张祥雨解读RepLKNet:重新审视CNN中的大卷积核问题【计算机视觉】【模型架构】
发布人
论文一作丁霄汉对论文的解读:卷积神经网络(CNN)中的大卷积核设计已被埋没许久,本文在现代背景下重新探索之。本文指出,采用少量大卷积核的设计范式要明显优于当今主流的堆叠大量小卷积核的范式。本文总结了5条准则(例如应用结构重参数化的depthwise大卷积)以设计高效又强力的大卷积核CNN。基于这5条准则,本文提出一种称为RepLKNet的CNN架构,其中的卷积核大到31x31。与Swin Transformer相比,RepLKNet在ImageNet和目标检测、语义分割任务上的性能相当或更好,且RepLKNet速度更快。此外,RepLKNet也展示出了在大数据和大模型上的优越的性能,如ImageNet上精度达到87.8%,ADE20K上mIoU达到56%。最后,本文的研究揭示了大kernel的CNN具有一些与视觉Transformer相似的好的性质,如超大的有效感受野和较高的shape bias(即模型做出的预测更多依赖于物体的整体形状而非局部纹理),这些都与传统的小kernel的CNN显著不同。 对论文和十问感兴趣的同学可以前往阅读: Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs https://readpaper.com/paper/663530411408506880?channel=harryreadpaper
打开封面
下载高清视频
观看高清视频
视频下载器
【沈向洋带你读论文】Transformers 在图学习表征方面真的表现不佳吗?【Transformers】【图学习】
Transformer为什么会比CNN好
为什么Transformer会好于ResNet,从Lipschitz常量讲起【深度学习中的数学ep10】
Transformer对时序预测真的有效吗? | AAAI'23 Oral
【沈向洋带你读论文】HRNet 高分辨率表征学习
全网近百万大学生研究生收藏!逐行解读深度学习代码的网站!
Transformer主要模块从数学上如何解读?【深度学习中的数学ep9】
【沈向洋带你读论文】Dynamic Head——首次突破COCO单模型测试60AP大关
张祥雨:Transformer究竟做对了什么,CNN能不能从中学习?
CVPR2024最佳学生论文太强了!中国学生的榜样!这篇论文强烈建议所有学生好好阅读,入门复现!
CVPR 2024盛况空前!上海科技大学夺得最佳学生论文奖,惊艳全场!
哥们还中了一篇CVPR2024——多模态时代让卷积网络再次伟大!
简单聊聊大模型 【深度学习中的数学ep23】
Lipschitz连续及其常量的定义讲解【深度学习中的数学ep5】
tiktok面试题:手写Transformer
ResNet的数学分析【深度学习中的数学ep8】
顶会CVPR2024,YOLO-World杀疯了!计算机博士手把手带深度解析YOLO-World实时开集目标检测,极其通俗易懂
B站强推!2024公认最通俗易懂的【AI大模型】教程,24集付费课程(附资料)LLM大模型_RAG_大模型微调_多模态
【NeurIPS'23】SGFormer:面向大图的简化Transformer
2024论文最佳创新点!Swin-Unet:基于Transformer的医学图像分割实战,论文详解+源码复现,研究生必看!
论文连讲:用重参数化赋予MLP网络局部性、超大卷积核架构【CVPR2022】【基础模型】
基于YOLOV8的疲劳检测,考试破防周,你疲劳吗?
【沈向洋带你读论文】Oscar 视觉语言跨模态表示学习
ICLR2022 - 董力 - BEiT: BERT Pre-Training of Image Transformers
混合精度讲解 (上)【深度学习中的数学ep13】
深度学习中的矩阵求导基础【深度学习中的数学ep1】
强化学习下的多教师知识蒸馏模型【沈向洋带你读论文】【知识蒸馏】
车牌识别python实现-卷积神经网络版
如何对简单的神经网络求导?【深度学习中的数学ep3】
【2024】最全YOLO课程,带你从零开始入门YOLOv1-YOLOv10,小学生都看懂了!人工智能/目标检测/YOLOv10/v9/v8/v7/v6/v5
优化器要怎么调参调结构?- 模型优化指南(上)【深度学习中的数学ep21】
《沈向洋带你读论文》重磅发布!
FC层和LN层该如何求导?【深度学习中的数学ep2】
代码缝合:用CNN+LSTM+KAN做时间序列预测项目,效果提升了!
B站强推!一口气学完人工智能入门到精通:机器学习+深度学习+强化学习,课程涵盖所有基础知识及项目实战,主打一个通俗易懂!
【官方双语】ChatGPT背后是什么模型和原理?详细阐述decoder-only transformer模型!
2024年最新!【人工智能三大算法】卡尔曼滤波、transformer、CNN卷积神经网络!6小时一次讲清楚!建议收藏!——(人工智能、深度学习、机器学习)
【毕设有救了】终于有人把OpenCV最新最全实战项目讲清楚了,学习计算机视觉图像处理必备,练完即可毕业,毕设有救了
【CVPR 2024/双语字幕】最新视觉主干TransNeXt 作者解读
马斯克:体力劳动未来将成为一种选择,要实行全民基本收入制度 !