V
主页
CVPR 2023【已开源】| BiFormer: 新颖的动态稀疏注意力,分类检测分割样样在行!
发布人
作为视觉转换器的核心构建块,注意力是捕获远程依赖的强大工具。然而,这种能力是有代价的:它会带来巨大的计算负担和沉重的内存占用,因为计算了跨所有空间位置的成对令牌交互。一系列工作试图通过将手工制作和与内容无关的稀疏性引入注意力来缓解这个问题,例如将注意力操作限制在局部窗口、轴向条纹或扩大的窗口内。与这些方法相比,我们通过双层路由提出了一种新颖的动态稀疏注意力,以实现更灵活的计算分配和内容感知。具体来说,对于查询,首先在粗区域级别过滤掉不相关的键值对,然后在剩余候选区域(即路由区域)的联合中应用细粒度的 token-to-token 注意力。我们提供了一个简单而有效的实现所提出的双层路由注意,它利用稀疏性来节省计算和内存,同时只涉及 GPU 友好的密集矩阵乘法。建立了所提出的双层路由注意,然后提出了一个新的通用视觉转换器,名为 BiFormer。由于 BiFormer 以查询自适应方式关注一小部分相关标记,而不会分散其他不相关标记的注意力,因此它具有良好的性能和高计算效率,特别是在密集预测任务中。图像分类、目标检测和语义分割等多项计算机视觉任务的实证结果验证了我们设计的有效性。 论文标题:BiFormer: Vision Transformer with Bi-Level Routing Attention 论文链接:https://arxiv.org/pdf/2303.08810.pdf 论文源码:https://github.com/rayleizhu/BiFormer
打开封面
下载高清视频
观看高清视频
视频下载器
CVPR 2023 Highlight【已开源】| DNF:光明的使者,让黑夜也如白昼!新颖的低光照图片增强框架!
CVPR 2023【已开源】| 最强低光照增强,利用语义感知黑暗
CVPR 2023【已开源】| 苹果&俄勒冈州立大学发布,AutoFocusFormer:自动对焦的变形金刚,专治各种难缠小目标!
CVPR 2023【已开源】| Zero-Shot Noise2Noise:嗨,模糊,再见!小网络零样本去噪实践!
CVPR 2023【已开源】| 多模态语义分割新SOTA,适应任意模态,无惧困难场景!
CVPR 2023 【已开源】| 最强半监督实例分割腾空出世,精度媲美全监督!
CVPR 2023 【即将开源】| Face Book领先发布,RoDynRF:最强鲁棒的动态NeRF!
CVPR 2023 | 即插即用通用框架,实现检测、分割等密集预测任务无痛涨点!
CVPR 2023 【即将开源】| CGFormer:神探CG Transformer,寻找图象中的隐藏蛋糕!
CVPR 2023【已开源】 | 标注10张顶400张?高精度超弱监督医学图像分割框架
CVPR 2023 Highlight【即将开源】| 清华大学领先发布!BEVFormer v2: 重回nuScenes榜首!
CVPR 2023 【已开源】| Consistency Is All You Need:走向现实的长尾半监督学习
CVPR 2023【已开源】| OneFormer: 分割大统一框架,称霸三种分割任务!
CVPR 2023【已开源】| DynamicDet:新型动态检测框架,即插即用,有效涨点!
CVPR 2023 | Google的新技术:让模糊照片成为历史!
CVPR 2023【已开源】| 苏黎世联邦理工学院&Meta联合发布,OrienterNet:在2D公共地图上进行视觉定位
CVPR 2023 【已开源】| 新型激光雷达位姿回归模型,室内外场景均实现SOTA!
CVPR 2023【已开源】| 上海大学&百度重量发布,抑制歧义的半监督学习方法,单阶段检测算法提点显著!
CVPR 2023【已开源】| Bicubic++:如何让你的超分辨网络变得更'瘦',更'快',更'强'!
CVPR 2023 Highlight【已开源】| Stitchable Neural Networks:可拼接神经网络,支持丰富的部署场景!
CVPR 2023 | 苏黎世联邦理工&电子科大出品:利用多变量高斯优化单张图像的深度估计
CVPR 2023【已开源】| 香港大学&微软研究院联合发布:一种重新定义手势识别的方法!
顶刊PR 2023【已开源】| 创新点拆解,朴实无华的U-Net,在多个超声图像数据集中获得SOTA
CVPR 2023 | UCDA Flow:用于雾景光流的无监督累积域适应
CVPR'2023【已开源】 | 利用自适应mask的CLIP进行开放词汇下的语义分割
CVPR 2023【已开源】| 自适应稀疏卷积网络:捉迷藏大师,让无人机更准确地找到目标!
CVPR 2023 【即将开源】| 谷歌最新发布:DynIBaR,基于神经动态图像的动态渲染
CVPR 2023【已开源】| 纽约大学&英伟达领衔发布,VoxFormer: 让AI看见隐藏的世界!
CVPR'2023 | 超低分辨率人脸识别
深度学习 | CVPR 2024顶会 | YOLO | StarConv卷积即插即用模块,适用于CV所有任务,星星卷积也可以登上顶会
CVPR 2023 | 谷歌最新发布:一个单词也能编辑图片,魔法文本重量来袭!
CVPR 2023 【已开源】| 北邮和重邮联合发布,未知物体嗅探器:不要对未知物体视而不见
CVPR 2023 | 华盛顿大学&谷歌联合发布,TryOnDiffusion:AI换衣秀:无需真人试衣,一键实现你的时尚梦想!
毕设必备项目!基于OpenCV+YOLOv5实现实时目标检测,计算机视觉初学者必备实战!
CVPR 2023【已开源】 | 从几何匹配一致的角度重新思考光流
CVPR 2023 【已开源】| 苏黎世大学作品:用于事件相机的数据驱动特征跟踪
ICCV 2023【已开源】| ACFormer,创新点拆解,给大伙提供一些论文创作的思路!
CVPR 2023【已开源】| Masked Video Distillation:视觉炼金术:揭秘蒙版视频蒸馏的秘诀!
ICCV 2023【已开源】| 语义分割新霸主 SeMask:打造58% mIoU新纪录!
CVPR 2023 | 【韩国科学技术研究院】MAIR:具有 3D 空间变化照明估计的多视图注意逆渲染