V
主页
京东 11.11 红包
[CVPR 2023] Hint-Aug: 通过从基础视觉变换器中提取提示,提升少样本下参数高效微调性能
发布人
尽管对于在下游任务上调整基础视觉变换器(FViTs)的需求日益增长,但在数据有限的场景下(例如,少样本微调)充分发挥FViTs的潜力仍然是一个挑战。因为少样本数据中包含的特征有限,常见的数据增强技术在这种情境下表现不佳。为了应对这一挑战,我们首先为FViTs在少样本微调中找到了一个机会:预训练的FViTs本身已经从大规模的预训练数据中学到了高度代表性的特征,这些特征在广泛使用的参数高效微调中得到了完整的保留。因此,我们假设利用这些学到的特征来增强调整数据可以提高少样本FViT微调的效果。为此,我们提出了一个名为“基于提示的数据增强”(Hint-Aug)的框架,旨在通过使用预训练的FViTs的学到的特征来增强调整样本中过度拟合的部分,从而提高FViT在少次调整中的效果。具体来说,Hint-Aug整合了两个关键的使能器:(1)一个“注意过拟合检测器”(AOD)用于检测基础ViTs的过于自信的部分,以可能减轻它们在少次调整数据上的过拟合;(2)一个“基于混淆的特征融合”(CFI)模块,用于将预训练的FViTs中容易混淆的特征与上述AOD检测到的过于自信的部分融合,以增强调整过程中的特征多样性。在五个数据集和三种参数高效调整技术上的广泛实验和消融研究一致证实了Hint-Aug的有效性:在各种低次设置下,相对于最先进的(SOTA)数据增强方法,准确率提高了0.04%〜32.91%。例如,在Pet数据集上,与SOTA数据增强方法相比,Hint-Aug在使用50%较少的训练数据的情况下提高了2.22%的准确率。
打开封面
下载高清视频
观看高清视频
视频下载器
[ISCA 2023] Gen-NeRF: 基于软硬件协同设计的高效可泛化神经辐射场
[NeurIPS 2023] ShiftAddViT:通过混合矩阵乘法/移位/加减实现高效的视觉Transformer
2023CVPR Hint-Aug
[HPCA 2023] ViTCoD: 通过专用算法和加速器协同设计实现 Vision Transformer 加速
[ICML 2024] Linearized LLM: 线性注意力自回归解码带来更高效有效的线性大模型
2023HPCA ViTCoD
2023CVPR Auto-CARD
【200集付费】一口气学完回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机、神经网络等十二大机器学习算法!
【从0到1学人工智能】吹爆!2024年B站最好最全的人工智能基础课程,清华大佬带你恶补AI专业知识!—人工智能基础速成 | 机器学习教程 | 深度学习入门
[CVPR 2023] Castling-ViT:在Vision Transformer推理期间通过切换到线性角度注意力来压缩attention
[ISCA 2023] Instant-3D:针对设备上 AR/VR 3D 重建的即时神经辐射现场训练
小波变换+注意力机制,数据处理领域的“王炸”组合,创新性拉满!
太厉害了!终于有人能把OpenCV图像处理+YOLO目标检测讲的这么通俗易懂了!无偿分享学不会你来找我!_计算机视觉/深度学习/OpenCV/YOLO
2023CVPR Castling-ViT
122集付费!CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等八大深度学习神经网络一口气全部学完!
研究生话题:入门机器学习深度学习需要多久时间?这次终于能搞明白了!
清华提出条件对比对齐爆炸提升自回归视觉生成模型性能(今日Arxiv 10月15日)2024年10月15日Arxiv cs.CV发文量约242余篇,减论Agent
[MLSys 2022] BNS-GCN:基于子图并行和随机边界节点采样的图卷积网络的高效全图训练
[VLSI 2022] i-FlatCam: 一种用于VR/AR实时高效眼动追踪的253FPS,91.49 uJ/frame 超紧凑型无透镜智能相机
要基于Pytorch做深度学习,但是我代码水平很低,该如何学习呢? -人工智能/机器学习/深度学习
一颗CV视觉AI领域的重磅炸弹!仅更改一行代码就让YOLOV11成为了最成熟、效果最好的目标检测模型!
超全超简单!一口气刷完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM、DBN等八大深度学习神经网络算法!真的比刷剧还爽!
【YOLOv11】实测!对比YOLOv8、v9、v10,是否实用?哪个更适合结合自己的业务场景?
2020ISCA TIMELY
【图像处理入门到精通】七大算法:图像分割、图像拼接、车辆检测、人脸识别、图像增强、图像修复、边缘检测一次讲完!三天带你从入门到进阶!
一个案例看懂【AI Agent】项目实战之AI Agent从入门到实践!AI Agent技术原理和应用
比喝水还简单!2024年最详细的【大模型自学路线图】整理出来啦!迪哥手把手教你最高效的大模型学习方法,轻松搞定AIGC大模型!(大模型训练/大模型微调)
MPC+强化学习!Actor Critic模型预测控制,苏黎世大牛教授人类水平性能的自主视觉无人机演讲
Denoising Diffusion Models : A Generative Learning Big Bang [CVPR 2023 Tutorial]
YOLO最新版本V11 本地一键部署 解压即用 视觉检测大模型尝鲜版 集成环境依赖 WEBUI可视化界面
Transformer模型原理精讲:Swin、VIT、DETR、BERT四大Transformer核心模型全详解!(深度学习/计算机视觉)
冒死上传!这个【MATLAB神经网络和优化算法】教程!大佬带你入门!简单易懂,手把手带你走进AI人工智能世界!
2022ISCA EyeCoD
[ICML 2022] DepthShrinker: 一种提升神经网络真实硬件效率的新型压缩框架
【科研自救指南】同济大佬手把手教你如何高效阅读文献及笔记整理-SCI论文、顶会论文、文献阅读
2020ISCA SmartExchange
全球100位伟大女性之一李飞飞演讲:我为什么投身AI事业?