V
主页
【论文一刻】ICCV'23 从蒸馏到自蒸馏:通用归一化损失与定制软标签
发布人
论文阅读地址:https://readpaper.com/paper/4736825202449596417 作者已回答论文十问如下,可前往上述链接与作者进一步沟通。 Q1 论文试图解决什么问题? 1. 改进计算蒸馏损失的方法,使得学生能更好地使用软标签,获得更好的表现。 2. 提出一种通用的高效简单的方法获得更好的软标签,用于提升自蒸馏的性能和通用性。 Q2 这是否是一个新的问题? 不是一个新的问题,之前有一些工作进行过一些探索,但没有很好的将蒸馏与自蒸馏统一起来。 Q3 这篇文章要验证一个什么科学假设? 原生蒸馏使用教师的logits作为软标签,与学生的输出计算蒸馏损失。自蒸馏则试图在缺乏教师模型的条件下,通过设计的额外分支或者特殊的分布来获得软标签,再与学生的输出计算蒸馏损失。二者的相同点在于计算损失的方式,差异在于获得软标签的方式不同。首先通过改进损失公式,可以提升蒸馏表现,并且基于改进的公式设计出新的自蒸馏方法。 Q4 有哪些相关研究?如何归类?谁是这一课题在领域内值得关注的研究员? 1. Maksed Generative Distillation. 2. Decoupled Knowledge Distillation. 3. Efficient One Pass Self-distillation with Zipf’s Label Smoothing . Yang Zhendong, Zhao Borui, Liang Jiajun Q5 论文中提到的解决方案之关键是什么? 1. 从优化角度对于公式的改进。 2. 设计的通用于CNN和ViT的自蒸馏logits设计方案 Q6 论文中的实验是如何设计的? 1.首先对于蒸馏的改进,在不同模型中进行对比实验,验证蒸馏改进公式的有效性。 2. 对于自蒸馏实验,同样的对从小到大的CNN模型以及ViT模型进行实验对比,验证有效性,并对时间消耗进行评估。 Q7 用于定量评估的数据集是什么?代码有没有开源? CIFAR100和ImageNet,代码已开源。 Q8 论文中的实验及结果有没有很好地支持需要验证的科学假设? 实验结果证明了蒸馏公式改进的有效性,也证明了自蒸馏的通用性和有效性。 Q9 这篇论文到底有什么贡献? 1. 改进计算蒸馏损失的方法,使得学生能更好地使用软标签。 2. 提出一种通用的高效简单的方法获得更好的软标签,用于提升自蒸馏的性能和通用性。 Q10 下一步呢?有什么工作可以继续深入? 基于改进的公式,如何更高效的计算最后logits的顺序,如何设计更好的分布。
打开封面
下载高清视频
观看高清视频
视频下载器
【论文一刻 】ICCV'23 从2D图像到3D空间:全新的特征拉升方法 - 3D Deformable Attention
【论文一刻】基于可控得分蒸馏的3D数字人生成及动画化【NeurIPS23】
【200集付费】一口气学完回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机、神经网络等十二大机器学习算法一次性学完!
【MATLAB论文复现】研一研二必看!MATLAB论文如何从代码到公式完整复现?看完这个你就彻底懂了!草履虫都能学会!
【论文一刻】ICCV'23 500倍速,Encoder在3D GAN inversion中再发光芒
【论文一刻】ICCV'23 基于稳定匹配的 Detection Transformer
研究生如何快速找到并复现论文代码?用20分钟手把手带你!看完包会的!!--人工智能/深度学习/神经网络
一个视频讲清楚研究生如何用好ChatGPT(科研绘图、论文撰写投稿、数学建模等)
(SCI论文必看)(加入多种多目标优化算法和帕累托前沿解)基于五种2024最新智能算法优化BP神经网络的多目标参数寻优(多目标海鸥鲸鱼遗传灰狼鱼鹰蜣螂等)
【论文一刻 】开放词表分割方法OpenSeeD
70年老算法Dijkstra被证明普遍最优 斩获顶会FOCS 2024最佳论文
真的超容易“搞深度学习神经网络到底怎么改代码的啊?”复旦博士教我用一本书搞定!
【Agent+RAG】10小时博士精讲AI Agent(人工智能体)系列—提示工程、文本大模型、GPT...
【强到离谱】草履虫都能学会!OpenCV+YOLO 实时目标检测,计算机博士手把手带你做毕设!(深度学习/计算机视觉/YOLOlOpenCv)
(超爽中英!) 2024公认最好的【Agent智能体】系列教程!带你从0到1构建自己的智能体!
神经网络必看!如何从零入门CNN、RNN、GAN、GNN、DQN、Transformer、LSTM等!清华大佬一天就教会了我如何入门神经网络算法,绝对通俗易懂
(2024深度学习小白必看)手把手教你怎么将模块缝合到模型中
深度学习-如何包装论文和模块(以我们自己sci3区论文为例)
强化学习下的多教师知识蒸馏模型【沈向洋带你读论文】【知识蒸馏】
归一化层该如何选择?【深度学习中的数学ep19】
【B站最全YOLO系列教程】一口气学完目标检测yolov1-v11,100集算法原理+项目实战,通俗易懂,草履虫听了都点头!(深度学习丨计算机视觉丨YOLO)
【全463集】入门到精通,一口气学完线性回归、逻辑回归、梯度下降、SVM支持向量机、随机森林、决策树、贝叶斯、聚类算法、朴树贝叶斯、神经网络等十二大机器学习算法
西交|深度学习研讨班-4|从Attention到Transformer再到Mamba
【NeurlPS'23】PrimDiffusion: 基于体积基元扩散的三维人体生成模型【论文一刻】
【全463集】禁止自学走弯路!环境感知、目标检测、语义分割、强化学习、决策与控制算法等八大自动驾驶核心算法一口气学完!
多模态模型CLIP深度讲解
每个初学深度学习的小伙伴只需要学这三个项目!学完以后可以说没有什么深度学习代码能够难住你!
【附源码】2024最新53个大模型实战项目!练完即就业Ⅰ基础到框架Ⅰ适合小白入门_LLM_RAG_Agent_ChatGPT_Prompt
强推!这绝对是2024最细最适合自学的AI大模型全套教程,七天看完编程技术猛涨!少走99%的弯路!存下吧!很难找全的!
一口气学透!从0开始搭建部署YOLOv8系列教程!安装+推理+自定义数据集训练与搭建!简直比刷剧还爽!(计算机视觉/目标检测/神经网络/深度学习))
【NeurIPS'23】ERDA:充分利用无标注信息的弱监督点云分割
怪不得都说Github是学Python人的天堂!!!
Transformer主要模块从数学上如何解读?【深度学习中的数学ep9】
【NeurIPS'23】基于内容的无限制对抗攻击
【NeurIPS'23】通过平坦的局部感知来提升对抗攻击的可迁移性
【沈向洋带你读论文】人工智能辅助的超分辨率宇宙学模拟【StyleGAN2】【天文宇宙学】【超分辨率】
太厉害了 已跪!终于有人能把知识图谱讲的这么通俗易懂了,浙大知识图谱入门及实战公开课分享!-深度学习丨NLP丨知识图谱
【NeurIPS'23】深度蚁群算法(DeepACO)
2024年吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI) 全程通俗易懂,别再走弯路了,逼自己一周学完,少走99%弯路,学不会我退出IT界!
都2024了,还不知道先学Transformer还是Diffusion?迪哥精讲BERT、Swin、DETR、VIT四大核心模型,原理讲解+论文解读+代码复现!