V
主页
CVPR 2023【已开源】| Masked Video Distillation:视觉炼金术:揭秘蒙版视频蒸馏的秘诀!
发布人
受益于蒙面视觉建模,自监督视频表示学习取得了显着进步。然而,现有方法侧重于通过重建低级特征(如原始像素 RGB 值)从头开始学习表示。在本文中,我们提出了掩蔽视频蒸馏(MVD),这是一种简单而有效的两阶段掩蔽特征建模框架,用于视频表示学习:首先,我们通过恢复低级特征来预训练图像(或视频)模型masked patches,然后我们使用生成的特征作为屏蔽特征建模的目标。对于教师模型的选择,我们观察到视频教师教授的学生在时间繁重的视频任务上表现更好,而图像教师为空间繁重的视频任务传输更强的空间表征。可视化分析还表明,不同的教师会为学生产生不同的学习模式。受此观察的启发,为了利用不同教师的优势,我们为 MVD 设计了一种时空协同教学方法。具体来说,我们通过屏蔽特征建模从视频教师和图像教师中提取学生模型。广泛的实验结果表明,使用时空协同教学进行预训练的视频转换器优于在多个视频数据集上由单个教师提取的模型。与之前的监督或自监督方法相比,我们的带有 vanilla ViT 的 MVD 在几个具有挑战性的视频下游任务上实现了最先进的性能。例如,使用 ViT-Large 模型,我们的 MVD 在 Kinetics-400 和 Something-Something-v2 上达到了 86.4% 和 76.7% 的 Top-1 准确率,分别比 VideoMAE 高出 1.2% 和 2.4%。当采用更大的 ViT-Huge 模型时,MVD 在 Something 上以 77.3% 的 Top-1 准确率实现了最先进的性能。 论文标题:Masked Video Distillation: Rethinking Masked Feature Modeling for Self-supervised Video Representation Learning 论文链接:https://arxiv.org/pdf/2212.04500.pdf 论文代码:https://github.com/ruiwang2021/mvd
打开封面
下载高清视频
观看高清视频
视频下载器
3D-VLA 3D智能行动预测模型
【X-AnyLabeling工具使用教程合辑】视频处理及MOT标签导出
太厉害了 已跪!终于有人能把OpenCV图像处理讲的这么通俗易懂了,现在计算机视觉opencv全套分享给大家。
CVPR 2023【已开源】| OneFormer: 分割大统一框架,称霸三种分割任务!
【YOLOv5教程】花9888买的YOLOv5全套教程2024完整版现分享给大家!免费白嫖!值得收藏!——附赠课程与资料!——(人工智能、深度学习、机器学习)
【X-AnyLabeling工具使用教程合辑】标签导出设置
CVPR 2023 Highlight【已开源】| DNF:光明的使者,让黑夜也如白昼!新颖的低光照图片增强框架!
CVPR 2023 | 华盛顿大学&谷歌联合发布,TryOnDiffusion:AI换衣秀:无需真人试衣,一键实现你的时尚梦想!
CVPR 2023【已开源】| 实例分割,全景分割,目标检测,统统收下!Mask DINO大揭秘
CVPR 2023【已开源】| BiFormer: 新颖的动态稀疏注意力,分类检测分割样样在行!
【X-AnyLabeling工具使用教程合辑】加载自定义模型
CVPR 2023【已开源】| Zero-Shot Noise2Noise:嗨,模糊,再见!小网络零样本去噪实践!
CVPR 2023【已开源】| 最强低光照增强,利用语义感知黑暗
2023最实用的12个AI工具,快速提高生产力!
CVPR'2023 | 超低分辨率人脸识别
FMA-Net 视频画质修复新技术
OpenCV钢管计数实战,写进简历的工业级视觉项目!
【2024最全OpenCV实战教程】零基础入门到进阶全套项目一口气学完!迪哥带你半天搞定OpenCV图像处理,学完即可毕业!
CVPR 2023 【已开源】| 最强半监督实例分割腾空出世,精度媲美全监督!
【yolov8】一小时掌握!从0开始搭建部署YOLOv8,环境安装+推理+自定义数据集搭建与训练,入门到精通!
CVPR 2023【已开源】| 苏黎世联邦理工学院&Meta联合发布,OrienterNet:在2D公共地图上进行视觉定位
CVPR 2023【已开源】| 上海大学&百度重量发布,抑制歧义的半监督学习方法,单阶段检测算法提点显著!
太厉害了 已跪!终于有人能把OpenCV图像处理讲的这么通俗易懂了,现在计算机视觉opencv全套分享给大家。
CVPR 2023 Highlight 【已开源】| ETH Zurich与谷歌联合发布,应对稀疏视图和位姿噪声的神经辐射场
强烈推荐!字节OpenCV图像处理全套教程!恨不得马上就学会的OpenCV入门到实战!计算机视觉/机器视觉/目标追踪/人脸检测
ICCV 2023【已开源】| 北大&商汤&上海AI实验室联合发布:MotionBert,揭示人类动作的机器学习之旅!
ICCV 2023 | 无监督新SOTA,CLIP的进阶之旅,无监督多标签图像分类!
ICCV 2023【已开源】| 苏黎世联邦理工学院和微软联合发布,特征匹配的新纪元:LightGlue,速度与准确性的完美融合!
吹爆这个嵌入式项目实战!【基于人脸的考勤系统识别】这可能是B站最容易上手的嵌入式项目了吧!Arm+Qt+opencv!(人工智能、深度学习、神经网络、AI)
CVPR 2023 Highlight【已开源】| Stitchable Neural Networks:可拼接神经网络,支持丰富的部署场景!
CVPR'2023【已开源】 | SPIn-NERF: 神经辐射场的多视图分割和感知修复
CVPR 2023【已开源】| Bicubic++:如何让你的超分辨网络变得更'瘦',更'快',更'强'!
30秒鉴定出各个开源项目和工具到底好不好用!
CVPR 2023【已开源】| 纽约大学&英伟达领衔发布,VoxFormer: 让AI看见隐藏的世界!
终于有人把TensorFlow讲明白了!新加坡国立大学教授手把手教你从安装到搭建,通俗易懂,再也不怕学不会深度学习!
牛逼!竟然用3天一口气学完强化学习【PPO、Q-learning、DQN、A3C】十大算法原理及实战玩转超级马里奥!通俗易懂,比啃书强太多了!机器学习|深度学习
CVPR 2023 | UCDA Flow:用于雾景光流的无监督累积域适应
GPT-4 技术概述 | 手把手带你看懂GPT-4
CVPR 2023【已开源】| DP-NeRF:NeRF落地必备,专治各种模糊场景!
研一研二必看!不愧是2024最好出论文的两个研究方向:Diffusion扩散模型+对比学习,源码复现+模型精讲+论文解读,迪哥带你轻松搞定论文创新点!