CLIP可以直接拿来做文本检测了！腾讯优图提出TCM结构，文本检测能力在多个数据集上均有较大提升！目前以被CVPR2023接收！
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
阿里提出了一种联合多个语义分割数据集进行训练的语义分割方法LMSeg，相比单一数据集训练提升明显！
...
“AI读心术”来了，日本学者基于Stable Diffusion模型提出了一个大脑视觉信号重建图像的研究，效果惊人！目前已被CVPR 2023接收！
...
NVIDIA放大招了！在生成模型基础上提出Action-GPT：利用GPT实现任意文本生成动作！效果绝了！
...
腾讯提出一种新的CLIP模型，利用更加soft的跨模态对齐策略，提升CLIP在各项任务上的性能！
...
上交学者提出了一种利用Diffusion模型生合成语义分割数据集，并基于此训练了一个开放词汇分割的模型，效果惊艳！
...
最强优化器来了！谷歌提出适用于多种任务的新型优化器Lion，在多项任务上以更快的训练速度取得更好的性能！目前已开源！
...
腾讯优图提出啄木鸟（Woodpecker）：无需训练即可矫正多模态大语言模型的幻觉问题！
...
中山大学学者提出新的视觉Transfomer结构DilateFormer，减少70%计算量的同时性能更优！目前已开源！
...
亚马逊联合牛津提出了用于多模态理解的三元对比学习TCL，在CLIP的基础上提升了多模态模型的跨模态理解能力！
...
阿里达摩院提出了新的多边形战士模型mPLUG-2，在各种视觉，文本以及多模态任务上均取得不错的性能，超过BEIT V3和EVA！
...
里斯本大学学者提出检索增强的Image Captioning 方法，可以在预训练图文编码器的基础上进一步提升Caption性能！
...
北大联合华为诺亚提出了一种增强对比学习的新方法ArCL，通过学习更鲁棒的特征，将MOCO等对比学习方法提升1-2个百分点！目前已被ICLR 2023接收！
...
幻方发布超强多模态LLM DeepSeek-VL！支持代码，文档OCR等！
...
鹏城实验室开放了45页多模态预训练大模型综述！总结了近5年多模态预训练相关的算法和数据！多模态预训练学习包！
...
微软提出简单的Open vocabulary检测和分割框架，能够统一处理两种任务，性能超过GLIP等模型！目前已开源！
...
来自真实用户的百万级文本视频数据！Sora时代的视频生成数据集VidProM开源了！
...
CVPR2023 基于掩码的视觉和语言Transformer，能够同时完成以文生图和Image Captioning两种多模态生成任务，且效果非常不错！
...
阿里联合清华提出了用于医学VQA的新方法RAMM，利用检索增强的策略在医学VQA数据集上取得新SOTA！数据集，代码即将开源！
...
DeepMind提出De-Diffusion，仅使用图像数据提升多项多模态任务性能！
...
文本引导的虚拟试衣来了，多模态在时尚领域的又一杀器！一键更换模特服装！目前代码模型已开源！
...
字节提出新的多边形战士，通用基础模型X-FM，将视觉，文本和多模态的训练做到了一个阶段，在多项下游任务表现不错！
...
亚马逊AI Lab提出了新的文本识别结构CLIPTER，能够显著提升当前文本识别算法的效果，达到SOTA精度！
...
Adobe研究院提出了用于视频和音频多模态数据的视听对比学习的自监督策略，在多项视频和音频数据集上达到新SOTA！
...
鹏城实验室学者提出了一种新的视频语言多模态预训练模型SOTA-VLP，融合了空间时序建模方法，捕获细粒度特征，多项任务取得SOTA！
...
阿里提出用于视频文本理解的高效多模态模型MuLTI，通过设计了Multiway Sampler和多项选择建模任务 在多项视频理解任务上达到新SOTA！
...
腾讯优图联合北大浙大提出了新的高效移动端网络EMO，很好的权衡了精度和效率，超过Mobile-Former等模型！
...
SAM+扩散模型让图片中的对象动起来！腾讯提出RegionMaker！
...
Meta AI提出新的视觉Transformer结构，相同精度内存减少15倍！代码和模型目前已开源！
...
谷歌基于Imagen提出了Imagen Editor，文本条件编辑效果超过Stable Diffusion和DALL-E 2！
...
DeepMind提出了新的半监督学习方法SEMPPL，结合当前的对比学习自监督学习方案，表征能力得到进一步提升！
...
CLIP助力跨域目标检测，来自EVEN CVLab的学者提出语义增强策略，提升效果明显
...
上海AI Lab提出利用多种预训练模型进行集成学习的新方法CaFo，利用 GPT-3，CLIP，DINO等多种基础预训练模型提升少样本学习能力！
...
AI模型的大一统！微软多模态组提出了多模态领域杀疯了的多边形战士BEIT V3!多项视觉，多模态任务达到SOTA!
...
斯坦福学者提出ControlNet，通过对Stable Diffussion生成结果进行控制，即将补完AIGC工业化的最后一块拼图！
...
亚马逊学者提出Zero-Shot计数新方法！利用预训练的生成模型生成类别原型特征，然后进行patch最邻近搜索，效果远超之前方法！
...
亚马逊学者提出了既能看又能读的多模态场景理解模型，支持传统的VQA以及文本VQA！
...
谷歌基于多模态预训练模型，提出了一种开放词汇的时序动作检测模型，可以检测视频中任意动作！性能远超之前方法！
...
即插即用的inpainting模型！腾讯提出BrushNet！
...
微软亚研提出了小模型蒸馏方法TinyMIM！MIM预训练小模型性能提升4个百分点！目前模型和代码均已开源！
...
微软总结了视觉Transformer的分类性能，从参数量，计算量等方面对它们进了公平的对比！