V
主页
CV强化论文分享20240704
发布人
> 《Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization》 > 内容简介:[ICML 2024]鉴于多模态大型语言模型(LLM)的最新进展,人们越来越关注将其从图像-文本数据扩展到信息量更大的真实世界视频。与静态图像相比,视频由于其时空动态建模的原因,给有效的大规模预训练带来了独特的挑战。在本文中,我们采用了一种高效的视频分解方法,将每个视频表示为关键帧和时间运动,从而解决了视频语言预训练中的这些局限性。然后,利用精心设计的标记化器将视觉和时间信息离散化为几个标记,将这些信息适配到 LLM 中,从而实现视频、图像和文本的统一生成预训练。在推理时,从 LLM 生成的标记会被仔细恢复到原始的连续像素空间,以创建各种视频内容。我们提出的框架既能理解又能生成图像和视频内容,在图像和视频理解与生成方面的 13 项多模态基准测试中的优异表现证明了这一点。
打开封面
下载高清视频
观看高清视频
视频下载器
强化学习论文分享20240718-1
强化学习论文分享20240314_2
强化学习论文分享20240613-2
强化学习论文分享20240131
强化学习论文分享20240509
20240307CV强化论文分享
强化学习论文分享20240117_1
强化学习简介+DQN
强化学习论文分享20240411_2
动态规划+DDPG
强化学习论文分享20240307
CV强化论文分享20240530
强化学习论文分享2022-09-29
强化学习论文分享20240719_1
强化学习论文分享20240117_3
CV强化论文分享20240801
强化学习论文分享20240411_1
强化学习论文分享20240117_2
CV强化论文分享20240418
CV强化论文分享20240808
CV论文分享20240801
强化学习论文分享20240808
强化学习论文分享20240314_1
CV强化论文分享20240711_1
强化学习论文分享2022-10-06
强化学习论文分享20240110
强化学习论文分享20230814
CV强化论文分享20240516
强化学习论文分享20240711
强化学习论文分享20230515
矩阵分解论文分享20240613
强化学习论文分享20240314_3
强化学习论文分享2022-12-29
强化学习论文分享2022-12-08
CV强化论文分享20240523
KAN论文分享
强化学习论文分享2023-02-09
CV论文分享20240509
强化学习论文分享20240718-2
CV论文分享20230713(ViLD&CoCoOP)