V
主页
CV论文分享20240509
发布人
《Meta-Transformer: A Unified Framework for Multimodal Learning》 >内容简介:多模态学习旨在建立能够处理和关联多种模态信息的模型,尽管这个领域已经发展多年,由于不同模态之间的固有差异,提出一个联合的的网络来处理不同模态仍然具有挑战性。本篇工作提出Meta-Transformer,利用冻结的encoder在没有任何成对多模态训练数据下进行多模态感知。除了文本、图像、点云、音频、视频等常规模态,Meta-Transformer创新性的融合了时间序列,处理红外、超光谱、X 射线、表格、惯性测量单元(IMU)信息。我们惊喜的发现,当单一能力有序组合在一起时,量变引起质变,使得基础模型初步具备涌现能力,能够做天气预测、看X光片判断病情,识别遥感图像,高光谱图像,分析社交网络数据、甚至针对股票数据学习预测等,是首个利用非配对数据在12种模态中进行统一学习的框架。
打开封面
下载高清视频
观看高清视频
视频下载器
强化学习论文分享20240509
CV强化论文分享20240530
CV强化论文分享20240523
强化学习论文分享20240613-2
CV强化论文分享20240704
CV论文分享20240801
CV强化论文分享20240516
CV强化论文分享20240801
CV论文分享20240808
CV论文分享20240719
CV论文分享20240711
强化学习论文分享20240110
20240307CV强化论文分享
强化学习论文分享20240719_1
强化学习论文分享20240131
强化学习论文分享20240117_1
CV强化论文分享20240711_1
KAN论文分享
强化学习论文分享20240411_1
CV强化论文分享20240808
CV论文分享20230713(ViLD&CoCoOP)
强化学习论文分享20240314_2
CV强化论文分享20240418
矩阵分解论文分享20240613
【女性向音声】当男朋友在房间发现你的私人玩具,强制性对你使用,当做puppy对待
强化学习论文分享20240117_2
强化学习论文分享20240117_3
强化学习论文分享20240411_2
强化学习论文分享20240613-1
强化学习论文分享2022-09-29
强化学习论文分享20230605
强化学习论文分享20240307
CoPE论文分享20240620
强化学习论文分享20230424
CV强化学习论文分享20230803
强化学习论文分享2022-10-27
强化学习论文分享2023-02-09
强化学习论文分享20230814
视觉强化论文分享20230913(CRESP)
强化学习论文分享20240314_3