V
主页
京东 11.11 红包
1-合作更重要:探索视听分割中的多阶双边关系-Qi Yang
发布人
Qi Yang,中国科学院大学在读博士 本科就读于电子科技大学自动化工程学院;现在中科院自动化所攻读博士学位。 Cooperation Does Matter:Exploring Multi-Order Bilateral Relations for Audio-Visual Segmentation 合作更重要:探索视听分割中的多阶双边关系 论文简介:视听分割(AVS)任务旨在将视频中发出声音的对象进行分割。该任务首次要求实现基于音频的像素级场景理解,带来了巨大的挑战。 本论文中,我们提出了一种名为COMBO的创新的音频-视觉Transformer框架,该框架通过多阶双边关系协作(COMBO, COoperation of Multi-order Bilateral relatiOns)实现。COMBO首次探索了AVS中的三种双边纠缠:像素纠缠、模态纠缠和时间纠缠。针对像素纠缠,我们采用了Siam-Encoder模块(SEM),利用先验知识从基础模型中提取更精确的视觉特征。对于模态纠缠,我们设计了双边融合模块(BFM),使COMBO能够双向对齐视觉和听觉信号。至于时间纠缠,我们根据时间的内在规则引入了创新的自适应帧间一致性损失。 在AVSBench-object和AVSBench-semantic数据集上的广泛实验和消融研究显示,COMBO超越了以往的最先进方法。
打开封面
下载高清视频
观看高清视频
视频下载器
1-搜索广告召回实践-田南
3-流批一体增量数仓 - 汤楚熙
4-何正-DDD在美团B端营销系统的实践
1-熊锐-DDD的理解及实践探讨
4-AIOps在美团的探索与实践-胡原
3-实时流量回放在广告业务的建设与应用-赵晶晶
3-告警数据挖掘研究-隋楷心
1-美团ArkWeb 技术实践:构建高性能动态化容器-梓浓
2-杨健-字节跳动Rspack的原理与实践
开放环境下图神经网络初探
2-移动端业务测试一体化提效实践-孔繁珏
5-高振泽-美团低代码引擎架构实践
Tech Salon55-06-李超-美团场景下搜索查询理解技术实践
1-美团移动消息队列-贺院超
4-美团批流一体理念在具体业务中的分析应用实践-王岳庆
2-王吕松-DDD在点评交易系统演进中的应用
Tech Salon054:01美团关于配送范围的新作
2-Recce容器:突破动态化容器的天花板-叶师父&青总
学术沙龙16-互联网传送协议优化研究
配送场景下的无人车感知技术-史信楚
2-李起裕-美团收银支付动态化演进之路
2-美团运维自动化的演进-万千强
3-美团HTTPDNS实践-高鹏举
2-基于流量大数据的智能化测试体系建设与实践-王晓宇
1-前端异常监控系统建设-干黄标
3-吴仁润-DDD分层架构实践
1-内容搜索算法优化的探索与实践-一帆
4-定制化听者:文本引导的响应式交互,用于实现用户友好的听者头部生成-Ying Guo
2-信息流广告预估实践-三千屿
4-故障演练在稳定性测试中的应用与实践-毛伟宁
1-田文杰-小程序可测性能力建设与实践
2-美团电单车嵌入式技术分享-王东洋
1-美团App性能测试实践-霍贺凯
3-亚劼-美团外卖广告特征平台实践
2-应用可观测性技术建设-颜成吉
3-美团交易视频推荐探索与实践-正宇
2-王敬宇-稀疏模型推理加速在美团推荐系统中的实践
4-玉磊-美团搜索/推荐推理引擎实践
4-孙玉鑫-基于模式挖掘的可靠性治理探索
3-陈伟-美团前端研发框架Rome实践和演进趋势