多模态大模型

FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision

FoleyGenEx: 统一视频到音频生成，具备多模态控制、时间对齐与语义精度

Shiyao Wang, Xijuan Zeng, Hui Wang, Shiwan Zhao, Feng Deng, Chen Zhang, Yong Qin

机构 * Academy for Advanced Interdisciplinary Studies, Nankai University（南开大学前沿交叉学科研究院） ； Kling Team, Kuaishou Technology（快手科技Kling团队） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出FoleyGenEx统一框架，通过条件注入、多模态动态掩码和副词数据增强，实现视频到音频生成中多模态控制、帧级时间对齐与细粒度语义的同步合成。

Comments Accepted by INTERSPEECH 2026

Journal ref INTERSPEECH 2026

RAMEN: Resolution-Adjustable Multimodal Encoder for Earth Observation

RAMEN: 面向地球观测的分辨率可调多模态编码器

Nicolas Houdré, Diego Marcos, Hugo Riffaud de Turckheim, Dino Ienco, Laurent Wendling, Camille Kurtz, Sylvain Lobry

机构 * Institut National des Sciences de l'Univers (INSU), France（法国国家科学研究院） ； CNRS, France（法国国家科学研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出RAMEN，一种传感器无关的分辨率可调多模态编码器，通过将分辨率作为可控参数，在统一潜空间中实现多模态地球观测数据的连贯分析，并在PANGAEA基准上优于现有模型。

Journal ref CVPR 2026

FEMOT: Multi-Object Tracking using Frame and Event Cameras

FEMOT: 使用帧和事件摄像机的多目标跟踪

Shiao Wang, Xiao Wang, Chao Wang, Yitao Li, Menghao Liu, Bo Jiang, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； Peng Cheng Laboratory（鹏城实验室） ； National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理全国重点实验室） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FEMOT大规模RGB-事件多目标跟踪数据集和FEMOTR多模态跟踪框架，通过频域融合解耦特征，有效利用互补信息实现鲁棒跟踪。

CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search

CoRe：一种持续奖励微调的LLM查询重写器，用于大规模视频搜索中的多阶段上下文感知相关性

Yilin Wen, Rong Yang, Xiaojia Chang, Hong Sun, Gefu Tang, Chunhui Liu, Jeffrey Chen, Zeyu Ma, Lisong Qiu, Xiaochuan Fan, Congjia Yu, Quan Zhou, Yuheng Chen, Zian Wang

机构 * TikTok 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出CoRe系统，通过半在线混合偏好优化和乘法奖励比，实现每周重新部署的LLM查询重写器，在多阶段视频搜索中显著降低变更查询率并提升相关性指标。

Comments 12 pages, 3 figures