多模态大模型

ReasonLight: A Multimodal Foundation Model-Enhanced Reinforcement Learning Framework for Zero-Shot Traffic Signal Control

ReasonLight: 一种多模态基础模型增强的强化学习框架用于零样本交通信号控制

Aoyu Pang, Maonan Wang, Yuejiao Xie, Chung Shue Chen, Zhiwei Yang, Man-On Pun

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）科学与工程学院） ； Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学机械与自动化工程系） ； Shanghai AI Laboratory, Shanghai, China（上海人工智能实验室） ； Nokia Bell Labs, Paris-Saclay, France（法国巴黎萨克雷诺基贝尔实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.AI

AI总结 提出ReasonLight框架，通过多模态基础模型增强强化学习，利用路侧传感器和摄像头数据实现零样本适应罕见交通事件，显著降低紧急车辆等待时间。

Semantic and Visual Evidence for Efficient Long-Video Reasoning: A Solution for the HD-EPIC VQA Challenge

面向高效长视频推理的语义与视觉证据：HD-EPIC VQA挑战赛的解决方案

Yinsong Xu, Wei Jing, Liuxin Zhang, Wanjun Lv, Hui Li

机构 * Lenovo, China（联想（中国）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种统一框架，通过解耦长视频推理为语义证据（粗到细提取全局过程结构）和视觉证据（基于目标的细粒度定位），并采用查询条件证据检索与整合，在HD-EPIC VQA挑战赛中取得竞争性能。

Not All Inputs Are Valid: Towards Open-Set Video Moment Retrieval Using Language

并非所有输入都有效：面向开放集视频时刻检索的语言方法

Xiang Fang, Wanlong Fang, Daizong Liu, Xiaoye Qu, Jianfeng Dong, Pan Zhou, Renfu Li, Zichuan Xu, Lixing Chen, Panpan Zheng, Yu Cheng

机构 * Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Zhejiang Gongshang University（浙江工商大学） ； Dalian University of Technology（大连理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Xinjiang University（新疆大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对开放集场景下视频时刻检索任务中无关查询导致错误检索的问题，提出基于归一化流的开放集视频时刻检索模型OpenVMR，实现分布内查询的精确检索与分布外查询的拒绝。

Comments Published in ACM MM 2024

HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis

HM-Talker：用于高保真说话头合成的混合运动建模

Shiyu Liu, Kui Jiang, Junjun Jiang, Xianming Liu, Xiaocheng Feng, Hongxun Yao, Qi Tian

机构 * Harbin Institute of Technology University（哈尔滨理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东省人工智能与数字经济实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出HM-Talker框架，通过混合显式发音线索与隐式韵律特征，结合交叉模态映射和随机特征配对策略，解决说话头生成中个性化与泛化的权衡问题，在视觉真实感和唇同步精度上超越现有方法。

MMTM: Tri-Modal Topic Modeling for Long-Form Video via Similarity-Gated Fusion

MMTM: 基于相似性门控融合的长视频三模态主题建模

Ali Abusaleh, Bhuvanesh Verma, Alexander Mehler

机构 * Text Technology Lab (TTLab), Goethe University Frankfurt（文本技术实验室（TTLab），法兰克福歌德大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出MMTM模块化流水线，通过相似性门控融合集成语音识别、音频和视觉嵌入及BERTopic聚类，在长视频主题发现中显著提升主题质量。

Comments Submitted to EMNLP 2026

Phase-Conditioned Imitation Learning with Autonomous Failure Recovery for Robust Deformable Object Manipulation

相位条件化模仿学习与自主故障恢复用于鲁棒可变形物体操作

Dayuan Chen, Kai Tang, Yukuan Zhang, Kazuhiro Kosuge, Yasuhisa Hirata

机构 * Department of Robotics, Tohoku University（东大理学院机器人系） ； JC STEM Lab of Robotics for Soft Materials, the Department of Electrical and Computer Engineering, Faculty of Engineering, The University of Hong Kong（香港大学工程学院电气与计算机工程系软材料机器人实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出一种相位条件化、力感知的闭环分层框架，通过FiLM调节的ACT编码器和多模态相位预测器实现自主故障恢复，显著提升可变形物体操作的成功率。

Comments Accepted to IEEE/ASME Transactions on Mechatronics