多模态大模型

SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

SAB-LVLM: 面向大型视觉-语言模型的重要性感知二值化

Qi Lyu, Jiahua Dong, Baichen Liu, Xudong Wang, Mingfei Han, Yulun Zhang, Fahad Shahbaz Khan, Salman Khan, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems（机器人学国家重点实验室） ； Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SAB-LVLM方法，通过构建空间重要性图与模态引导整合策略，实现跨层跨模态权重重要性感知的二值化，在约1比特压缩下优于现有二值化方法。

ESC: Emotional Self-Correction for Reliable Vision-Language Models

ESC：面向可靠视觉语言模型的情感自我纠正

Tien-Huy Nguyen, Minh-Nhat Nguyen, Nguyen Nhat Huy, Hung Viet Nguyen, Huy Nguyen Minh Nhat, Thanh-Huy Nguyen, Cuong Tuan Nguyen, Hoang M. Le, Dat Nguyen, Phat Kim Huynh, Min Xu, Ulas Bagci

机构 * 1 GenAI4E Lab 2 University of Information Technology, Ho Chi Minh City, Vietnam 3 Universit\"at Trier, Germany 4 Ho Chi Minh University of Technology, Ho Chi Minh City, Vietnam 5 PAMI Lab, Vietnamese German University, Vietnam 6 Vietnam National University, Ho Chi Minh City, Vietnam 7 Carnegie Mellon University, USA 8 Omoshiroi AI, USA 9 Harvard University, USA 10 Basis Research Institute 11 PASSIO Laboratory, North Carolina A\&T State University, USA 12 Mohamed bin Zayed University of Artificial Intelligence, UAE 13 Northwestern University, USA [4pt] Equal contribution. Corresponding author 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出训练无关的ESC框架，通过外部验证器检测错误初始响应并注入情感反馈，促使VLM自我纠正，提升安全、幻觉、感知和多模态推理等任务的可靠性。

Comments ECCV Main Track 2026 (113 pages, 15 tables, 65 figures). Project Page: https://genai4e.github.io/ESC/?

Towards Interactive Global Geolocation Assistant

迈向交互式全球地理定位助手

Zhiyang Dou, Zipeng Wang, Xumeng Han, Guorong Li, Zhipei Huang, Zhenjun Han

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences (UCAS)（中国科学院大学先进交叉学科学院） ； School of Electronic, Electrical and Communication Engineering, UCAS（中国科学院大学电子、电气与通信工程学院） ； School of Computer Science and Technology, UCAS（中国科学院大学计算机科学与技术学院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出基于大型视觉语言模型的交互式全球地理定位助手GaGA，通过挖掘图像地理线索并结合世界知识进行定位，支持用户交互，在GWS15k数据集上达到最优性能。

Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning

基于强化学习的视觉语言模型视觉接地自反思

Liyan Tang, Fangcong Yin, Greg Durrett

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出VRRL框架，通过随机掩码轨迹前缀和缓冲回滚机制，增强视觉语言模型在分布外场景下的视觉接地自反思能力，显著提升准确率。

DynFly: Dynamic-Aware Continuous Trajectory Generation for UAV Vision-Language Navigation in Urban Environments

DynFly: 面向城市环境无人机视觉语言导航的动态感知连续轨迹生成

Wen Jiang, Hanfang Liang, Li Wang, Kangyao Huang, Wang Xu, Wei Fan, Jinyuan Liu, Shaoyu Liu, Hongwei Duan, Bin Xu, Xiangyang Ji, Huaping Liu

机构 * Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） ； Dalian University of Technology（大连理工大学） ； Xidian University（西安电子科技大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出DynFly框架，通过B样条控制点空间表示和Spline-DiT生成器，结合无人机动态感知监督，将高层导航意图转化为连续可执行轨迹，显著提升导航性能和轨迹质量。

Comments 34 pages, 9 figures

CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition

CLIP-AUTT: 基于动作单元提示的测试时个性化方法用于细粒度视频情绪识别

Muhammad Osama Zeeshan, Masoumeh Sharafi, Benoit Savary, Alessandro Lameiras Koerich, Marco Pedersoli, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal（LIVIA, ILLS, 系统工程学院, 蒙特利尔高等技术学院） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal（LIVIA, 软件与IT工程学院, 蒙特利尔高等技术学院） ； Dept. of Computer Science, École Polytechnique（计算机科学系, 巴黎综合理工学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出CLIP-AUTT，通过动作单元提示实现测试时个性化，提升细粒度视频情绪识别的鲁棒性和个性化能力。

Comments ECCV, 2026

NEARL: Interacted Query Adaptation with Orthogonal Regularization for Medical Vision-Language Understanding

NEARL: 基于正交正则化的交互式查询自适应用于医学视觉-语言理解

Zelin Peng, Yichen Zhao, Yu Huang, Piao Yang, Feilong Tang, Zhengqin Xu, Xiaokang Yang, Wei Shen

机构 * MoE Key Lab of Artificial Intelligence（人工智能MOE实验室） ； AI Institute（人工智能研究院） ； School of Computer Science（计算机科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； Department of Radiology（放射科） ； The First Affiliated Hospital（第一附属医院） ； School of Medicine（医学院） ； Zhejiang University（浙江大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； State Key Laboratory of Infrared Physics（红外物理国家重点实验室） ； Shanghai Institute of Technical Physics（上海技术物理研究所） ； Chinese Academy of Science（中国科学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出NEARL框架，通过统一协同嵌入变换器（USEformer）和正交交叉注意力适配器（OCA）实现双向跨模态交互，仅引入1.46M参数，在三个医学影像数据集上取得最先进性能。

VisionAId: An Offline-First Multimodal Android Assistant for People with Visual Impairment, Featuring Personalized Object Retrieval

VisionAId：一款面向视障人士的离线优先多模态安卓助手，具备个性化物品检索功能

Cristian-Gabriel Florea, Stelian Spînu

机构 * The Military Technical Academy ``Ferdinand I'', Bucharest, Romania（费迪南军事技术学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出离线优先多模态安卓助手VisionAId，集成六种端上深度学习模型，通过少样本流水线实现个性化物品检索，结合AR标记、空间音频和距离比例触觉反馈引导用户。

Comments 8 pages, 4 figures. Project repository available at: github.com

Multimodal In-context Learning for ASR of Low-resource Languages

多模态上下文学习用于低资源语言的语音识别

Zhaolin Li, Jan Niehues

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了通过多模态上下文学习提升低资源语言语音识别性能的方法，分析了跨语言迁移学习对模型效率的影响，并提出结合更强声学模型与语音LLM的改进系统。

Comments ACL 2026 findings

Do Multimodal Large Language Models Need Reasoning to Classify Dementia from Speech?

多模态大语言模型是否需要推理来从语音中分类痴呆症？

Liming Wang, Neguine Rezaii, Bradford C. Dickerson, James Glass

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文评估了多模态大语言模型在自动痴呆症分类中的推理能力，发现基于文本理由的策略会导致幻觉和不一致，并提出DeTAiL框架，通过非线性适配器和强化学习利用内部表示，在两个数据集上优于基线方法。

TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions

TimeChat-Captioner: 用时间感知和结构化的音视频字幕脚本化多场景视频

Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song, Ziyue Wang, Kun Ouyang, Yuanxin Liu, Lingpeng Kong, Qi Liu, Pengfei Wan, Kun Gai, Yuanxing Zhang, Xu Sun

机构 * South China University of Technology（华南理工大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 提出Omni密集描述任务，通过六维结构模式生成带时间戳的类脚本描述，构建OmniDCBench基准和SodaM评估指标，训练TimeChat-Captioner-7B模型，在音视频推理和时间定位任务上超越Gemini-2.5-Pro。

Scaling to Multimodal and Multichannel Heart Sound Classification with Synthetic and Augmented Biosignals

利用合成与增强生物信号实现多模态和多通道心音分类的规模化

Milan Marocchi, Matthew Fynn, Kayapanda Mandana, Yue Rong

机构 * School of Electrical Engineering, Computing, and Mathematical Sciences (EECMS), Faculty of Science and Engineering, Curtin University, Bentley, WA 6102, Australia（电气工程、计算与数学科学学院（EECMS），科学与工程学院， Curtin 大学，Bentley，WA 6102，澳大利亚） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 针对心音分类中同步和多通道数据集有限的问题，提出结合传统信号处理与去噪扩散模型生成增强数据，微调Wav2Vec 2.0分类器，在多个数据集上取得最优性能。

Comments 35 pages, 37 figures, 19 tables

Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

推理大模型提升长篇电视剧中的说话人识别

Yuxuan Li, Lingxi Xie, Xinyue Huo, Jihao Qiu, Jiacheng Shao, Pengfei Chen, Jiannan Ge, Kaiwen Duan, Qi Tian

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出DramaSR-532K大规模基准和基于推理大模型的DramaSR-LRM方法，通过多模态工具使用聚合上下文证据，显著提升长篇电视剧中说话人识别准确率，尤其对短话语效果显著。

Comments Accepted to ICML 2026

An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation

基于vLLM的高效统一音频理解与生成推理管线

Haoran Wang, Jinchuan Tian, Siddhant Arora, Shinji Watanabe

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出基于vLLM的推理管线，通过扩展自回归解码支持多流采样和延迟模式解交织，并利用协同调度实现CFG下80%的非CFG吞吐量。

SelectTSL: Prompt-Guided Selective Target Sound Localization in Complex Scenarios

SelectTSL：复杂场景中提示引导的选择性目标声音定位

Ziyang Jiang, Yu Chen, Zexu Pan, Xinyuan Qian, Bowen Xing, Ivor W. Tsang, Xu-Cheng Yin, Haizhou Li

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出SelectTSL架构，通过提示引导的选择性注意力模块增强相位差，实现多源声场中仅定位用户指定目标，并估计到达方向和目标源数量。

LLM can Read Spectrogram: Encoder-free Speech-Language Modeling

LLM 能读频谱图：无编码器的语音语言建模

Ruchao Fan, Yiming Wang, Yuxuan Hu, Bo Ren, Yufei Xia, Xiaofei Wang, Yao Qian, Shujie Liu, Jinyu Li

机构 * Microsoft, USA（微软公司，美国） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 提出 Mel-LLM，一种无需专用语音编码器、直接将梅尔频谱图补丁通过线性投影输入 LLM 的架构，在 ASR 和 TTS 任务上验证了其可行性，ASR 性能与有编码器方案相当，TTS 初步可行。

OmniGAIA: Towards Native Omni-Modal AI Agents

OmniGAIA：迈向原生全模态AI代理

Xiaoxi Li, Wenxiang Jiao, Jiarui Jin, Haoxuan Li, Hao Wang, Shijian Wang, Guanting Dong, Jiajie Jin, Yinuo Wang, Yuan Lu, Ji-Rong Wen, Zhicheng Dou, Zhouchen Lin

机构 * Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） ； Peking University（北京大学） ； Southeast University（东南大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出OmniGAIA基准和OmniAtlas代理，通过全模态事件图和后见引导树探索策略，实现跨视频、音频和图像的深度推理与工具使用。

Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning

增强视听视频字幕的时间与跨模态对齐

Chen Zhao, Jiajun Ma, Qilong Huang, Tiehan Fan, Hongyu Li, Zhuoliang Kang, Xiaoming Wei, Jian Yang, Ying Tai

机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。

Comments ECCV 2026

ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

ForeSea：面向视频监控的多模态查询AI取证搜索

Hyojin Park, Yi Li, Janghoon Cho, Sungha Choi, Jungsoo Lee, Taotao Jing, Shuai Zhang, Munawar Hayat, Dashan Gao, Ning Bi, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对监控视频中多模态查询与时间定位难题，提出ForeSea系统，采用三阶段即插即用流程，结合跟踪、多模态嵌入和视频LLM，在ForeSeaQA基准上准确率提升3.1%，时间IoU提升10.1%。

Comments ECCV2026

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA：视频JEPA结合多模态轨迹蒸馏实现端到端驾驶

Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

机构 * Virginia Tech（弗吉尼亚理工学院） ； Purdue University（普渡大学） ； XPENG Motors（小鹏汽车） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Drive-JEPA框架，结合视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏，通过自监督视频预训练和动量感知选择机制提升端到端驾驶的规划性能，在NAVSIM上达到新最优。

ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

ReQuest：基于重新思考的问题感知帧选择用于长视频问答

Minkuk Kim, Suyong Yun, Young Tae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出ReQuest，一种不确定性驱动的、问题自适应的关键帧选择方法，通过轻量级选择器、重新思考路由和不确定性引导的NMS，在固定token预算下提升长视频问答准确率。

Comments Accepted at ECCV 2026

Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs

学习演化场景：用场景图推理人类活动

Francesca Pistilli, Simone Alberto Peirone, Giuseppe Averta

机构 * Politecnico di Torino（托斯托大学） 纠错

专题命中 视频多模态 ：MLLM(abstract_cn)；分类 cs.CV

AI总结 提出SG-Ego标注集和GLEN模型，通过时空场景图显式建模人-环境交互的动态演化，实现活动驱动的场景变化推理与预测。

Comments Project page at https://francescapistilli.github.io/GLEN

Spatio-Temporal and Clinical Conditioning for Fine-Grained Radiology Report Retrieval

细粒度放射学报告检索的时空与临床条件化

P. Sloan, E. Simpson, M. Mirmehdi

机构 * Department of Computer Science University of Bristol（计算机科学系 布里斯托大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出STAR3框架，通过区域级解剖信息与临床指征及纵向变化对齐，实现基于检索的放射学报告生成，在MIMIC-CXR上优于现有方法。

Comments 14 pages, 2 figures, 6 tables

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

先构建图！通过场景图实现长视频第一人称视频推理

Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

机构 * Politecnico di Milano（米兰理工大学） ； Bocconi University（博科尼大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出利用第一人称场景图（EgoSGs）将长视频压缩为紧凑文本表示，在保持语义丰富性的同时大幅减少输入长度，使多模态大模型能在令牌预算内高效推理，在HD-EPIC VQA上取得最优结果。

DAP: Doppler-aware Point Network for Heterogeneous mmWave Action Recognition

DAP：面向异构毫米波的点网络用于人类动作识别

Jiaying Lin, Shiman Wu, Jinfu Liu, Can Wang, Mengyuan Liu

机构 * Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； DJI Technology Company Ltd.（大疆技术创新有限公司） ； Christian-Albrechts-Universität zu Kiel（基尔大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DAP-Net，通过异构雷达源的跨模态对齐和D2R模块实现点云增强，提升动作识别的鲁棒性与准确性。

Event-based vision sensing and its application to pedestrian detection for intelligent transportation and surveillance

基于事件的视觉感知及其在智能交通与监控中行人检测的应用

Han Wang, Juntao Wu, Jingyuan Bao, Min Liu, Yaoxiong Wang, Saiao Zhou, Yuman Nie, Yun Li

机构 * Han Wang, Juntao Wu, Jingyuan Bao, Min Liu, Yaoxiong Wang, Saiao Zhou, Yuman Nie, Yun Li（未知） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 综述事件视觉感知原理及其在行人检测中的应用，比较事件驱动与传统帧方法的优劣，分析现有方法并讨论开放挑战与未来方向。

Comments Published in Advanced Engineering Informatics, Vol. 76, Part B, 104989 (2026). Received 31 December 2025; Revised 3 June 2026; Accepted 18 June 2026; Available online 23 June 2026. DOI: 10.1016/j.aei.2026.104989

CADENZA in Action: Breaking the Monolith with Intent-Dependent Plan Spaces for Semantic Queries

CADENZA 在行动：通过意图依赖的计划空间打破语义查询的单一架构

Jaehyun Ha, Yongjoo Park, Wook-Shin Han

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出CADENZA语义算子优化器，将意图分解为步骤并选择物理实现，根据用户偏好调优参数，平衡质量、延迟和成本。

Journal ref VLDB 2026

InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

InduceKV: 通过诱导KV记忆实现多模态大语言模型的固定足迹持续适应

Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

机构 * Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出InduceKV方法，通过检索将训练前缀存储为注意力就绪的记忆条目，在固定内存预算下实现多模态大语言模型的持续适应，无需更新骨干模型。

Wiki-R1: Incentivizing Multimodal Reasoning for Knowledge-based VQA via Data and Sampling Curriculum

Wiki-R1: 通过数据和采样课程激励基于知识的多模态推理用于VQA

Shan Ning, Longtian Qiu, Xuming He

机构 * ShanghaiTech University（上海科技大学） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） ； Lingang Laboratory（临港实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Wiki-R1框架，通过可控课程数据生成和课程采样策略，结合强化学习激励MLLMs在KB-VQA中的推理能力，在Encyclopedic VQA和InfoSeek上取得新SOTA。

Comments Accepted by ICLR 26, code and weights are publicly available

Follow My Eyes: Backdoor Attacks on Goal-Directed Scanpath Prediction

跟随我的眼睛：基于VLM的扫视路径预测的后门攻击

Diana Romero, Mutahar Ali, Momin Ahmad Khan, Habiba Farrukh, Fatima Anwar, Salma Elmalaki

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文首次研究了针对基于VLM的扫视路径预测的后门攻击，通过设计两种可变输出攻击方法，展示了如何在不同触发模式下绕过检测，验证了边缘部署系统的实际威胁。