多模态大模型

T-QPM: Enabling Temporal Out-Of-Distribution Detection and Domain Generalization for Vision-Language Models in Open-World

T-QPM：面向开放世界视觉语言模型的时间分布外检测与域泛化

Aditi Naiknaware, Salimeh Sekeh

机构 * San Diego State University（圣地亚哥州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出T-QPM框架，通过时间四元模式匹配和轻量级融合权重学习，增强视觉语言模型在动态环境下的分布外检测和协变量偏移鲁棒性。

Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

面向机器人血管内导丝导航的视觉-语言程序化推理与上下文感知奖励建模

Wentong Tian, Jiyuan Zhao, Tianliang Yao, Yuxiang Fan, Zhengyu Shi, Dong Liu, Peng Qi

机构 * Department of Control Science and Engineering, College of Electronic and Information Engineering, and Shanghai Institute of Intelligent Science and Technology, Tongji University（同济大学电子与信息工程学院控制科学与工程系，以及上海智能科学与技术研究院） ； Department of Electronic Engineering, Faculty of Engineering, The Chinese University of Hong Kong（香港中文大学工程学院电子工程系） ； Shanghai Operation Robot Co., Ltd.（上海微创医疗机器人（集团）股份有限公司） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 提出视觉-语言程序化推理框架，利用多模态大模型实时理解视觉上下文，动态调整奖励权重，实现单策略适应复杂血管导航任务，提升可靠性与效率。

Comments This paper has been accepted by IEEE/RSJ IROS 2026. 7 pages, 4 figures, 2 tables

Rethinking the Role of Feature Engineering and Learning Strategies in Few-Shot Hidden Emotion Recognition

重新思考特征工程与学习策略在少样本隐藏情感识别中的作用

Xiaochuan Guo, Jihao Gu, Haixu Liu, Yuxin Liu, Qi Wang, Yufei Wang, Fei Wang, Kun Li, Dan Guo

机构 * Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Beihang University（北京航空航天大学） ； The University of New South Wales（新南威尔士大学） ； United Arab Emirates University（阿拉伯联合酋长国大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。

Improving Reasoning in Vision-Language Models via Perception Verified Self-Training

通过感知验证自训练提升视觉-语言模型的推理能力

Sourabh Sharma, Sonam Gupta, Sadbhawna

机构 * Malaviya National Institute of Technology Jaipur（马拉维亚国家理工学院斋浦尔分校） ； IBM Research（IBM研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出感知验证自训练框架，通过解耦感知与推理的CoT模板和无监督评估方法PerceptEval，结合两阶段课程学习，提升视觉-语言模型在视觉推理中的准确性并减少幻觉。

Comments Accepted at The European Conference on Computer Vision 2026

VGGSounder: Audio-Visual Evaluations for Foundation Models

VGGSounder：基础模型的音视频评估

Daniil Zverev, Thaddäus Wiedemer, Ameya Prabhu, Matthias Bethge, Wieland Brendel, A. Sophia Koepke

机构 * Technical University of Munich, MCML（慕尼黑技术大学，MCML） ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； MPI for Intelligent Systems, ELLIS Institute（智能系统Max Planck研究所，ELLIS研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对VGGSound数据集在音视频基础模型评估中的标签不完整、类别重叠和模态错位等问题，提出重新标注的多标签测试集VGGSounder，并引入模态混淆指标分析模型性能退化。

Comments Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

ASR-Agnostic Multimodal Spectrotemporal Modeling for Early Dementia Detection

ASR无关的多模态谱时建模用于早期痴呆检测

Chukwuemeka Ugwu, Oluwafemi Richard Oyeleke

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 提出一种不依赖语音识别的框架，直接从梅尔频谱图中提取谱时位移场作为数字生物标志物，结合CNN-ConvGRU声学嵌入和交叉注意力融合，在三种语言语料库上验证了多模态融合的语料依赖性。

LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music

基于多模态语音、手势和音乐的LLM驱动交互式机器人动作合成

Snehasis Banerjee, Ranjan Dasgupta

机构 * TCS Research, Tata Consultancy Services（塔塔咨询服务公司TCS研究院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出利用大语言模型融合语音、手势和音乐节拍等多模态输入，合成复杂机器人动作序列的框架，实现更自然的人机交互。

Comments IROS 2025 Workshop on Action and Interaction: Humans and Robots in Collaboration

On Optimizing Multimodal Jailbreaks for Spoken Language Models

关于优化口语语言模型的多模态越狱攻击

Aravind Krishnan, Karolina Stańczak, Dietrich Klakow

机构 * Saarland University（萨尔大学） ； DFKI GmbH（德国人工智能研究中心） ； ETH AI Center（ETH人工智能中心） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 提出联合音频文本多模态攻击框架JAMA，通过梯度优化同时扰动语音和文本模态，在四个SLM上实现1.5至20倍于单模态的越狱成功率，并分析其运行机制。

Comments Accepted at INTERSPEECH 2026

MAGE: Modality-Agnostic Music Generation and Target-Source Extraction

MAGE：模态无关的音乐生成与编辑

Muhammad Usama Saleem, Tejasvi Ravi, Tianyu Xu, Rajeev Nongpiur, Ishan Chatterjee, Mayur Jagdishbhai Patel, Pu Wang

机构 * Google（谷歌） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)

AI总结 MAGE提出了一种模态无关框架，统一了多模态音乐生成与混合编辑，通过可控多模态FluxFormer和音频视觉 nexus 对齐机制，实现灵活且高效的音乐生成与编辑。

Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection

弦外之音：ASR嵌入与LLM增强语言学联合学习用于痴呆检测

Olivier Jiyoun Jung, Jonghyeon Park, Myungwoo Oh

机构 * Division of Communication and Media, Ewha Womans University, South Korea（韩国梨花女子大学传播与媒体学院） ； NAVER Cloud, South Korea（韩国NAVER Cloud） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出多模态框架，结合Whisper的声学表示与LLM提取的语言特征，通过门控融合网络实现痴呆检测，在ADReSS和ADReSSo上F1分别达89.47%和90.14%。

Comments Accepted at INTERSPEECH 2026

Learning to Deny: Action Denial in Multimodal Large Language Models

学习拒绝：多模态大语言模型中的动作否定

Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UCF101-AD基准测试，评估多模态大语言模型在强上下文线索下识别动作缺失的能力，发现模型倾向于肯定动作而非验证其真实性，并通过因果图CausalAct减少误报。

Comments Accepted to ECCV 2026 main conference

Reflect-R1: Evidence-Driven Reflection for Self-Correction in Long Video Understanding

Reflect-R1：长视频理解中基于证据驱动的自纠正反思

Shuimu Chen, Yuteng Chen, Yuanshen Guan, Zebang Cheng, Zeyu Zhang, Shengqian Qin, Bin Xia, Jiaran Li, Wenming Yang, Fei Ma

机构 * Tsinghua University（清华大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； University of California（加利福尼亚大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Reflect-R1框架，通过直觉、验证、仲裁三阶段管道动态检索客观视觉证据，并设计阶段解耦强化学习算法SD-GRPO解决策略耦合，在长视频理解基准上达到最优性能。

Comments 2026 ECCV

MIRTH: Mutual-Information Reasoning with Temporal Hubs for Vision-Language-Action Agents

MIRTH：面向视觉-语言-动作智能体的基于互信息推理的时间枢纽

Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

机构 * College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MIRTH框架，通过双尺度时间记忆枢纽、互信息优化的潜在推理令牌和并行动作解码，解决VLA模型的时间短视、推理鸿沟和推理低效问题，在LIBERO和真实机器人上达到SOTA并展现错误恢复能力。

Comments Accepted as main conference paper at ACL 2026

RASR: Retrieval-Augmented Semantic Reasoning for Fake News Video Detection

RASR：基于检索的语义推理用于虚假新闻视频检测

Hui Li, Peien Ding, Jun Li, Guoqi Ma, Zhanyu Liu, Ge Xu, Junfeng Yao, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； School of Computer Science and Information Security, Guilin University of Electronic Technology（桂林电子科技大学计算机科学与信息安全学院） ； School of Computer and Big Data, Minjiang University（闽江学院计算机与大数据学院） ； Xiamen University（厦门大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出RASR框架，通过跨实例语义解析器和检索器、领域引导多模态推理模块和多视图特征解耦融合模块，提升虚假新闻视频检测的准确性和跨域泛化能力。

Comments The paper needs revision, and the experiments need to be expanded

EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning

EgoVITA：学习规划与验证以实现自我中心视频推理

Yogesh Kulkarni, Pooyan Fazli

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EgoVITA框架，通过先规划自我中心动作序列再以第三方视角验证时空一致性的方法，提升自我中心视频推理的准确性。

Comments ECCV 2026

EgoCogNav: Cognition-aware Human Egocentric Navigation

EgoCogNav: 认知感知的人类自我中心导航

Zhiwen Qiu, Ziang Liu, Wenqian Niu, Tapomayukh Bhattacharjee, Saleh Kalantari

机构 * Cornell University（康奈尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EgoCogNav多模态自我中心导航框架，联合预测路径不确定性、轨迹和头部运动，并引入CEN数据集，实验表明其能学习与人类扫描、犹豫等行为相关的感知不确定性。

Comments 15 pages, 4 figures

Individual-specific precision neuroimaging of learning-related plasticity

个体特异性精确神经影像学中的学习相关可塑性研究

Simon Leipold, Ryssa Moffat

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 本文提出一种个体特异性精确方法，通过高频采集高质量神经影像数据，追踪个体神经变化，结合行为测量和多模态技术，提升对学习轨迹的敏感度和个性化技能学习的理解。

Journal ref Neuroscience & Biobehavioral Reviews (2026), 188, 106824

Unsupervised Data-Efficient Cross-Modal Retrieval with Global-Neighborhood Alignment Hashing

基于全局邻域对齐哈希的无监督数据高效跨模态检索

Runhao Li, Xiaoxu Ma, Zhenyu Weng, Yue Zhang, Guibo Luo, Huiping Zhuang, Zhiping Lin, Yap-Peng Tan

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院） ； College of Computer and Information Engineering, Henan Normal University（河南师范大学计算机与信息工程学院） ； VinUniversity（Vin大学） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出全局邻域对齐哈希（GNAH），通过原型锚定全局对齐和对比随机邻域对齐，在少量图像-文本对下学习紧凑二进制码，实现数据高效的无监督跨模态检索。

Room Scene Discovery and Grouping in Unstructured Vacation Rental Image Collections

非结构化度假租赁图像集合中的房间场景发现与分组

Vignesh Ram Nithin Kappagantula, Shayan Hassantabar

机构 * Expedia Group（Expedia集团） 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.CV

AI总结 针对度假租赁平台图片缺乏结构化分类的问题，提出一种低延迟、样本高效的机器学习流水线，通过监督式房间类型检测、重叠检测和聚类算法实现房间分组，并利用多模态大语言模型识别床型，显著优于对比学习和预训练嵌入聚类方法。

Comments Presented at the Two-sided Marketplace Optimization Workshop, KDD 2025

ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models

ALM2Vec: 利用大型音频语言模型学习通用音频检索的音频嵌入

Fengjie Lu, Chenang Jiang, Jiarui Hai, Helin Wang, Aaron Yee

机构 * Zhejiang University（浙江大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。

Comments 7 pages, 3 figures

CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation

CoMet：多模态不确定性估计的上下文与多样性分解

Sanghyuk Chun, William Yang, Amaya Dharmasiri, Olga Russakovsky

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出CoMet方法，将多模态大模型的不确定性分解为上下文项和多样性项，通过轻量级后验模块高效估计，无需自回归生成或重复采样，在多个基准上优于现有方法。

Comments 33 pages, 13.3MB

Omni-Flow: A Unified Workflow Orchestration and Distributed KV Cache Sharing Framework for Multimodal Inference

Omni-Flow：面向多模态推理的统一工作流编排与分布式KV缓存共享框架

Bin Xiao, Jingfu Dong, Changran Wang, Yitian Chen, Xiaoyu Zhao, Yuqi Peng, Jianping Lin, Yuchen Xie

专题命中 多模态生成 ：multimodal(title,abstract)；omni-modal(abstract)

AI总结 提出Omni-Flow框架，通过三层抽象（控制流、数据流、计算流）统一编排多模态推理工作流，实现异构单元协同、分布式KV缓存共享与高效传输，支持多种多模态场景。

Comments 19 pages

IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing

IterCAD：一种用于视觉引导的CAD生成与编辑的迭代多模态智能体

Tao Hu, Jiaxin Ai, Licheng Wen, Xueheng Li, Shu Zou, Siqi Li, Nianchen Deng, Xinyu Cai, Hongbin Zhou, Pinlong Cai, Daocheng Fu, Yu Yang, Hairong Zhang, Botian Shi, Xuemeng Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出IterCAD，一种闭环交互式CAD生成与编辑的多模态智能体框架，通过渐进式SFT和几何感知强化学习优化，在代码可执行性和几何精度上显著超越现有方法。

AnyBokeh: Physics-Guided Any-to-Any Bokeh Editing with Optical Fingerprint Transfer

AnyBokeh: 物理引导的任意到任意散景编辑与光学指纹迁移

Xinyu Hou, Xiaoming Li, Zongsheng Yue, Chen Change Loy

专题命中 多模态生成 ：any-to-any(title,abstract)；分类 cs.CV

AI总结 提出AnyBokeh框架，通过估计源模糊状态的光学指纹并迁移到目标焦点和光圈设置，实现任意到任意散景编辑，避免全聚焦重建和测试时校准。

UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation

UniTac: 一种用于跨传感器触觉理解与生成的统一多模态模型

Jiahang Tu, Fengyu Yang, Chenyang Ma, Xihang Yu, Ziyao Zeng, Shaokai Wu, Hanbin Zhao, Zhi Tao, Chao Zhang, Hui Qian, Alex Wong

机构 * Zhejiang University（浙江大学） ； Yale University（耶鲁大学） ； University of Oxford（牛津大学） ； MIT（麻省理工学院） ； Shanghai Jiaotong University（上海交通大学） ； UNIX AI 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出UniTac，首个统一多模态模型，通过双级表示编码传感器和物体属性，实现触觉理解与生成，在跨传感器任务上达到最优性能。

Comments This paper has been accepted by ECCV 2026

AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation

AVTok: 用于整体音视频生成的1D统一分词化

Kien T. Pham, I Chieh Chen, Qifeng Chen, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM、eess.AS

AI总结 提出AVTok统一分词器，采用双流Transformer架构和分层训练策略，将音视频对编码为紧凑的一维潜在表示，在音视频重建及下游生成任务中表现优异。

Comments ECCV 2026

UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization

UniCoder: 通过符号奖励和参考引导代码优化的统一视觉到代码生成

Yaozhi Zheng, Yilei Jiang, Manyuan Zhang, Yuxuan Wan, Kaituo Feng, Tianshuo Peng, Bo Zhang, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出UniCoder框架，通过符号属性对齐实现密集元素级奖励，并利用参考引导代码优化策略克服探索停滞，在多个基准上达到与专有模型相当的性能。

Bridging Video Understanding and Generation in a Unified Framework

桥接视频理解与生成的统一框架

Yuqi Wang, Runyi Li, Ruoyu Feng, Renjie Chen, Wenfeng Lin, Mingyu Guo

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Vega统一框架，通过共享词汇表联合建模文本与视觉表示，结合自回归预测关键帧语义令牌与扩散模型渲染密集视频帧，在视频生成和理解基准上均取得强性能。

Comments technical blog

Editing Everything Everywhere All at Once

一次性编辑所有内容

Fabio Quattrini, Carmine Zaccagnino, Enis Simsar, Marta Tintoré Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） ； ETH Zurich（苏黎世联邦理工学院） ； Google（谷歌） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MICE方法，通过修改联合注意力机制中的加性偏置来调控多实例编辑中的交互，实现无需训练的多实例图像编辑，在保持全局一致性的同时增强属性绑定。

Comments Accepted at ECCV 2026

Do Not Break the Vessels: Structure-Preserving Mean Flow for Vascular Image Translation

不要破坏血管：用于血管图像翻译的结构保持平均流

Changjin Sun, Zhuo Hu, Kaini Wang, Baixuan Wu, Shuo Gao, Runan Zheng, Cheng Xue, Yudong Zhang, Guangquan Zhou

机构 * School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系） ； Zhejiang University（浙江大学） ； Suzhou Microclear Medical Instruments Co.（苏州微清医疗器械有限公司） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出结构保持平均流（SPMF）框架，通过拓扑不变传输和正交约束，在扩散模型中保持血管结构，并在NIRII-to-2PF和眼底数据集上达到最优性能。