多模态大模型

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。

Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding

Geo-Embed：面向城市理解的统一多模态嵌入

Jiapeng Li, Yong Li, Junjie Zhou, Fan Zhang, Yu Liu

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文针对现有多模态嵌入模型难以支持异构地理空间任务的问题，提出GeoMEB基准与Geo-Embed模型，在GeoMEB上实现15.3%的相对性能提升，为地理空间嵌入器发展提供方向。

Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning

面向多讲座教育推理的证据 grounded 多模态知识图谱构建

Sahil Al Farib, Momota Ahsana Meem, Sheikh Redwanul Islam, Md. Tanvir Raihan

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对讲座视频知识保留不全问题，提出基于证据的多模态知识图谱构建流程，在神经网络讲座实验中取得高覆盖率与检索准确率，贡献可审计的知识图谱构建方法。

LocAnyMed: Vision-Language Grounding for Multimodal Medical Images

LocAnyMed：面向多模态医学图像的视觉-语言定位

Zihan Wang, Tong Liu, Zhiwei Wang, Tao Huang, Wentao Jiang, Sihan Ma, Shanshan Ye, Xiaohui Yang, Jing Zhang

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究构建多模态医学视觉定位数据集LocAnyMed-200K及理由增强子集LocAnyMed-CoT-20K，通过微调LocateAnything-3B提升医学定位性能，为相关研究提供统一基础。

Comments Technical report; work in progress. 28 pages, 5 figures, and 16 tables. Code: https://github.com/MiliLab/LocAnyMed

Attention is Case-Sensitive

注意力对字母大小写敏感

Maximilian Dillitzer, Tin Stribor Sohn, Jason J. Corso, Michael Auerbach

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究发现LLMs和VLMs存在大小写效应，即文本中目标信息采用特定大小写格式会调节注意力分配，但该效应不一定提升任务准确率，推理模型的思考阶段可缓解此效应，且该效应可部分迁移至VLMs。

Comments Accepted at ECCV 2026

Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

测试时对齐大型视觉语言模型：一种轨迹引导的结构化采样方法

Tianbao Jiang, Weicong Ni, Gerard de Melo, Linlin Wang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有视觉语言模型测试时对齐方法资源密集、训练与推理分布不匹配的问题，提出轨迹引导结构化采样的测试时对齐方法，在多模态推理数据集上提升准确率且推理开销可控。

VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors

VLMs需要词语：视觉语言模型倾向于通过语义锚点而非视觉细节进行推理

Haz Sameen Shahgir, Xiaofu Chen, Yu Fu, Erfan Shayegani, Nael Abu-Ghazaleh, Yova Kementchedjhieva, Yue Dong

机构 * University of California, Riverside（加州大学河滨分校） ； MBZUAI（穆桑人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究发现视觉语言模型在需要细粒度视觉感知的任务中表现不佳，因其依赖语义锚点而非视觉细节。通过实验验证，模型在可命名实体上表现更佳，而Logit Lens分析显示其能恢复语义标签。任务特定微调可提升性能，无需语言先验。

Comments Accepted at the Conference on Language Modeling 2026

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D：用于空间理解的通用三维视觉语言模型

Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出 Qwen-3D 三维视觉语言模型，通过多视角几何线索与三维旋转位置嵌入提升空间推理，在三维任务上超越现有 3D LMM，还保持二维任务性能。

Comments Project Page: https://qwen-3d.github.io/

Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI

自信但不可靠：对基于脑MRI的视觉语言模型的行为安全审计

Amir Sabbaghziarani, Mohammadsajad Abavisani, Sergey Plis

机构 * Georgia State University（佐治亚州立大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） ； TReNDS Center（TReNDS中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究对6个指令微调VLMs开展脑MRI行为安全审计，发现其置信度校准差、存在大量高置信度错误，提出医学图像VLM评估需报告置信度可靠性等指标。

CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

CLIP4VI-ReID：通过CLIP语义桥学习模态共享表征用于可见光-红外行人重识别

Xiaomei Yang, Xizhan Gao, Sijie Niu, Fa Zhu, Guang Feng, Xiaofeng Qu, David Camacho

机构 * Shandong Key Laboratory of Ubiquitous Intelligent Computing, School of Information Science and Engineering, University of Jinan（山东 ubiquitous 智能计算重点实验室，信息科学与工程学院，济南大学） ； College of Information Science and Technology & College of Artificial Intelligence, Nanjing Forestry University（信息科学与技术学院及人工智能学院，南京林业大学） ； Computer Systems Engineering Department, Universidad Politécnica de Madrid（计算机系统工程系，马德里理工大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CLIP4VI-ReID网络，通过TSG、IFE、HSA模块及CLIP语义桥实现跨模态对齐，在VI-ReID任务上取得优于现有方法的性能。

Comments This article has been accepted for publication in IEEE Transactions on Biometrics, Behavior, and Identity Science

Heterogeneity-Aware Microscaling for Efficient Low-Bit LLM Inference

面向高效低比特大语言模型推理的异构感知微缩放技术

Junyi Luo, Xinting Jiang, Tai-Hao Wen, Ruichen Qi, Minxing Chu, Hongyi Wu, Gregory Kielian, Ben Laurie, Qirui Zhang, Quan Cheng, Dennis Sylvester, Mehdi Saligane

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对低比特LLM推理的MX格式精度损失问题，提出异构感知的AdaMX格式与加速器，在不增加EBW的前提下提升精度、降低存储能耗，在多类LLM及多模态模型上表现优异。

Beyond Text: Probing K-12 Educators' Perspectives and Ideas for Learning Opportunities Leveraging Multimodal Large Language Models

超越文本：探索K-12教育工作者对利用多模态大语言模型学习机会的视角和想法

Tiffany Tseng, Katelyn Lam, Tiffany Lin Fu, Alekhya Maram

专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 研究通过工作坊探讨K-12教育工作者对多模态大语言模型在教育中的应用看法，分析其面临的挑战与需求，提出两种用户导向的实施方法。

Audio-Visual World Models: Learning Physically Grounded Multisensory Dynamics

视听世界模型：为具身智能体奠定多感官想象的基础

Jiahua Wang, Leqi Zheng, Jialong Wu, Yaoxin Mao, Shijie Cheng

机构 * Tsinghua University（清华大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出视听世界模型（AVWM）统一框架，通过条件扩散Transformer（AV-CDiT）联合预测双耳音频与视觉动态，在30小时基准AVW-4k上实现高保真多模态预测，并验证其在具身导航中的有效性。

Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?

我们真的需要参数超过10亿的多模态情感语言模型吗？

Kaiwen Zheng, Junchen Fu, Wenhao Deng, Hu Han, Joemon M. Jose, Xuri Ge

机构 * University of Glasgow（格拉斯哥大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 质疑多模态情感识别需参数超10亿模型的假设，提出轻量级MER框架Light-MER，通过知识蒸馏及两种优化策略，在九个基准数据集实验中实现最优性能并显著提高推理效率，凸显小模型潜力。

Comments Accepted by ACM MM2026

Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping

通过跨模态自举学习音乐风格以实现钢琴编曲

Jingwei Zhao, Gus Xia, Ziyu Wang, Ye Wang

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.AI、cs.MM、eess.AS

AI总结 本文提出跨模态框架，受BLIP-2启发用Q-Former从预训练音频LM提取风格表示，经两阶段训练实现可控风格钢琴编曲，在多项任务中提升了风格对齐与音乐质量。

Comments Accepted by ISMIR 2026

Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

听而能视：面向视听实例分割的状态感知聆听

Leiye Liu, Miao Zhang, Jiahong Jiang, Jingjing Li, Jialong Zhong, Kai Peng, Tingwei Liu, Wei Ji, Yongri Piao, Huchuan Lu

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出 Hear to See（H2S）模型，通过 ASP 和 ADM 机制解决视听实例分割中重叠声源匹配与异步动态跟踪问题，在 AVISeg 数据集上实现 SOTA 性能，mAP 达 48.54，较此前方法提升 7.8%。

Comments Accepted by ACM MM 2026

Why Pre-trained Models Fail: Feature Entanglement in Multi-modal Depression Detection

预训练模型为何失效：多模态抑郁检测中的特征纠缠

Xiangyu Zhang, Beena Ahmed, Julien Epps

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 eess.AS

AI总结 本文针对预训练模型在多模态抑郁检测中性能差的问题，提出信息分离框架解纠缠混合特征，显著提升了SSL模型和LLMs的检测性能，为相关系统开发提供了新见解。

OPOD: On-Policy Omni Distillation

OPOD：基于策略的全模态蒸馏

Tong Zhao, Yuyang Hu, Yutao Zhu, Reed Li, Haijin Liang, Haibo Shi, Yu Lu, Zhicheng Dou

机构 * Tencent（腾讯） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；omni-modal(abstract)；分类 cs.AI

AI总结 研究旨在提升全模态模型能力，提出基于策略的全模态蒸馏（OPOD）方法，将学生响应路由到对应模态教师，调整教师影响，训练后仅留可部署的全模态模型，在多基准测试和多种骨干网络规模下取得优异成绩。

MUSE: A Heterogeneity-Aware Multimedia Search Engine for Mobile SoCs

AME：一种高效的异构代理记忆引擎用于智能手机

Xinkui Zhao, Qingyu Ma, Yifan Zhang, Hengxuan Lou, Sai Liu, Chang Liu, Guanjie Cheng, Naibo Wang, Yueshen Xu

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 AME是一种为智能手机设计的高效异构代理记忆引擎，通过硬件感知的矩阵流水线和调度方案提升内存处理效率，实现更高吞吐量和更低延迟。

Comments Accepted by the 34th ACM International Conference on Multimedia (MM '26). 9 pages, 11 figures

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

MIDI-LLM：通过适配大语言模型改进文本到MIDI的音乐生成

Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.MM

AI总结 该研究提出MIDI-LLM，通过适配Llama 3.2（1B）采用两阶段训练改进文本到MIDI生成，在用户研究中证实其在人机音乐协同创作中的有效性。

Comments Accepted to International Society for Music Information Retrieval (ISMIR) Conference 2026

AI-Based Sound Effect Generation: A Narrative Review of Generative Models Across Input Modalities

基于AI的音效生成：跨输入模态生成模型的叙事性综述

Sandy Abdo, Bill Kapralos, Priyamvada Tripathi, KC Collins, Adam Dubrowski

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本章综述了跨文本、视觉等输入模态的AI音效生成模型，考察30篇文献，指出模型性能提升的同时存在时间同步局限等挑战，推动音效生成向自适应系统发展。

Comments 29 pages, 5 figures, to appear in G. A. Tsihrintzis, M. Virvou, N. Bourbakis, and L. C. Jain (Eds.), Advances in Global Applied Artificial Intelligence: Springer, Learning and Analytics in Intelligent Systems Book Series

Calliphony: A Calligraphy-Driven Interface for Real-Time Generative Music Performance

Calliphony：一种用于实时生成式音乐表演的书法驱动界面

Tristan Wu, Ruiji Yu, Gus Xia

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 该研究提出书法驱动的实时生成式音乐表演界面Calliphony，构建低延迟流水线捕捉毛笔运动映射为控制信号，实现多轨MIDI生成，将书法扩展为视听AI辅助表演场景，为现场音乐表演提供新方式。

Comments 6 pages, 4 figures. Published in the Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2026). The first two authors contributed equally

Journal ref Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2026), 2026

P-MUSE: Prompt-MIDI-Optional Model for Unified Instrumental Music Synthesis and Editing

P-MUSE：用于统一器乐合成与编辑的提示-MIDI可选模型

Chong Jing, Junan Zhang, Jing Yang, Yulun Wu, Fan Fan, Zhizheng Wu

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 P-MUSE是统一器乐合成与编辑的MIDI-to-Music框架，通过多阶段课程学习整合两种生成范式，提出相位感知引导策略与尾端丢弃法，并建立含四类乐器的综合基准。

AirKey: Multimodal Acoustic-Assisted WiFi Sensing for Zero-Training Robust PIN Inference

AirKey：用于零训练鲁棒PIN推断的多模态声学辅助WiFi感知

BaiChuan Wu, Bin Liu, Xiang Zhang, Zhi Liu, Jie Zhang, Chao Liu, Huan Yan, Meng Li, Fusang Zhang

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 AirKey是一种多模态感知框架，通过利用IEEE 802.11机制和声学信号辅助WiFi感知，实现零训练鲁棒PIN推断，准确率超现有单模态方案4倍，可在6次尝试内恢复设备解锁PIN，凸显智能界面的隐私漏洞。

Comments Accepted by ACM MM 2026

Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent

Video-DeepResearch：迈向新一代多模态深度研究智能体

Zhen Fang, Yu Zeng, Wenxuan Huang, Yiming Zhao, Shiting Huang, Tianfei Ren, Qi Lu, Qingnan Ren, Qisheng Su, Lionel Z. Wang, Qingyu Yin, Shuang Chen, Zehui Chen, Lin Chen, Zhenfei Yin, Yao Hu, Shaohui Lin, Wanli Ouyang, Shaosheng Cao, Feng Zhao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出Video-DR智能体框架，通过解耦感知-探索流水线与分阶段工具解锁解决现有多模态模型的模态偏差和知识泄漏问题，构建基准并在视频问答任务上取得SOTA性能。

Multimodal Auto-regressive Transformer Surrogate for Modeling Variable Operations and Quantifying Uncertainty in Geological Carbon Storage

用于建模地质碳封存中可变操作与量化不确定性的多模态自回归Transformer代理模型

Yifu Han, Louis J. Durlofsky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出多模态自回归Transformer代理模型，用于地质碳封存中可变操作建模与不确定性量化，经4000次GEOS流模拟训练后，可精准预测相关参数并降低关键元参数的不确定性。

Fact-Checking at Scale: Multimodal AI for Authenticity and Context Verification in Online Media

大规模事实核查：用于在线媒体真实性与上下文验证的多模态AI

Van-Hoang Phan, Tung-Duong Le-Duc, Long-Khanh Pham, Anh-Thu Le, Quynh-Huong Dinh-Nguyen, Dang-Quan Vo, Hoang-Quoc Nguyen-Son, Anh-Duy Tran, Dang Vu, Minh-Son Dao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文为2025年ACM多媒体大会多媒体验证挑战赛开发了多模态验证系统，整合视觉取证等技术，可检测脱离上下文的媒体，提升了多媒体验证水平，为相关从业者提供实用工具。

Minimax-Optimal Semiparametric Contextual Dynamic Pricing with Multimodal Revenue

带多模态收益的极小极大最优半参数情境动态定价

Xueping Gong, Zhuoluo Zhang, Zhaowei Miao, Jiheng Zhang

专题命中 视频多模态 ：multimodal(title)；分类 cs.AI

AI总结 该研究针对带多模态收益的情境动态定价问题，提出经试点校正的分层决策划分策略，达到依赖极小极大平滑性的时域速率，填补了半参数情境动态定价的相关理论空白。

Comments 53 pages

Frequency-Decorrelated Temporal Ensembles for EEG--fNIRS Imagined-Handwriting Decoding

用于EEG-fNIRS想象手写解码的频率去相关时间集成

Xiao Fan, Hongbin Guo, Yubo Han, Yi Zhang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究针对EEG-fNIRS想象手写解码难题，提出FRED系统，采用频率去相关时间集成等方法，在多模态脑机接口挑战赛中取得较好成绩，揭示了关键性能来源。

Medical world models in healthcare: foundations, applications, and challenges for trustworthy clinical translation

医疗保健中的医学世界模型：可信临床翻译的基础、应用与挑战

Zhaoyan Chen, Zhongxiu Cong, Zhuanfeng Jin, Wanshu Fan, Dongsheng Zhou, Qi Ai, Haifan Gong, Congyu Liao, Xiaofeng Liu, Cong Wang

机构 * National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University（大连大学软件工程学院计算机辅助设计国家地方联合工程实验室） ； Department of Radiology, Xinhua Hospital Affiliated to Dalian University（大连大学附属新华医院放射科） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of California, San Francisco（加州大学旧金山分校） ； Yale University（耶鲁大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 探讨医学世界模型在医疗保健中的应用，通过结构化综合定义其领域相关内容，围绕四种能力组织，涵盖多方面证据，虽有早期可行性证据，但受多种因素限制，临床翻译需多方面保障。