多模态大模型

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。

Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding

Geo-Embed：面向城市理解的统一多模态嵌入

Jiapeng Li, Yong Li, Junjie Zhou, Fan Zhang, Yu Liu

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文针对现有多模态嵌入模型难以支持异构地理空间任务的问题，提出GeoMEB基准与Geo-Embed模型，在GeoMEB上实现15.3%的相对性能提升，为地理空间嵌入器发展提供方向。

Evidence-Grounded Multimodal Knowledge Graph Construction for Multi-Lecture Educational Reasoning

面向多讲座教育推理的证据 grounded 多模态知识图谱构建

Sahil Al Farib, Momota Ahsana Meem, Sheikh Redwanul Islam, Md. Tanvir Raihan

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对讲座视频知识保留不全问题，提出基于证据的多模态知识图谱构建流程，在神经网络讲座实验中取得高覆盖率与检索准确率，贡献可审计的知识图谱构建方法。

LocAnyMed: Vision-Language Grounding for Multimodal Medical Images

LocAnyMed：面向多模态医学图像的视觉-语言定位

Zihan Wang, Tong Liu, Zhiwei Wang, Tao Huang, Wentao Jiang, Sihan Ma, Shanshan Ye, Xiaohui Yang, Jing Zhang

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究构建多模态医学视觉定位数据集LocAnyMed-200K及理由增强子集LocAnyMed-CoT-20K，通过微调LocateAnything-3B提升医学定位性能，为相关研究提供统一基础。

Comments Technical report; work in progress. 28 pages, 5 figures, and 16 tables. Code: https://github.com/MiliLab/LocAnyMed

Attention is Case-Sensitive

注意力对字母大小写敏感

Maximilian Dillitzer, Tin Stribor Sohn, Jason J. Corso, Michael Auerbach

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究发现LLMs和VLMs存在大小写效应，即文本中目标信息采用特定大小写格式会调节注意力分配，但该效应不一定提升任务准确率，推理模型的思考阶段可缓解此效应，且该效应可部分迁移至VLMs。

Comments Accepted at ECCV 2026

Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

测试时对齐大型视觉语言模型：一种轨迹引导的结构化采样方法

Tianbao Jiang, Weicong Ni, Gerard de Melo, Linlin Wang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有视觉语言模型测试时对齐方法资源密集、训练与推理分布不匹配的问题，提出轨迹引导结构化采样的测试时对齐方法，在多模态推理数据集上提升准确率且推理开销可控。

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D：用于空间理解的通用三维视觉语言模型

Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出 Qwen-3D 三维视觉语言模型，通过多视角几何线索与三维旋转位置嵌入提升空间推理，在三维任务上超越现有 3D LMM，还保持二维任务性能。

Comments Project Page: https://qwen-3d.github.io/

Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI

自信但不可靠：对基于脑MRI的视觉语言模型的行为安全审计

Amir Sabbaghziarani, Mohammadsajad Abavisani, Sergey Plis

机构 * Georgia State University（佐治亚州立大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） ； TReNDS Center（TReNDS中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究对6个指令微调VLMs开展脑MRI行为安全审计，发现其置信度校准差、存在大量高置信度错误，提出医学图像VLM评估需报告置信度可靠性等指标。

Heterogeneity-Aware Microscaling for Efficient Low-Bit LLM Inference

面向高效低比特大语言模型推理的异构感知微缩放技术

Junyi Luo, Xinting Jiang, Tai-Hao Wen, Ruichen Qi, Minxing Chu, Hongyi Wu, Gregory Kielian, Ben Laurie, Qirui Zhang, Quan Cheng, Dennis Sylvester, Mehdi Saligane

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对低比特LLM推理的MX格式精度损失问题，提出异构感知的AdaMX格式与加速器，在不增加EBW的前提下提升精度、降低存储能耗，在多类LLM及多模态模型上表现优异。

Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping

通过跨模态自举学习音乐风格以实现钢琴编曲

Jingwei Zhao, Gus Xia, Ziyu Wang, Ye Wang

专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.AI、cs.MM、eess.AS

AI总结 本文提出跨模态框架，受BLIP-2启发用Q-Former从预训练音频LM提取风格表示，经两阶段训练实现可控风格钢琴编曲，在多项任务中提升了风格对齐与音乐质量。

Comments Accepted by ISMIR 2026

Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

听而能视：面向视听实例分割的状态感知聆听

Leiye Liu, Miao Zhang, Jiahong Jiang, Jingjing Li, Jialong Zhong, Kai Peng, Tingwei Liu, Wei Ji, Yongri Piao, Huchuan Lu

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出 Hear to See（H2S）模型，通过 ASP 和 ADM 机制解决视听实例分割中重叠声源匹配与异步动态跟踪问题，在 AVISeg 数据集上实现 SOTA 性能，mAP 达 48.54，较此前方法提升 7.8%。

Comments Accepted by ACM MM 2026

AI-Based Sound Effect Generation: A Narrative Review of Generative Models Across Input Modalities

基于AI的音效生成：跨输入模态生成模型的叙事性综述

Sandy Abdo, Bill Kapralos, Priyamvada Tripathi, KC Collins, Adam Dubrowski

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本章综述了跨文本、视觉等输入模态的AI音效生成模型，考察30篇文献，指出模型性能提升的同时存在时间同步局限等挑战，推动音效生成向自适应系统发展。

Comments 29 pages, 5 figures, to appear in G. A. Tsihrintzis, M. Virvou, N. Bourbakis, and L. C. Jain (Eds.), Advances in Global Applied Artificial Intelligence: Springer, Learning and Analytics in Intelligent Systems Book Series

Calliphony: A Calligraphy-Driven Interface for Real-Time Generative Music Performance

Calliphony：一种用于实时生成式音乐表演的书法驱动界面

Tristan Wu, Ruiji Yu, Gus Xia

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 该研究提出书法驱动的实时生成式音乐表演界面Calliphony，构建低延迟流水线捕捉毛笔运动映射为控制信号，实现多轨MIDI生成，将书法扩展为视听AI辅助表演场景，为现场音乐表演提供新方式。

Comments 6 pages, 4 figures. Published in the Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2026). The first two authors contributed equally

Journal ref Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2026), 2026

AirKey: Multimodal Acoustic-Assisted WiFi Sensing for Zero-Training Robust PIN Inference

AirKey：用于零训练鲁棒PIN推断的多模态声学辅助WiFi感知

BaiChuan Wu, Bin Liu, Xiang Zhang, Zhi Liu, Jie Zhang, Chao Liu, Huan Yan, Meng Li, Fusang Zhang

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 AirKey是一种多模态感知框架，通过利用IEEE 802.11机制和声学信号辅助WiFi感知，实现零训练鲁棒PIN推断，准确率超现有单模态方案4倍，可在6次尝试内恢复设备解锁PIN，凸显智能界面的隐私漏洞。

Comments Accepted by ACM MM 2026

Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent

Video-DeepResearch：迈向新一代多模态深度研究智能体

Zhen Fang, Yu Zeng, Wenxuan Huang, Yiming Zhao, Shiting Huang, Tianfei Ren, Qi Lu, Qingnan Ren, Qisheng Su, Lionel Z. Wang, Qingyu Yin, Shuang Chen, Zehui Chen, Lin Chen, Zhenfei Yin, Yao Hu, Shaohui Lin, Wanli Ouyang, Shaosheng Cao, Feng Zhao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出Video-DR智能体框架，通过解耦感知-探索流水线与分阶段工具解锁解决现有多模态模型的模态偏差和知识泄漏问题，构建基准并在视频问答任务上取得SOTA性能。

Multimodal Auto-regressive Transformer Surrogate for Modeling Variable Operations and Quantifying Uncertainty in Geological Carbon Storage

用于建模地质碳封存中可变操作与量化不确定性的多模态自回归Transformer代理模型

Yifu Han, Louis J. Durlofsky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出多模态自回归Transformer代理模型，用于地质碳封存中可变操作建模与不确定性量化，经4000次GEOS流模拟训练后，可精准预测相关参数并降低关键元参数的不确定性。

Minimax-Optimal Semiparametric Contextual Dynamic Pricing with Multimodal Revenue

带多模态收益的极小极大最优半参数情境动态定价

Xueping Gong, Zhuoluo Zhang, Zhaowei Miao, Jiheng Zhang

专题命中 视频多模态 ：multimodal(title)；分类 cs.AI

AI总结 该研究针对带多模态收益的情境动态定价问题，提出经试点校正的分层决策划分策略，达到依赖极小极大平滑性的时域速率，填补了半参数情境动态定价的相关理论空白。

Comments 53 pages

Frequency-Decorrelated Temporal Ensembles for EEG--fNIRS Imagined-Handwriting Decoding

用于EEG-fNIRS想象手写解码的频率去相关时间集成

Xiao Fan, Hongbin Guo, Yubo Han, Yi Zhang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究针对EEG-fNIRS想象手写解码难题，提出FRED系统，采用频率去相关时间集成等方法，在多模态脑机接口挑战赛中取得较好成绩，揭示了关键性能来源。

Better, Stronger, Faster, and Broader: Structured All-Mask Prediction for MLLM-Based Segmentation

更好、更强、更快、更广泛：基于多模态大型语言模型（MLLM）的结构化全掩码预测分割

Jiazhen Liu, Mingkuan Feng, Long Chen

机构 * The Hong Kong University of Science and Technology (HKUST)（香港科技大学） 纠错

专题命中 跨模态检索 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 STAMPlus通过结构化全掩码预测解耦自回归对话与非自回归掩码预测，解决了MLLM分割的三难问题，在提升性能的同时降低延迟，实现多类开放词汇等分割任务的SOTA表现。

ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models

ArtECulture：评测多模态大语言模型中的文化条件视觉情感理解

Xiaolin Chen, Xuemeng Song, Wenhao Shi, Xianjing Han, Mong-Li Lee, Wynne Hsu

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对现有视觉情感理解方法忽略文化差异的问题，提出ArtECulture基准与检索增强型文化条件情感理解框架，评估多模态大语言模型在该任务上的表现并验证框架的提升效果。

Bayesian Data Reweighting Improves Multimodal Retrieval for Knowledge-Based Visual Question Answering

贝叶斯数据重加权改进基于知识的视觉问答的多模态检索

Jingchen Sun, Shaobo Han, Ruiyi Zhang, Naresh Kumar Devulapally, Ming Liu, Yitao Long, Vishnu Suresh Lokhande, Changyou Chen

机构 * University at Buffalo（布法罗大学） ； NEC Laboratories America（美国 NEC 实验室） ； Adobe Research（奥多比研究院） ； Iowa State University（爱荷华州立大学） ； New York University（纽约大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 针对基于知识的视觉问答中多模态检索的负样本处理问题，提出贝叶斯数据重加权框架，通过概率建模与随机EM优化，在三个检索器和七个基准上提升了检索准确率。

DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning

DocTrace：面向可追溯的长文档视觉问答的分层证据图推理方法

Le Xiang, Zhicheng Guan, Hong Chen, Xiaocong Lin, Zhenghua Lei, Teng Hu, Bolei He, Long Zeng

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出DocTrace分层框架，将长文档视觉问答建模为显式证据图推理问题，经两阶段训练优化后，在三个基准上优于现有模型，且推理可追溯。

Learning Molecular Representations from Cellular Phenotypes with Structure Preservation

基于结构保留的细胞表型分子表示学习

Xuan Lin, Jingyu Sheng, Tengfei Ma, Li Sun, Dapeng Xiong

机构 * Xiangtan University（湘潭大学） ； Hunan University（湖南大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Southeast University（东南大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出结构保留的PhenMol框架，通过解耦分子与细胞表示实现表型引导对齐，在多类任务上提升性能，为药物发现整合细胞表型与化学知识提供了有效途径。

Dr. AGENTONOMICS: A Didactic Experiment of AGENTONOMICS

Dr. AGENTONOMICS：AGENTONOMICS的教学实验

Fengjunjie Pan, Alois Knoll

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究介绍了AGENTONOMICS框架的首个应用Dr. AGENTONOMICS，将其作为教学智能体，提出其可拓展为多角色系统并探讨其对多中心AI经济的意义。

Comments Technical report, Technical University of Munich

UniGD: A Unified Generative-Discriminative Framework for Industrial Retrieval

UniGD：面向工业检索的统一生成-判别框架

Shujie Ji, Yawei Kong, Yilin Zhao, Li Wang, Xialong Liu, Peng Jiang

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 UniGD是整合检索与相关性评分的统一框架，通过CAGE、CAM、HAM解决工业检索问题，在快手平台及NQ320K、MS300K数据集上均取得显著性能提升。

SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval

SeCo-SBIR：用于零样本草图-图像检索的语义一致提示学习

Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 SeCo-SBIR是解决CLIP适配ZS-SBIR时域适配与泛化矛盾的语义一致提示学习框架，结合多模态提示、一致性约束与多目标损失，在三类ZS-SBIR基准上达最优性能。

Comments ACMMM 26

Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation

像素上的模式：测量多模态代码生成中的模式完成偏差

Khai-Nguyen Nguyen, Oscar Chaparro, Antonio Mastropaolo

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态代码生成中存在的模式完成偏差问题，构建了首个视觉模式完成偏差基准，评估发现前沿MLLMs均存在严重偏差，且偏差与视觉显著性密切相关。

Comments 41st IEEE/ACM International Conference on Automated Software Engineering

CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

CURV：通过课程可视化接地推理增强图表理解

Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态大语言模型视觉接地与推理不足的问题，提出CURV课程学习框架，结合CCQA数据集，在图表问答任务中实现显著性能提升并具备良好泛化性。

ChartAnno: Evaluating MLLMs for Chart Annotation Generation

ChartAnno：评估多模态大语言模型的图表标注生成能力

Zhenghan Chen, Zekai Shao, Lidan Tan, Xin Lin, Xingchen Zeng, Yi Shan, Ziyue Lin, Xiaoliang Fu, Xinyuan Liu, Yuetong Guo, Fen Wang, Bongshin Lee, Siming Chen

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ChartAnno基准评估MLLMs的图表标注生成能力，实验显示专有模型表现更优，大规模开源模型正缩小差距，更具体指令可提升标注质量，图表图像仅在设计相关指标上有有限提升。

CorePath: A Breast-Specialized Pathology Foundation Model for Core Needle Biopsy Diagnosis and Risk-Controlled Report Generation

CorePath：用于核心针活检诊断和风险可控报告生成的乳腺专用病理基础模型

Ting Yin, Danning Li, Chen Shu, Xiaoxia Yao, Boyu Fu, Yujing Chang, Tianyu Shi, Mengna Feng, Jie Chen, Jing Fu, Xiuli Xiao, Tianlin Li, Mumin Shao, Jiaxin Bi, Wenchuan Zhang, Xiaoyan Wu, Xiao Han, Zhang Zhang, Yuhao Yi, Hong Bu

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究开发乳腺专用病理基础模型CorePath，经7901对数据微调后，在多队列及基准上的CNB诊断任务中性能优于现有模型，结合风险控制模块实现低幻觉的可靠报告生成。

Comments The code will be made publicly available upon publication