多模态大模型

Spatial Message Passing in Language Space for Pathology Image Interpretation

面向病理图像解读的语言空间空间消息传递

Jing-Cheng Yang, Hao-Jung Wang, Jinhao Du, Yang Hu, Ming-shan Tsai, Jens Rittscher, Bin Li

机构 * National Taiwan University（台湾大学） ； University of Oxford（牛津大学） ； ZYTCA Limited（ZYTCA有限公司） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出SLMP框架，在语言空间对病理图像执行空间推理，无需微调MLLM，提升肿瘤描述准确率，缩小通用与病理专用MLLM的性能差距。

Comments Accepted at MICCAI 2026 Workshop (Oral)

Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach

面向科技情报（STI）的高效多模态多语言观点抽取：一种基于QLoRA的微调方法

Sheng Hong, Xuanqi Wang, Jiacheng Wang, Yuwei Wang

机构 * Beihang University（北京航空航天大学） ； Nanchang University（南昌大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 本研究针对科技情报观点抽取的噪声过滤与结构化输出问题，提出基于QLoRA微调的多模态框架，在2194样本数据集上实现多语言观点抽取性能显著提升。

Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation

重新思考多模态零样本异常检测中的辅助模态：从语义融合到条件调制

Peng Wu, Xin Ge, Yujia Sun, Guansong Pang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本研究针对现有多模态零样本异常检测方法的缺陷，提出即插即用的辅助条件增强框架，通过全局到局部的条件调制实现选择性多模态增强，在MVTec 3D-AD等数据集上提升了现有RGB零样本异常检测器的性能并达到最优。

GALA: Generation-Aware Cross-Modal Alignment for Text-to-Time-Series Synthesis

GALA：面向文本到时间序列合成的生成感知跨模态对齐

Haochen Zhang, Gengwei Zhang, Laura Yao, Nicholas Knoz, Tianlong Chen

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CL

AI总结 本研究针对文本到时间序列合成中条件表示与信号模态不匹配的问题，提出GALA两阶段跨模态对齐方法，在TSFragment-600K数据集上实现SOTA，打破了生成器内部文本编码器的保真度与贴合度权衡。

Comments 21 pages, 6 figures

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation

FIRM：面向遥感推理分割的掩码细粒度令牌内表示

Weidong Tang, Kaiyu Li, Yikai Wang, Yanan Wu, Haotian Gan, Shihong Wang, Xiangyong Cao

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出FIRM模型，通过预测视觉令牌内的r×r二值子单元掩码代码结合轻量连续渲染器优化边界，在5个遥感推理分割基准上取得领先结果，提升了细粒度分割性能。

MINT: A Universal Zero-Shot Predictor for Transaction Data

MINT：一种用于交易数据的通用零样本预测器

Parameswaran Kamalaruban, Viktor Drobnyi, Maeve Madigan, Julia Rozanova, David Sutton, Stuart Burrell

机构 * Visa Inc.（维萨公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出通用零样本预测框架MINT，通过轻量级嵌入注入等技术连接交易序列编码器与LLM，在交易预测问答任务中性能领先且资源消耗更低，证实紧凑交易嵌入更具优势。

ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing

ProFocus：通过渐进式视觉聚焦解释艺术图像中的情感体验

Zhiyan Zhang, Zicheng Yan, Jianqi Chen, Peipei Song, Shanshan Wang, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Anhui University（安徽大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究针对现有方法无法捕捉艺术情感细微线索的问题，提出ProFocus框架，通过层级艺术评论家与渐进式提示融合模块，在ArtEmis数据集上实现了更优的情感识别与解释性能。

CRAFT: Constrained Reward via Attention Fine-Tuning for Subject Personalization without Composed Targets

CRAFT：无需组合目标的主题个性化的注意力微调约束奖励

Jihun Park, Kyoungmin Lee, Jongmin Gim, Hyeonseo Jo, Jaeyeul Kim, Han Zou, Zhenpeng Zhan, Yan Zhang, Sunghoon Im

机构 * DGIST（大邱科技研究院） ； Baidu, Inc.（百度公司） ； KAIST（韩国科学技术院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出无需组合目标监督的CRAFT框架，通过LoRA适配器微调参考感知MMDiT，仅用1万张参考样本，在XVerseBench上实现图像主题个性化的最先进性能，且可迁移至其他骨干网络。

Comments 20 pages, 8 figures, ACM SIGGRAPH Asia 2026

Seeing is Coding: On the Effectiveness of Vision Language Models in Code Understanding

CodeOCR: 关于视觉语言模型在代码理解中的有效性

Yuling Shi, Chaoxiang Xie, Zhensu Sun, Yeheng Chen, Chenxu Zhang, Longfei Yun, Chengcheng Wan, Hongyu Zhang, David Lo, Xiaodong Gu

机构 * Shanghai Jiao Tong University China ； Hohai University China ； Singapore Management University Singapore ； Imperial College London United Kingdom ； East China Normal University \& Shanghai Innovation Institute China ； Chongqing University China ； Shanghai Jiao Tong University ； Hohai University ； Singapore Management University ； Imperial College London ； East China Normal University \& Shanghai Innovation Institute ； Chongqing University 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文探讨多模态大语言模型在代码理解中的有效性，发现其可通过图像压缩显著提升效率，并在代码克隆检测等任务中表现出更强的抗压缩能力。

Comments ISSTA 2026 camera ready. Code and data are available at this https URL (https://github.com/YerbaPage/CodeOCR)

MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity

MedMix：模态异质性下的专业化一致联邦稀疏混合专家模型

Adiba Orzikulova, Dong Min Kim, Jaehong Yoon, Sung-Ju Lee

机构 * KAIST（韩国科学技术院） ； NTU Singapore（新加坡南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对联邦多模态医疗AI的客户端与样本级模态异质性问题，提出MedMix框架，通过模态上下文感知路由、共识引导路由对齐与客户端自适应专家聚合，在多模态医疗数据集上取得最优平均F1值，严重异质性下提升显著。

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。