多模态大模型

SAKE: Self-aware Knowledge Exploitation-Exploration for Grounded Multimodal Named Entity Recognition

SAKE: 为基于地面的多模态命名实体识别的自我意识知识利用-探索

Jielong Tang, Xujie Yuan, Jiayang Liu, Jianxing Yu, Xiao Dong, Lin Chen, Yunlai Teng, Shimin Di, Jian Yin

机构 * Sun Yat-sen University（中山大学） ； Shandong Normal University（山东师范大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Southeast University（东南大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CL

AI总结 针对开放世界社交媒体平台中长尾、快速演变和未见实体的挑战，SAKE提出一种端到端代理框架，通过自我意识推理和自适应搜索工具调用，结合内部知识利用和外部知识探索，提升多模态命名实体识别的精度与鲁棒性。

Comments 23 pages, 12 figures

Cross-Modal Taxonomic Generalization in (Vision-) Language Models

跨模态分类泛化在（视觉-）语言模型中

Tianyang Xu, Marcelo Sandoval-Castaneda, Karen Livescu, Greg Shakhnarovich, Kanishka Misra

机构 * Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了语言模型在无显性证据情况下通过跨模态泛化恢复超范畴知识的能力，发现语言模型能基于语言线索实现泛化。

Comments ACL 2026 (main conference)

AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization

AdaMMS: 为异构多模态大语言模型设计的模型融合方法

Yiyang Du, Xiaochen Wang, Chi Chen, Jiabo Ye, Yiru Wang, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Zhifang Sui, Maosong Sun, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University（计算机科学与技术系，人工智能研究院，清华大学） ； Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； State Key Laboratory of Multimedia Information Processing, Peking University（多媒体信息处理国家重点实验室，北京大学） ； School of Software Microelectronics, Peking University（软件微电子学院，北京大学） ； Institute of Intelligent Computing, Alibaba Group（智能计算研究院，阿里巴巴集团） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） ； Jiangsu Collaborative Innovation Center for Language Competence, Jiangsu, China（江苏省语言能力协同创新中心，江苏，中国） ； ModelTC Open Source Organization, Beijing, China（ModelTC开源组织，北京，中国） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出AdaMMS，一种针对异构多模态大语言模型的模型融合方法，通过映射、融合和搜索三个步骤解决异构模型融合难题，无需标注数据即可在视觉语言基准测试中超越现有方法。

Comments CVPR 2025

Infection-Reasoner: A Compact Vision-Language Model for Wound Infection Classification with Evidence-Grounded Clinical Reasoning

Infection-Reasoner: 一种用于伤口感染分类的紧凑视觉-语言模型，结合证据支撑的临床推理

Palawat Busaranuvong, Reza Saadati Fard, Emmanuel Agu, Deepak Kumar, Shefalika Gautam, Bengisu Tulu, Diane Strong

机构 * Worcester Polytechnic Institute（沃斯特理工学院） ； UMass Chan Medical School（UMass Chan医学院） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Infection-Reasoner，一种紧凑的视觉-语言模型，通过两阶段训练提升伤口感染分类和推理生成的准确性与解释性，实验结果显示其在分类和推理质量上优于现有方法。

Retinex Meets Language: A Physics-Semantics-Guided Underwater Image Enhancement Network

Retinex 与语言的结合：一种物理-语义引导的水下图像增强网络

Shixuan Xu, Yabo Liu, Chao Huang, Junyu Dong, Xinghui Dong

机构 * State Key Laboratory of Physical Oceanography and the Faculty of Information Science and Engineering, Ocean University of China（物理海洋学国家重点实验室和中国海洋大学信息科学与工程学院） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen university（中山大学深圳校区计算机科学与技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出PSG-UIENet，结合Retinex光照校正与语言引导，通过构建LUIQD-TD数据集和设计ITSS损失函数，提升水下图像增强效果。

OMIBench: Benchmarking Olympiad-Level Multi-Image Reasoning in Large Vision-Language Model

OMIBench：用于大型视觉-语言模型在奥林匹克级多图像推理中的基准测试

Qiguang Chen, Chengyu Luan, Jiajun Wu, Qiming Yu, Yi Yang, Yizhuo Li, Jingqi Tong, Xiachong Feng, Libo Qin, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Central South University（中南大学） ； Fudan University（复旦大学） ； The University of Hong Kong（香港大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Text Computing and Cognitive Intelligence Ministry of Education Engineering Research Center（教育部文本计算与认知智能工程研究中心） ； Guizhou University（贵州大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 OMIBench旨在评估多图像推理能力，包含生物、化学、数学和物理奥林匹克问题，提供精确和语义答案匹配的评估协议，实验显示现有模型性能存在显著差距。

Comments ACL 2026 Camera Ready

CLIP-SVD: Efficient and Interpretable Vision-Language Adaptation via Singular Values

CLIP-SVD：通过奇异值实现高效且可解释的视觉-语言适应

Taha Koleilat, Hassan Rivaz, Yiming Xiao

机构 * Department of Electrical & Computer Engineering, Concordia University（康科迪亚大学电气与计算机工程系） ； Department of Computer Science & Software Engineering, Concordia University（康科迪亚大学计算机科学与软件工程系） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 CLIP-SVD通过奇异值微调方法，以0.04%的参数量实现高效视觉-语言模型适应，提升适应性能并保留泛化能力，在11个自然和10个生物医学数据集上取得最佳分类结果。

Comments TMLR 2026

Evian: Towards Explainable Visual Instruction-tuning Data Auditing

Evian：迈向可解释的视觉指令微调数据审计

Zimu Jia, Mingjie Xu, Andrew Estornell, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Evian框架，通过分解评估模型响应的三大认知组件，解决数据审计中逻辑一致性与事实准确性不足的问题，验证高质量小规模数据优于大规模低质量数据。

Comments Accepted at ACL 2026

Object Referring-Guided Scanpath Prediction with Perception-Enhanced Vision-Language Models

基于感知增强的视觉-语言模型的物体指称引导的注视路径预测

Rong Quan, Yantao Lai, Dong Liang, Jie Qin

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出ScanVLA模型，通过融合视觉和语言特征提升物体指称引导的注视路径预测性能，引入历史增强解码器和冻结分割LoRA辅助定位，提升预测精度且不增加计算成本。

Comments ICMR 2026

CLIP-RD: Relative Distillation for Efficient CLIP Knowledge Distillation

CLIP-RD：基于相对蒸馏的高效CLIP知识蒸馏

Jeannie Chung, Hanna Jang, Ingyeong Yang, Uiwon Hwang, Jaehyeong Sim

机构 * Ewha Womans University（东亚妇女大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CLIP-RD框架，通过引入垂直关系蒸馏和交叉关系蒸馏方法，提升学生模型对教师模型多方向关系的保留能力，实现更高效的CLIP知识蒸馏。

Semantic-guided Gaussian Splatting for High-Fidelity Underwater Scene Reconstruction

语义引导的高斯点云法用于高保真水下场景重建

Zhuodong Jiang, Haoran Wang, Guoxi Huang, Brett Seymour, Nantheera Anantrasirichai

机构 * School of Computer Science, University of Bristol（布里斯托大学计算机科学学院） ； Submerged Resources Centre（水下资源中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SWAGSplatting框架，通过整合语义先验信息提升水下场景重建的保真度，采用语义一致性损失和自适应高斯点云重分配策略，有效解决光照不均问题，实验验证其在PSNR、SSIM和LPIPS指标上的优越性。

R-CoV: Region-Aware Chain-of-Verification for Alleviating Object Hallucinations in LVLMs

R-CoV：区域感知的验证链用于减轻LVLMs中的物体幻觉

Jiahao Xie, Alessio Tonioni, Nathalie Rauschmayr, Federico Tombari, Bernt Schiele

机构 * Max Planck Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC） ； VIA Research Center（VIA研究中心） ； Google（谷歌） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 R-CoV通过区域感知的验证链方法，减轻LVLMs中的物体幻觉问题，采用六步流程，无需额外训练即可集成至多种LVLMs，实验表明有效缓解幻觉。