多模态大模型

MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models

MODIX：一种无需训练的多模态信息驱动的位置索引缩放

Ruoxiang Huang, Zhen Yuan

机构 * Peking University（北京大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MODIX通过动态调整位置步长，基于模态特定贡献优化多模态模型的位置编码，提升多模态推理能力。

Comments Accepted by CVPR 2026 (Highlight). 10 pages, 2 figures, 5 tables

Challenging Vision-Language Models with Physically Deployable Multimodal Semantic Lighting Attacks

用可部署的多模态语义照明攻击挑战视觉-语言模型

Yingying Zhao, Chengyin Hu, Qike Zhang, Xin Li, Xin Wang, Yiwei Wei, Jiujiang Guo, Jiahuan Long, Tingsong Jiang, Wen Yao

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出MSLA攻击框架，通过可控对抗性照明攻击视觉-语言模型的多模态语义理解，揭示其在现实世界中的安全风险。

VPTracker: Global Vision-Language Tracking via Visual Prompt

VPTracker: 基于多模态大语言模型的全局视觉-语言跟踪

Jingchao Wang, Kaiwen Zhou, Zhijian Wu, Kunhua Ji, Dingjiang Huang, Yefeng Zheng

机构 * School of Data Science and Engineering, East China Normal University, Shanghai 200062, China（数据科学与工程学院，华东师范大学，上海200062，中国） ； Medical Artificial Intelligence Laboratory, Westlake University, Hangzhou 310024, China（医学人工智能实验室，西湖大学，杭州310024，中国） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出VPTracker，首个基于多模态大语言模型的全局视觉-语言跟踪框架，通过引入位置感知的视觉提示机制，提升跟踪鲁棒性和稳定性，有效抑制干扰。

Comments 7 pages

Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

Edu-MMBias: 一种三级多模态基准，用于在教育背景下审计视觉-语言模型中的社会偏见

Ruijia Li, Mingzi Zhang, Zengyi Yu, Yuang Wei, Bo Jiang

机构 * School of Computer Science and Technology, East China Normal University（东华师范大学计算机科学与技术学院） ； Shanghai Institute of Artificial Intelligence for Education, East China Normal University（东华师范大学教育人工智能研究所） ； Faculty of Education, East China Normal University（东华师范大学教育学院） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 本文提出Edu-MMBias基准，通过三级维度审计视觉-语言模型中的社会偏见，揭示模型存在补偿性类偏见和深层健康与种族刻板印象，视觉输入可触发偏见回潮。

WikiSeeker: Rethinking the Role of Vision-Language Models in Knowledge-Based Visual Question Answering

WikiSeeker: 重新思考视觉语言模型在基于知识的视觉问答中的作用

Yingjian Zhu, Xinming Wang, Kun Ding, Ying Wang, Bin Fan, Shiming Xiang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室 (MAIS)） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出WikiSeeker框架，通过引入多模态检索器和重新定义视觉语言模型的角色，提升多模态检索性能和答案质量，实现在EVQA、InfoSeek和M2KR数据集上的最优表现。

Comments Accepted by ACL 2026 Findings

Benchmarking Deflection and Hallucination in Large Vision-Language Models

对大视觉-语言模型中偏移和幻觉的基准测试

Nicholas Moratelli, Christopher Davis, Leonardo F. R. Ribeiro, Bill Byrne, Gonzalo Iglesias

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； Amazon AGI（亚马逊人工智能实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出VLM-DeflectionBench基准，通过2775个样本评估模型在冲突或不足证据下的行为，揭示模型在面对噪声或误导性证据时的偏移能力不足，为可靠的KB-VQA评估提供可扩展的基准。

Comments Accepted to ACL 2026

Boosting Visual Instruction Tuning with Self-Supervised Guidance

通过自监督指导提升视觉指令微调

Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris

机构 * Sorbonne Universite, CNRS, ISIR, F-75005 Paris, France（索邦大学、国家科学研究中心、ISIR、法国巴黎75005） ； Institut universitaire de France (IUF)（法国国家科学院（IUF）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种轻量方法，通过加入少量视觉基础自监督任务提升MLLMs的视觉推理能力，无需人工标注或架构修改，有效提升视觉中心评估性能。

HTDC: Hesitation-Triggered Differential Calibration for Mitigating Hallucination in Large Vision-Language Models

HTDC: 通过犹豫触发的微分校准缓解大视觉-语言模型中的幻觉

Xinyun Liu

机构 * Sichuan University（四川大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出HTDC，一种无需训练的解码框架，通过检测层间犹豫信号，仅在易出错步骤激活校准，有效抑制幻觉并保持任务准确性。

Comments 10 pages, 4 figures, 6 tables

LLM-HYPER: Generative CTR Modeling for Cold-Start Ad Personalization via LLM-Based Hypernetworks

LLM-HYPER：基于大语言模型的超网络生成CTR模型用于冷启动广告个性化

Luyi Ma, Wanjia Sherry Zhang, Zezhong Fan, Shubham Thakur, Kai Zhao, Kehui Yao, Ayush Agarwal, Rahul Iyer, Jason Cho, Jianpeng Xu, Evren Korpeoglu, Sushant Kumar, Kannan Achan

机构 * Walmart Global Tech（沃尔玛全球技术） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出LLM-HYPER框架，利用大语言模型作为超网络生成CTR估计器参数，通过少样本链式思维提示实现冷启动广告个性化，实验表明其在NDCG@10上优于基线方法55.9%。

MedConcept: Unsupervised Concept Discovery for Interpretability in Medical VLMs

MedConcept: 医学视觉语言模型中的无监督概念发现以实现可解释性

Md Rakibul Haque, KM Arefeen Sultan, Tushar Kataria, Shireen Elhabian

机构 * Kahlert School of Computing, University of Utah Scientific Computing（犹他大学计算学校科学计算） ； Imaging Institute, University of Utah（犹他大学影像研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 MedConcept通过无监督方法发现医学VLMs中的潜在概念，并利用临床可验证的文本语义进行解释，提供定量评估协议和三个概念评分以评估模型可解释性。

WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents

WebAgentGuard: 一种基于推理的守护模型，用于检测Web代理中的提示注入攻击

Yulin Chen, Tri Cao, Haoran Li, Yue Liu, Yibo Li, Yufei He, Le Minh Khoi, Yangqiu Song, Shuicheng Yan, Bryan Hooi

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出WebAgentGuard，一种基于推理的多模态守护模型，用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习，模型在多个基准测试中优于现有方法，同时保持代理的实用性，不引入额外延迟。