视觉大模型 / VLM

One Stone, Three Birds: Self-adaptive Optimal Transport for Multi-VLM Selection, Adaptation, and Ensembling

一石三鸟：面向多VLM选择、自适应与集成的自适应最优传输

Qiyu Xu, Zhanxuan Hu, Yu Duan, Yonghang Tai, Huafeng Li, Quanxue Gao, Xiangyong Cao

机构 * Xi’an Jiaotong University（西安交通大学） ； Yunnan Normal University（云南师范大学） ； Xidian University（西安电子科技大学） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出无训练框架OSTB，通过自适应最优传输估计共识样本-类别结构，同时解决多VLM的模型选择、目标域自适应和预测集成问题。

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

Guide Me Out: A Framework to Benchmark VLM Operators Communication in Crisis Scenarios

引导我出去：危机场景下评估VLM操作员通信的框架

Giacomo Gonella, Stefano Menini, Marco Guerini

机构 * Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） ； University of Trento（特伦托大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 提出一个基准框架，评估视觉语言模型在模拟疏散中引导平民的策略（窄播 vs. 广播）、环境表示（视觉 vs. 图）和威胁行为（静态 vs. 移动），发现窄播降低失败率，视觉表示主导性能，移动威胁增加失败率。

Zero-Shot Semantic Re-Identification for Autonomous Driving: A VLM Baseline Study

零样本语义重识别用于自动驾驶：一项VLM基线研究

Eduardo Borges, Manuel Abreu, Luís Garrote, Urbano J. Nunes

机构 * Autonomous Mobile Robot（自主移动机器人） ； University of Minho（明德大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出使用视觉-语言模型生成语义描述进行零样本重识别，在自动驾驶场景中实现与监督CNN基线相当的检索性能，并增强可解释性。

Comments 7 pages

NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis

NutriMLLM：用于膳食微量营养素分析的多模态大语言模型

Runze Yan, Minxiao Wang, Jiaying Lu, Darren Liu, Xiao Hu, Hanqi Luo

机构 * Emory University（埃默里大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有MLLM在膳食微量营养素估计中不可靠的问题，利用十年人口规模膳食回顾生成约110万图像-营养素三元组，微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM，在真实图像上实现65种营养素全覆盖，准确率匹配或超越专有模型。

Comments 35 pages, 10 figures, 1 table

How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects

需要多少反事实？通过电路和因果效应探究VLM幻觉

Abhivansh Gupta, Simardeep Singh, Advika Sinha, Shreyansh Modi, Akshat Tomar

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；visual language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过定义基于对数概率差异的因果影响度量，并利用电路发现技术，研究视觉语言模型幻觉输出的反事实鲁棒性，推导出检测不稳定所需的最小反事实样本数。

Do Vision-Language Models See Dwarf Galaxies the Way We Do?

视觉语言模型是否像我们一样看待矮星系？

Dimitrios Tanoglidis, Chin Yi Tan, Kate Overdeck, Alex Drlica-Wagner

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)

AI总结 评估视觉语言模型在识别超暗矮星系候选体任务中的表现，发现零样本模型能复现人类整体校准，但在个体层面存在显著差异，且不确定性估计不可靠。

Comments 8 pages, 4 figures; Accepted at the Conference on Physics and AI at Stanford University (PAI 2026)

Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees

自信记忆：具有概率保证的时空记忆不确定性量化

Harry Zhang, Nicolas Gorlo, Luca Carlone

机构 * MIT（麻省理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 针对机器人长期操作中VLM描述噪声大、视角不一致的问题，提出目标级语义不确定性评分，并集成到UQ-DAAAM系统中，通过主动选择高质量视图和融合多视角描述来降低不确定性，同时提供概率保证。

Uncertainty-Aware Intention Prediction for Human-to-Robot Assembly Teleoperation

面向人机装配遥操作的不确定性感知意图预测

Fnu Heman, Yixuan Wang, Kolin Xu, Conner Wallace, John Dang, Akhil Joshi, Jun Sheng, Pinhas Ben-Tzvi, Mingyu Cai

机构 * University of California, Riverside（加州大学河滨分校） ； University of Miami（迈阿密大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)

AI总结 提出结合层次迁移学习、共形预测和VLM引导校正的不确定性感知意图预测框架，利用人类演示数据预训练，仅用少量机器人数据即提升动作分割性能。

Comments 7 pages, 6 figures. Preprint version

Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation

关键位置引导：基于令牌级视觉敏感度引导的LVLMs幻觉缓解

Ruipeng Zhang, Zhihao Li, C. L. Philip Chen, Tong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出令牌级视觉敏感度引导（TLVS）方法，通过提取令牌级引导向量并自适应调整引导强度，仅在关键解码步骤抑制幻觉，在多个基准上优于现有方法。

Popcorn: A Configurable Benchmark for Visual Evidence in Multimodal Movie Recommendation

Popcorn: 多模态电影推荐中视觉证据的可配置基准

Ali Tourani, Fatemeh Nazary, Yashar Deldjoo, Tommaso Di Noia

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 提出Popcorn基准，通过配置合同标准化多模态电影推荐中的视觉证据（全片、预告片、缩略图）的嵌入、融合与评估，实验表明视觉源不可互换且影响推荐性能。

Comments 8 pages, 3 figures, 3 tables

ZIPP:Zero-shot Image Personalization from Personas

ZIPP：基于人物画像的零样本图像个性化生成

Harini SI, Somesh Singh, Yaman Kumar Singla, David Doermann, Rajiv Ratn Shah

机构 * Adobe Media and Data Science Research (MDSR)（Adobe媒体与数据科学研究（MDSR）） ； IIIT-Delhi（德里印度理工学院） ； SUNY at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出ZIPP方法，利用自然语言人物画像通过LLM改写提示词实现零样本图像个性化生成，无需用户数据或微调；引入ZIPBench基准，在多个评测中取得13-20%的提升。

AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs

AVI-Bench：迈向全模态大语言模型的人类级视听智能

Yaoting Wang, Ziyi Zhang, Wenming Tu, Shaoxuan Xu, Wenjie Du, Cheng Liang, Weijun Wang, Yuanchao Li, Guangyao Li, Hao Fei, Yuanchun Li, Henghui Ding, Yunxin Liu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出AVI-Bench基准，通过感知、理解、推理三阶段跨模态任务评估全模态大语言模型的视听智能，并引入AVI-Bench-PriSe测试原始视听感知，揭示当前模型局限，构建四级AVI分类体系。

Comments 31 pages, 8 figures, ICML 2026

A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers

视觉Transformer对抗微调的机制分析

Hannah Gao, Isha Agarwal, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 通过机制分析研究对抗微调对视觉Transformer在扰动和常规图像上性能的影响，发现微调仅改善特定类型扰动，未改变稀疏表示。

Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks

可解释的AML优先级排序与LLMs：证据检索与反事实检查

Dorothy Torres, Wei Cheng, Ke Hu

机构 * School of Science, Technology, Engineering and Mathematics（科学、技术、工程与数学学院） ； School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种可解释的AML优先级排序框架，结合证据增强的证据捆绑、结构化LLM输出合同和反事实验证，提升审计性和鲁棒性，实验证明其在优先级排序和证据支持方面表现优异。

Vision-Language Work Zone Intelligence for Safety-Critical Speed Regulation of Mixed-Autonomy Vehicles in Dynamic Environments

面向动态环境中混合自主车辆安全关键速度调节的视觉语言工作区智能

Angel Martinez-Sanchez, Kianna Ng, Wesley Maia, Laura Fleig, Maitrayee Keskar, Erika Maquiling, Yash Tandon, Parthib Roy, Mohan Trivedi, Ross Greer

机构 * UC Merced（加州大学默塞德分校） ； Johns Hopkins（约翰霍普金斯大学） ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV

AI总结 提出一种实时车载感知管线，通过目标检测与语义验证融合及滞后状态转换，从视觉标志中识别临时工作区限速，在低成本硬件上实现96.5%召回率和68.7%精确率。

Quantifying and Optimizing Simplicity via Polynomial Representations

通过多项式表示量化和优化简单性

Tianren Zhang, Xiangxin Li, Minghao Xiao, Guanyu Chen, Feng Chen

机构 * [cs.AI]（计算机科学与人工智能） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出多项式表示作为分布感知的低维神经函数代理，通过正交多项式基近似网络预测行为，以有效度作为简单性度量，并导出可微正则化器以提升泛化。

Comments ICML 2026