视觉大模型 / VLM

VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

VLM评判者能排序但无法评分：多模态评估中的任务依赖性不确定性

Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； AI Labs at Capital One（Capital One人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过置信预测框架分析VLM作为评判者的可靠性，发现任务依赖性显著影响评估不确定性，提出排名-评分解耦问题，揭示任务难度和标注质量对区间宽度的影响。

Value-Guided Iterative Refinement and the DIQ-H Benchmark for Evaluating VLM Robustness

基于价值引导的迭代精炼与DIQ-H基准：评估VLM鲁棒性的新方法

Hanwen Wan, Zexin Lin, Yixuan Deng, Xiaoqiang Ji

机构 * The School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）科学与工程学院） ； The School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院） ； The Shenzhen Institute of Artificial Intelligence and Robotics for Society, Shenzhen, China（深圳人工智能与机器人社会研究院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DIQ-H基准和VIR框架，通过模拟真实世界压力源评估VLM在连续序列中的鲁棒性，提升误差恢复和伦理一致性。

VIGNETTE: Socially Grounded Bias Evaluation for Vision-Language Models

VIGNETTE：面向视觉语言模型的社会性偏见评估

Chahat Raj, Bowen Wei, Aylin Caliskan, Antonios Anastasopoulos, Ziwei Zhu

机构 * George Mason University（乔治·马歇尔大学） ； University of Washington（华盛顿大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文提出VIGNETTE基准，通过多方向问题回答框架评估视觉语言模型的偏见，揭示模型在身份识别中的刻板印象和歧视性模式。

Comments Accepted to ACL 2026