视觉大模型 / VLM

RedDiffuser: Auditing Multimodal Safety Failures in Vision-Language Models via Reinforced Diffusion

RedDiffuser：通过强化扩散审计多模态安全故障

Ruofan Wang, Xingjun Ma

机构 * Fudan University（复旦大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 研究多模态系统在有害上下文暴露下的安全审计，提出RedDiffuser框架通过扩散模型生成视觉输入，揭示隐藏的安全漏洞，实验显示VLMs在部分有毒文本与视觉上下文结合时存在广泛安全问题。

MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration

MMAligner：通过表示校准保护多模态大语言模型

Shenyi Zhang, Keyan Guo, Zihao Wang, Xuebin Li, Lingchen Zhao, Hongxin Hu, Chao Shen, Qian Wang

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 MMAligner通过校准多模态大语言模型的表示，将不安全多模态输入的拒绝率提升至99%，仅造成不足2%的效用下降，显著优化了安全与效用的权衡。

Comments To Appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2026

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

从运动到安全：多模态大语言模型（MLLM）主动风险推理基准测试

Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title_cn,summary_cn)；分类 cs.CV

AI总结 该研究构建了运动主动风险推理基准SPRINT，评估发现当前MLLM危险感知率高但原因识别率低，仅具备表层主动安全能力，缺乏稳定的基于原因的早期预警。

Comments Preprints

HoloCount: A Holistic Visual Counting Benchmark for MLLMs

HoloCount：用于多模态大语言模型的整体视觉计数基准

Jinhong Deng, Limeng Qiao, Guanglu Wan

机构 * Meituan（美团） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态大语言模型定量精度瓶颈及现有计数基准局限，引入HoloCount基准，从语义、分析计数和鲁棒性测试三方面评估模型，经对20多个模型详尽评估，揭示其性能差距，为多模态系统发展提供路线图。

Comments Technical report

Respect Your Zero-Shot Uncertainty: Conservative Calibration for Test-Time-Adapted Vision-Language Models

重视零样本不确定性：面向测试时自适应视觉-语言模型的保守校准

Jingyan Jiang, Yaru Sun, Xiao Chen, Jiazhen Huang, Caiting Li, Zhijian He, Yin Chen, Pingting Hao

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对测试时自适应（TTA）视觉-语言模型校准度下降的问题，提出零样本锚定熵校准（ZAEC）方法，通过最小温度缩放恢复锐化预测的零样本熵，在多模型多数据集上实现了更低的期望校准误差（ECE）。

What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)

当前AI基准测试未测量的内容：模态、搜索、引用及其对安全评估的启示

Ro Encarnación, Tina Behzad, Emma Lurie, Danaé Metaxa

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 该研究发现AI基准测试未涵盖模态、搜索等关键因素，以ChatGPT为例对比两种模态及搜索条件，发现这些因素会影响模型准确率、一致性等，主张AI安全评估需纳入这些维度。

Comments 18 pages

TruthLens: Object Hallucination Detection via Self-Evaluating Truthfulness Scores in LVLMs

TruthLens：通过大型视觉语言模型（LVLM）中的自评估真实性分数检测对象幻觉

Yanqi Wu, Runhe Lai, Xinhua Lu, Qichao Chen, Zhiping Zhou, Jia-Xin Zhuang, Weijiang Yu, Ruixuan Wang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； University of Nottingham Malaysia（马来西亚诺丁汉大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV

AI总结 TruthLens 是一种无需额外成本的 LVLM 对象幻觉检测框架，通过微调 LM 头部输出真实性分数，在 MS-COCO 数据集上的 Qwen2.5-VL-7B 上实现了超 17% 的 AUROC 提升，性能达当前最优。

Comments Accepted by ECCV 2026

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

情绪很重要：句法敏感性如何破坏安全对齐

Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto

机构 * University of Mannheim（曼海姆大学） ； Technical University Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 该研究发现大型语言模型存在句法敏感性漏洞，16个700亿参数级模型可通过调控句法特征触发或抑制拒绝行为，源于开源模型后训练数据的语言偏见，增加句法多样性可缓解问题。