视觉大模型 / VLM

Beyond Standard Benchmarks: A Systematic Audit of Vision-Language Model's Robustness to Natural Semantic Variation Across Diverse Tasks

超越标准基准：对视觉-语言模型在不同任务中对自然语义变化鲁棒性的系统审计

Jia Chengyu, AprilPyone MaungMaung, Huy H. Nguyen, Jinyin Chen, Isao Echizen

机构 * Zhejiang University of Technology（浙江工业大学） ； National Institute of Informatics（国立信息学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文系统评估了视觉-语言模型在自然对抗场景下的鲁棒性，分析了不同模型在零样本图像分类、语义分割和视觉问答中的表现，揭示了鲁棒CLIP模型放大对抗漏洞的问题。

Comments Accepted to ICPR 2026

Enhancing Foundation VLM Robustness to Missing Modality: Scalable Diffusion for Bi-directional Feature Restoration

增强基础视觉语言模型对缺失模态的鲁棒性：可扩展的扩散用于双向特征恢复

Wei Dai, Haoyu Wang, Honghao Chang, Lijun He, Fan Li, Jian Sun, Haixia Bi

机构 * Department of Electronics ； Information \ 'an Jiaotong University Xi'an China ； School of Information ； Communications Engineering \ 'an Jiaotong University Xi'an China ； School of Mathematics ； Statistics \ 'an Jiaotong University Xi'an China ； Information \ 'an Jiaotong University ； Communications Engineering \ 'an Jiaotong University ； Statistics \ 'an Jiaotong University 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.AI

AI总结 本文提出一种通用缺失模态恢复策略，通过增强扩散模型实现双向特征对齐，提升视觉语言模型在模态缺失情况下的鲁棒性和可扩展性。

Comments 10 pages, 8 figures, 6 tables. Experiments and some details have been updated

VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

VLBiasBench: 一个用于评估大视觉-语言模型偏见的综合性基准

Sibo Wang, Xiangkui Cao, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen, Wen Gao

机构 * Key Laboratory of AI Safety of CAS, Institute of Computing Technology (ICT)（中国科学院人工智能安全重点实验室，计算技术研究所） ； University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Peking University（北京大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLBiasBench，通过覆盖九种社会偏见类别和两个交叉偏见类别的大规模数据集，评估大视觉-语言模型的偏见问题，基于15种开源和两种闭源模型进行广泛评估，揭示模型中的偏见特征。

Comments Accepted By TPAMI

Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models

重点至关重要：面向视觉语言模型中幻觉的相位感知抑制

Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong

机构 * Pusan National University（釜山大学） ； Pukyong National University（釜庆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级干预方法，在视觉编码器的聚焦阶段选择性抑制低关注的token，通过单次前向传递统计信息和DPP保留多样视觉线索，减少幻觉的同时保持caption质量，且推理延迟低。

The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models

鲁棒性几何：优化损失景观曲率和特征流形对齐以增强视觉-语言模型的鲁棒微调

Shivang Chopra, Shaunak Halbe, Chengyue Huang, Brisa Maneechotesuwan, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出GRACE框架，通过联合调节参数空间曲率和特征空间不变性，提升视觉-语言模型在分布内准确率、分布外泛化和对抗鲁棒性之间的平衡，实验显示在ImageNet微调中ID准确率提升10.8%，对抗准确率提升13.5%。

Optimizing LLM Prompt Engineering with DSPy Based Declarative Learning

基于DSPy的声明式学习优化大语言模型提示工程

Shiek Ruksana, Sailesh Kiran Kurra, Thipparthi Sanjay Baradwaj

机构 * Vasavi College of Engineering（瓦萨维工程学院） ； Amazon（亚马逊） ； Texas（德克萨斯州） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出基于DSPy的声明式学习方法，通过符号规划、无梯度优化和自动模块重写提升提示优化的可靠性、效率和泛化能力，实验显示事实准确率提升30-45%，幻觉率降低25%。

Comments Best paper Award ,IEEE International Conference on Emerging Smart Computing and Informatics (ESCI) Pune, India. Mar 11-13, 2026

Physically Interpretable World Models via Weakly Supervised Representation Learning

通过弱监督表征学习实现物理可解释的世界模型

Zhenjiang Mao, Mrinall Eashaan Umasudhan, Ivan Ruchkin

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出PIWM框架，通过弱监督学习实现物理可解释的世界模型，利用物理动态约束提升预测准确性与系统参数恢复能力。

Computational emotion analysis with multimodal LLMs: Current evidence on an emerging methodological opportunity

基于多模态大语言模型的计算情感分析：当前对新兴方法论机会的证据

Hauke Licht

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)

AI总结 本文评估了多模态大语言模型在政治视频情感分析中的表现，发现实验室条件下的模型表现接近人类水平，但在真实场景中存在显著性能差距及性别偏差。