视觉大模型 / VLM

Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents

智能体是否会梦到虚假记忆？对多模态人工智能智能体长期记忆的黑盒视觉攻击

Halima Bouzidi, Mboutidem Ekemini Mkpong, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。

Comments 34 pages, 5 figures, 15 tables

FAIR_XAI: Improving Multimodal Foundation Model Fairness via Explainability for Wellbeing Assessment

FAIR_XAI: 通过可解释性提升多模态基础模型公平性以用于幸福感评估

Sophie Chiang, Tom Brennan, Fethiye Irmak Dogan, Jiaee Cheong, Hatice Gunes

机构 * Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学） ； Harvard University（哈佛大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了多模态基础模型在幸福感评估中的公平性问题，通过可解释性干预框架改善诊断可靠性与公平性，发现不同模型在不同数据集上表现差异显著，且存在性别和种族偏见。

Comments 11 pages, 4 figures

MVI-Bench: A Comprehensive Benchmark for Evaluating Robustness to Misleading Visual Inputs in LVLMs

MVI-Bench：评估大型视觉语言模型对误导性视觉输入鲁棒性的综合基准

Huiyi Chen, Jiawei Peng, Dehai Min, Changchang Sun, Kaijie Chen, Yan Yan, Xu Yang, Lu Cheng

机构 * Department of Computer Science, University of Illinois Chicago, Chicago, USA ； School of Computer Science \& Engineering, Southeast University, Nanjing, China ； Guohao School, Tongji University, Shanghai, China 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对现有鲁棒性基准忽视误导性视觉输入的问题，提出MVI-Bench基准，基于视觉基元的三级层次（视觉概念、视觉属性、视觉关系）构建6个类别1248个VQA实例，并引入MVI-Sensitivity指标进行细粒度评估，揭示18个LVLM的显著脆弱性。

Comments 18 pages, 9 figures

EduGuard: A Safe RAG-Based LLM Tutor for Programming Education

EduGuard：一种用于编程教育的基于安全检索增强生成的语言模型导师

S M Asif Hossain, Ruksat Khan Shayoni, M. F. Mridha, Jungpil Shin

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 研究针对学生使用GenAI进行编程学习时的问题，提出EduGuard安全RAG辅导框架，集成多种功能。通过构建基准测试并与强基线比较，在正确性、基础等方面表现最佳，能提升准确率并降低过度依赖，证明安全GenAI辅导需多方面保障。