S-GRPO: Unified Post-Training for Large Vision-Language Models
S-GRPO:面向大视觉语言模型的统一后训练方法
机构 * Tencent(腾讯)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 本文提出S-GRPO,结合模仿学习指导与偏好优化的多轨迹探索,通过条件真实轨迹注入机制解决SFT与RL的效率问题,提升收敛速度与领域适应能力。
AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
S-GRPO:面向大视觉语言模型的统一后训练方法
机构 * Tencent(腾讯)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 本文提出S-GRPO,结合模仿学习指导与偏好优化的多轨迹探索,通过条件真实轨迹注入机制解决SFT与RL的效率问题,提升收敛速度与领域适应能力。
通过语义-几何保持实现视觉-语言模型的持续学习
机构 * School of Information and Communication Engineering, University of Electronic Science and Technology of China(电子科技大学信息与通信工程学院)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 本文提出SeGP-CL方法,通过构建对抗锚点和跨模态几何蒸馏,解决持续学习中的语义几何退化问题,提升模型稳定性和迁移能力。
Comments Accepted by IEEE TCSVT 2026
通过真实照片生成面部-only反事实来衡量视觉语言模型中的社会偏见
机构 * School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院) ; School of Information Science and Engineering, Ningbo University(宁波大学信息科学与工程学院) ; School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学与技术学院)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出通过真实照片生成面部-only反事实来评估视觉语言模型中的社会偏见,构建了FOCUS数据集和REFLECT基准,发现严格视觉控制下仍存在种族性别差异,强调了反事实审计和任务设计的重要性。
Comments 18 pages, 18 figures, and 3 tables
Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 39963-39987, 2026
TSHA:用于可信安全危害评估场景的视觉语言模型基准
机构 * City University of Hong Kong(香港城市大学) ; East China Normal University(华东师范大学) ; University of Western Australia(西澳大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; Shanghai Development Center of Computer Software Technology(上海计算机软件技术开发中心) ; Zhejiang Gongshang University(浙江工商大学)
专题命中 幻觉与鲁棒性 :visual language model(title);vision-language model(abstract);分类 cs.CV、cs.AI
AI总结 本文提出TSHA基准,通过81809个精心挑选的训练样本和1707个挑战性测试样本,评估视觉语言模型在复杂家庭安全场景中的鲁棒性和泛化能力,发现现有模型在安全危害评估中存在显著不足。
视觉语言模型中的自我中心偏差
机构 * Cognitive Science Program, University of California, Berkeley(加州大学伯克利分校认知科学项目) ; Department of Electrical and Computer Engineering, University of California San Diego(加州大学圣地亚哥分校电气与计算机工程系) ; School of Computer Science, Georgia Institute of Technology & Emory University(佐治亚理工学院计算机科学学院及埃默里大学) ; Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系) ; Department of Cognitive Science, University of California San Diego(加州大学圣地亚哥分校认知科学系) ; Equal Advising Department of Computer Science & Wilmer Eye Institute, Johns Hopkins University(约翰霍普金斯大学计算机科学系及威尔默眼科研究所) ; Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所) ; Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所) ; Weinberg Institute for Cognitive Science, University of Michigan(密歇根大学韦恩伯格认知科学研究所)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出FlipSet基准,揭示视觉语言模型在第二级视觉视角推理中存在系统性自我中心偏差,表明模型在整合社会认知与空间操作方面存在根本性不足。
Comments Accepted at CogSci 2026 (Best Undergraduate Student Paper)
TCLA:用于医学视觉语言模型的无训练类级对数几率适应
机构 * University of Bern(伯尔尼大学) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 针对医学视觉语言模型在分布外数据上有效性下降问题,提出无训练的少样本适应方法TCLA。该方法基于支持样本校正推理对数几率,提升模型性能,实验表明其能持续提高模型OOD性能且多数情况下优于现有训练方法。
通过测试时提示自适应增强视觉语言模型的鲁棒性
机构 * University of Science(科学大学) ; National University of Singapore(新加坡国立大学) ; The Hong Kong University of Science(香港科学大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 研究针对对抗扰动下视觉语言模型性能下降问题,提出RITA框架,通过最优传输实现分布级对齐,引入动态缓存积累线索,提升了模型对抗鲁棒性且不损干净准确率。
Comments ICML 2026 regular
欺骗性基础:临床检索增强生成中的实体归因失败
机构 * Lunit(鲁尼特)
专题命中 幻觉与鲁棒性 :grounding(title,abstract);分类 cs.AI、cs.LG
AI总结 研究临床检索增强生成中的欺骗性基础问题,通过对13个模型测试发现DG率8%-87%,医学等微调模型高达86.7%。控制消融确定机制,实体归因验证可检测DG,现有框架未实施,为该领域研究提供新视角和方法。
Comments 24 pages, 7 figures, 12 tables
基于中间谱子空间视角的视觉语言模型对抗脆弱性研究
机构 * University of the Bundeswehr Munich(慕尼黑联邦国防军大学) ; University of Wrocław(弗罗茨瓦夫大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.AI、cs.LG
AI总结 研究基于Transformer的视觉语言模型对抗脆弱性,提出白盒谱子空间引导攻击(SSGRA),通过将中间表示与特定子空间对齐来攻击,实验显示其比现有基线更有效,还为模型对抗脆弱性提供谱解释,助力提升鲁棒性。
品牌即记忆:视觉语言模型为新闻来源编码因果性、可机制定位的可信度先验
机构 * University of New South Wales(新南威尔士大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 研究视觉语言模型中基于媒体身份的来源可信度先验,通过交叉模型基准测试和机制分析,揭示其特性及影响,如模型和规模依赖性、因果形成机制等。
标准条件上下文学习:评估视觉语言模型中的标准转移适应性
机构 * Megvii Technology Inc., Beijing, China(美科科技有限公司,北京,中国)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 研究提出标准条件上下文学习(CC-ICL)新设置,模型需从上下文推断潜在标准并据此调整预测。为此提出两个评估指标,构建CC-Bench基准。实验发现多数模型有边界偏差,简单多标准训练可改善。
Comments Accepted by ICML 2026
正确预测,误导性解释:关于视觉-语言模型解释的脆弱性
机构 * University of California, Berkeley(加州大学伯克利分校)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 研究探讨了视觉-语言模型中解释热图在对抗条件下是否忠实反映推理过程,提出X-Shift攻击揭示解释与预测行为的脱节,验证了解释机制的脆弱性。
Comments Accepted at the ICML 2026 Workshop on Trustworthy AI for Good (AI4GOOD), Seoul, South Korea
SS-TPT:面向对抗鲁棒视觉语言模型的稳定性和适用性引导的测试时提示微调
机构 * Dankook University, Yongin, South Korea(首尔大学,韩国永兴) ; University of Seoul, Seoul, South Korea(首尔大学,韩国首尔)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 提出SS-TPT方法,通过稳定性与适用性分数评估增强视图质量,引导测试时提示微调,在保持高吞吐量的同时显著提升对抗鲁棒性。
Comments Accepted in ICML2026
BYORn:自举你的响应以防御大型视觉-语言模型的后门攻击
机构 * University of Rijeka(里耶卡大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 提出BYORn框架,通过识别并替换语义不合理的后门目标响应,打破触发器与目标输出的关联,从而在保持干净任务性能的同时提升对后门攻击的鲁棒性。
Comments Accepted to ICML 2026
使用多片段视频破解多模态大语言模型
机构 * Department of Applied Artificial Intelligence, Sungkyunkwan University(应用人工智能系,成均馆大学) ; Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University(人机交互系,成均馆大学)
专题命中 幻觉与鲁棒性 :multimodal large language model(title,abstract);分类 cs.CV、cs.AI
AI总结 提出MCV SafetyBench数据集,通过多片段视频评估多模态大语言模型的安全漏洞,发现视频模态比图像更脆弱,动态和多样化上下文增加攻击成功率,并基于图像模态的鲁棒性提出防御策略。
Comments 27 pages, 20 figures, Accepted to the Main Conference of ACL 2026
卷积、Transformer、混合模型及视觉语言模型在多病种视网膜筛查中的基准测试
机构 * Department of Computer Science and Software Engineering(计算机科学与软件工程系) ; Concordia University(康科迪亚大学) ; Ebovir Biotechnologie Inc.(Ebovir生物技术公司)
专题命中 幻觉与鲁棒性 :vision language model(title);vision-language model(abstract);分类 cs.CV、cs.LG
AI总结 本研究在RFMiD数据集上对四种模型家族的12种架构进行基准测试,评估其在多病种视网膜筛查中的性能,发现基于注意力的模型(如SwinTiny、CoAtNet0、MaxViTTiny)在二元筛查和多标签分类中表现最佳,视觉语言模型与CNN基线相当但未超越最优Transformer和混合模型。
Comments 12 pages, 3 figures, accepted at ICMHI 2026, 10th International Conference on Medical and Health Informatics, Kyoto, Japan. To appear in ACM Conference Proceedings
打破大视觉-语言模型低比特量化中的模态异质性
机构 * VCIP, College of Computer Science, Nankai University(南开大学计算机科学学院VCIP) ; D-ITET, ETH Zürich(苏黎世联邦理工学院D-ITET) ; OPPO Research Institute(OPPO研究院) ; Department of Computing, Hong Kong Polytechnic University(香港理工大学计算机系)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出SplitQ框架,通过通道分割和自适应跨模态校准模块,解决大视觉-语言模型在低比特量化中因模态异质性导致的精度下降问题,显著提升了在多种多模态数据集上的性能。
ORCA:一种用于视觉语言模型幻觉和对抗鲁棒性的代理推理框架
机构 * University of West Florida(佛罗里达大学) ; United States Military Academy(美国军事学院)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出ORCA框架,通过推理时的结构化推理和小规模视觉模型,提升预训练视觉语言模型的事实准确性与对抗鲁棒性,并在幻觉基准和对抗扰动测试中取得显著提升。
Comments Accepted at the ACM International Conference on Cloud and Big Data Computing (ICCBDC 2026)
CounterCount: 一种用于视觉语言模型计数偏差诊断的框架
机构 * KAUST(卡尔斯鲁德大学) ; University of Edinburgh(爱丁堡大学) ; King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹大学)
专题命中 幻觉与鲁棒性 :vision language model(title);vision-language model(abstract);分类 cs.CV、cs.AI
AI总结 本文提出CounterCount框架,通过对比事实性与反事实性图像来诊断视觉语言模型在计数任务中的偏差问题,揭示模型对物体级先验知识的依赖,并提出统一的注意力调节策略提升反事实计数准确性。
注意力劫持:跨查询的视觉-语言模型响应操控
机构 * Hong Kong University of Science and Technology(香港理工大学) ; Shanghai Jiao Tong University(上海交通大学) ; Beihang University(北京航空航天大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文研究了视觉-语言模型中跨查询响应操控问题,提出了一种新的对抗攻击方法Attention Hijacking,通过引导内部注意力分布保持图像主导模式,提高攻击在不同查询下的有效性。
大型视觉-语言模型在视觉标记压缩下的对抗鲁棒性研究
机构 * The Hong Kong Polytechnic University, Hong Kong(香港理工大学) ; Nanyang Technological University, Singapore(南洋理工大学) ; Chongqing University, Chongqing, China(重庆大学) ; Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU(未来智能系统中的隐私与安全技术研究中心)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文研究了视觉标记压缩对大型视觉-语言模型对抗鲁棒性的影响,提出CAGE攻击方法,通过优化与压缩推理对齐,揭示压缩机制下的鲁棒性漏洞。
Comments Accepted by ICML 2026
视觉-语言模型的中性参考提示
机构 * Beijing Jiaotong University(北京交通大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 本文提出NeRP策略,通过中性提示和参考图像提升模型对未知类别的判别能力,同时保持对已知类别的准确性。
Comments Accepted at ICML 2026
在操作设计域内运行:基于视觉-语言模型的零样本感知
机构 * Volkswagen Aktiengesellschaft(大众汽车股份有限公司) ; L3S Research Center(莱比锡大学汉诺威研究中心) ; Faculty of Information Technology(信息科技学院) ; MOIA GmbH(MOIA公司) ; Motor AI GmbH(Motor AI公司)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文探讨了视觉-语言模型在无监督条件下对操作设计域的零样本感知能力,通过实验验证了基于链式推理的提示方法在OBD感知中的有效性,并提出了可重用的提示模板。
Comments 8 pages, 4 figures
Revis: 通过稀疏潜在引导缓解大视觉-语言模型中的物体幻觉
机构 * Ant Group(蚂蚁集团)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.AI、cs.LG
AI总结 Revis通过潜在空间几何学提取纯视觉信息向量,采用校准策略在抑制发生深度进行稀疏干预,有效降低物体幻觉率19%,同时保持推理能力。
Comments Accepted by ICML 2026
在线对抗幻觉的视觉-语言模型自我校准
机构 * Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所) ; School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 本文提出OSCAR框架,通过蒙特卡洛树搜索和双粒度奖励机制在线校准视觉-语言模型,减少幻觉并提升多模态能力。
Comments IJCAI 2026
预填充阶段干预用于缓解大视觉-语言模型中的幻觉
机构 * University of Science and Technology of China(中国科学技术大学) ; Shanghai Advanced Research Institute, Chinese Academy of Sciences(上海先进研究院,中国科学院) ; University of Chinese Academy of Sciences(中国科学院大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出PTI方法,在预填充阶段干预KV缓存以减少幻觉,通过模态感知方向修正错误表示,提升模型可靠性。
Comments Accepted by CVPR 2026
Ramen: 通过主动样本选择实现视觉语言模型的鲁棒性测试时适应
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.LG
AI总结 本文提出Ramen框架,通过主动样本选择实现视觉语言模型在混合域下的鲁棒测试时适应,通过领域一致性与预测平衡准则提升适应性能,实验表明其在多种图像退化和领域偏移基准上表现优异。
Comments Accepted by CVPR 2026 (Findings Track)
当文本劫持视觉:基准测试与减轻文本叠加引起的视觉语言模型幻觉
机构 * The Hong Kong University of Science and Technology(香港科学与技术大学) ; University of Birmingham(伯明翰大学)
专题命中 幻觉与鲁棒性 :vision language model(title);vision-language model(abstract);分类 cs.CV、cs.AI
AI总结 本文提出VisualTextTrap基准测试,通过大规模人工验证样本和定制评估指标,减轻文本叠加引起的幻觉问题,并提出VTHM-MoE框架以提升视觉-文本解耦能力。
视觉-语言模型中提示诱导幻觉的机制
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Brown University(布朗大学) ; Technion(技术学院) ; University of Tübingen(图宾根大学) ; Harvard University(哈佛大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 研究揭示了视觉-语言模型在提示诱导幻觉中的机制,通过分析三种模型发现特定注意力头可显著减少幻觉现象,揭示了模型对提示的响应差异。
Comments ACL 2026 Main
Edu-MMBias: 一种三级多模态基准,用于在教育背景下审计视觉-语言模型中的社会偏见
机构 * School of Computer Science and Technology, East China Normal University(东华师范大学计算机科学与技术学院) ; Shanghai Institute of Artificial Intelligence for Education, East China Normal University(东华师范大学教育人工智能研究所) ; Faculty of Education, East China Normal University(东华师范大学教育学院)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出Edu-MMBias基准,通过三级维度审计视觉-语言模型中的社会偏见,揭示模型存在补偿性类偏见和深层健康与种族刻板印象,视觉输入可触发偏见回潮。