视觉大模型 / VLM

Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models

阅读还是忽略？视觉语言模型中排版攻击鲁棒性和文本识别的统一基准

Futa Waseda, Shojiro Yamabe, Daiki Shiono, Kento Sasaki, Tsubasa Takahashi

机构 * Turing Inc.（Turing公司） ； The University of Tokyo（东京大学） ； Institute of Science Tokyo（东京科学研究院） ； Tohoku University（东北大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究大型视觉语言模型排版攻击鲁棒性和文本识别问题，引入RIO-VQA任务及RIO-Bench基准，发现目标中心防御的权衡，提出数据驱动防御基线，提升模型在两方面的性能，凸显现有鲁棒性范围与现实需求的错位。

Comments Accepted at ECCV 2026. The project page is available at: https://turingmotors.github.io/rio-vqa/

AIM-CoT: Active Information-driven Multimodal Chain-of-Thought for Vision-Language Reasoning

AIM-CoT：基于主动信息的多模态链式推理用于视觉-语言推理

Xiping Li, Jianghong Ma

机构 * The Chinese University of Hong Kong（香港中文大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出AIM-CoT框架，通过上下文增强注意力图生成、主动视觉探测和动态注意力转移触发，改进视觉语言模型的证据选择与插入触发，提升视觉-语言推理性能。

Comments Accepted by ACL 2026 Main Conference. 30 pages, 6 figures

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B：一家银行中基于事实的问题回答的生产验证配方

Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

机构 * Kasisto ； Textualization ； NBME 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出了一种高效框架，通过数据生成管道和校准拒绝机制，提升银行领域LLM的准确性与合规性，实现7.1个百分点的查询解决率提升。

Comments 7 pages, ACL 2026 conference

Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance

语义丰富性还是几何推理？VLM视觉不变性的脆弱性

Jason Qiu, Zachary Meurer, Xavier Thomas, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） 纠错

专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 研究揭示VLM在基本几何变换下的脆弱性，指出其在空间不变性与等变性上的不足，影响物体识别的可靠性。

FormalAnalyticGeo: A Neural-Symbolic Based Framework for Multimodal Analytic Geometry Problem Generation

形式分析几何：一种基于神经符号的多模态解析几何问题生成框架

Ruoran Xu, Wending Gao, Qiufeng Wang

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究解析几何问题生成，提出基于神经符号的FormalAnalyticGeo框架，利用CDL及四个大语言模型组件，无需人工注释自动生成问题，形成闭环，生成的AnalyticGeo7K数据集问题误差小，框架和数据集将公开。

Agentic AI-assisted coding offers a unique opportunity to instill epistemic grounding during software development

智能AI辅助编码为软件开发过程中注入认知基础提供了独特契机

Magnus Palmblad, Jared M. Ragland, Benjamin A. Neely

机构 * Center for Proteomics and Metabolomics, Leiden University Medical Center（蛋白质组学与代谢组学中心，莱顿大学医学中心） ； National Institute of Standards and Technology - Charleston（国家标准与技术研究院-查尔斯顿） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.AI

AI总结 研究以蛋白质组学为例，提出社区管理的领域范围认知基础文档用于智能AI辅助编码。核心方法是文档编码硬约束和约定参数。主要贡献是助力非领域专家生成优质代码等，增强各方信心并让领域专家参与定制软件开发。

Comments Letter, 12 pages, 1 table

Participatory provenance as representational auditing for AI-mediated public consultation

参与式溯源作为AI介入公共咨询中的表示审计

Sachit Mahajan

机构 * Computational Social Science, D-GESS ETH Zurich（计算社会科学，D-GESS 瑞士苏黎世联邦理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文提出参与式溯源框架，利用最优传输理论、因果推断和语义分析，追踪AI处理公共反馈的过程，揭示政府摘要在覆盖度和排斥率上的不足，并开发开源工具辅助政策制定者改进摘要。

LLM-Grounded Explainable AI for Supply Chain Risk Early Warning via Temporal Graph Attention Networks

基于时间图注意力网络的LLM解释性AI用于供应链风险早期预警

Zhiming Xue, Yujue Wang, Menghao Huo

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文提出基于时间图注意力网络和大语言模型的框架，用于可解释的供应链风险早期预警，通过结合证据导向的方法提升预测准确性与解释可靠性。

GH-ESD: Grounded Hypothesis-Driven Error Slice Discovery for Instance-Level Vision Tasks

GH-ESD：基于假设驱动的实例级视觉任务错误切片发现

Wei Zhang, Chaoqun Wang, Zixuan Guan, Ping Sheng Kao, Pengfei Zhao, Peng Wu, Sifeng He

机构 * Apple（苹果公司） 纠错

专题命中 视觉定位与Grounding ：vision language model(abstract)；分类 cs.CV

AI总结 提出GH-ESD框架，通过LLM生成假设与视觉语言模型验证，在实例级任务中自动发现空间关系错误切片，并构建GESD基准，显著提升检测和分割任务的错误切片发现精度。

Comments Accepted by ECCV2026

Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

用于科学可视化素养的多模态大语言模型基准测试

Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究对六个多模态大语言模型进行科学可视化素养基准测试，涵盖多种技术和任务类型。通过封闭世界协议评估闭源和开源模型，与人类参与者数据对比。发现模型表现不均，Gemini最强，开源模型低于人类基线，明确SciVis素养对评估多模态AI系统的必要性。

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enhancement

HOMIE：通过多模态智能增强实现以人为对象的视频个性化

Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 文档图表理解 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 研究以人为对象的视频个性化问题，提出HOMIE框架，统一处理主体间和主体内输入设置。通过更好的MLLM集成策略、自注意力中的全局多模态引导及模态参考嵌入，在多任务中达最优性能。

Comments 28 pages, 14 figures

Fly0: Persistent Metric Anchoring for Zero-Shot Aerial Vision-Language Navigation

Fly0: 解耦语义定位与几何规划以实现零样本空中导航

Zhenxing Xu, Yihong Lu, Weidong Bao, Zhengqiu Zhu, Jingxuan Zhou, Zhichuang Wang, Ji Wang, Lihua Liu, Wei He

机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室） ； National University of Defense Technology（国防科技大学） ； State Key Laboratory of Digital Intelligent Modeling and Simulation（数字智能建模与仿真国家重点实验室） ； Information Support Force Engineering University（信息支援力量工程大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 Fly0通过解耦语义推理与几何规划，实现零样本空中导航，提升导航成功率和减少导航误差。

Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents

学习、推理、优化：GUI 智能体中卡尼曼双系统智能的框架

Jinjie Wei, Jiyao Liu, Lihao Liu, Ming Hu, Junzhi Ning, Mingcheng Li, Weijie Yin, Junjun He, Xiao Liang, Chao Feng, Dingkang Yang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学技术研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Amazon（亚马逊） ； Shanghai Innovation Institute（上海创新研究院） ； ByteDance Douyin Content Group（字节跳动抖音内容部） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 针对 GUI 智能体存在依赖试错决策、评估指标简单等问题，提出 CogniGUI 框架，结合全解析器引擎和 GRPO 基础智能体，实现自适应学习，经实验验证其在新基准测试中优于现有方法。

Comments Withdrawn due to ongoing technical improvements. The work requires further refinement and additional experiments to meet our quality standards. A revised version will be submitted in the future

Look Again Before You Abstain:Budgeted Conformal Evidence Acquisition for Reliable Vision-Language Model

在放弃之前再看一眼：预算约束下的共形证据获取用于可靠的视觉-语言模型

Jian Xu, Yanning Wu, Delu Zeng, John Paisley, Qibin Zhao

机构 * South China University of Technology（华南理工大学） ； RIKEN Center for Advanced Intelligence Project（RIKEN先进智能研究中心） ； Columbia University（哥伦比亚大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对视觉-语言模型幻觉问题，提出预算约束共形证据获取（BCEA）方法，通过三级决策（回答、放弃或获取额外视觉证据）在有限计算预算下控制幻觉率，并恢复有限样本保证。

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL：面向基础模型基于具身代理的安全性评估多级形式框架

Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

机构 * Northwestern University, USA ； University of Southern California, USA ； College of William \& Mary 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 SENTINEL通过形式时序逻辑多级验证框架，系统性评估基础模型具身代理在模拟环境中的物理安全性。

Why Do Vision Language Models Struggle To Recognize Human Emotions?

为什么视觉语言模型难以识别人类情绪？

Madhav Agarwal, Sotirios A. Tsaftaris, Laura Sevilla-Lara, Steven McDonagh

机构 * The University of Edinburgh, UK（爱丁堡大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨视觉语言模型在识别人类情绪上的不足，指出面部表情识别任务的连续性和动态性导致模型存在连续性和时间信息处理的漏洞，提出改进采样策略和多阶段上下文增强方法以提升情绪识别能力。

Comments European Conference on Computer Vision (ECCV) 2026

T2T-VICL: Cross-Task Visual In-Context Learning via Implicit Text-Driven VLMs

T2T-VICL：通过隐式文本驱动的视觉语言模型进行跨任务视觉上下文学习

Shao-Jun Xia, Huixin Zhang, Zhengzhong Tu

机构 * Duke University（杜克大学） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究跨任务视觉上下文学习问题，提出T2T-VICL协作式提示转移框架，通过大教师VLM生成结构化描述构建数据集，提炼能力到轻量级学生VLM，实验表明该框架能改进任务感知对齐，揭示跨任务VICL的潜力与局限。

Comments 22 pages, 6 figures, under submission

ViMax: Agentic Video Generation

ViMax: 智能体视频生成

Lingxuan Huang, Sizhe He, Hengji Zhou, Liqiang Nie, Lianghao Xia, Chao Huang

机构 * The University of Hong Kong（香港大学） ； South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出ViMax框架，通过多智能体协作实现长视频生成，利用分层叙事引擎和视觉一致性机制，保证叙事连贯性和视觉一致性。

Comments 20 pages, 13 figures

VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems

VENOMREC: 多模态交互性污染用于多模态大语言模型推荐系统中的定向推广

Guowei Guan, Yurong Hao, Jiaming Zhang, Tiantong Wu, Fuyao Zhang, Tianxiang Chen, Longtao Huang, Cyril Leung, Wei Yang Bryan Lim

专题命中 VLM训练与架构 ：multimodal large language model(abstract)

AI总结 VENOMREC通过跨模态交互性污染技术，在多模态大语言模型推荐系统中实现定向推广，有效提升推荐性能。