视觉大模型 / VLM

WikiSeeker: Rethinking the Role of Vision-Language Models in Knowledge-Based Visual Question Answering

WikiSeeker: 重新思考视觉语言模型在基于知识的视觉问答中的作用

Yingjian Zhu, Xinming Wang, Kun Ding, Ying Wang, Bin Fan, Shiming Xiang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室 (MAIS)） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出WikiSeeker框架，通过引入多模态检索器和重新定义视觉语言模型的角色，提升多模态检索性能和答案质量，实现在EVQA、InfoSeek和M2KR数据集上的最优表现。

Comments Accepted by ACL 2026 Findings

Benchmarking Deflection and Hallucination in Large Vision-Language Models

对大视觉-语言模型中偏移和幻觉的基准测试

Nicholas Moratelli, Christopher Davis, Leonardo F. R. Ribeiro, Bill Byrne, Gonzalo Iglesias

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； Amazon AGI（亚马逊人工智能实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLM-DeflectionBench基准，通过2775个样本评估模型在冲突或不足证据下的行为，揭示模型在面对噪声或误导性证据时的偏移能力不足，为可靠的KB-VQA评估提供可扩展的基准。

Comments Accepted to ACL 2026

INDOTABVQA: A Benchmark for Cross-Lingual Table Understanding in Bahasa Indonesia Documents

INDOTABVQA：一种用于巴厘语文档中跨语言表格理解的基准测试

Somraj Gautam, Anathapindika Dravichi, Gaurav Harit

机构 * IIT Jodhpur（印度理工学院贾尔普尔分校） ； Punjabi University（旁遮普大学） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出INDOTABVQA基准测试，用于评估跨语言表格视觉问答性能，包含1593张文档图像和四语问题-答案对，揭示了VLM在单语和跨语言设置下的性能差异，并展示了微调对提升准确性的作用。

Comments Accepted in ACL 2026 (Findings)

Challenging Vision-Language Models with Physically Deployable Multimodal Semantic Lighting Attacks

用可部署的多模态语义照明攻击挑战视觉-语言模型

Yingying Zhao, Chengyin Hu, Qike Zhang, Xin Li, Xin Wang, Yiwei Wei, Jiujiang Guo, Jiahuan Long, Tingsong Jiang, Wen Yao

专题命中 视觉问答 ：vision-language model(title,abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出MSLA攻击框架，通过可控对抗性照明攻击视觉-语言模型的多模态语义理解，揭示其在现实世界中的安全风险。

StableSketcher: Enhancing Diffusion Model for Pixel-based Sketch Generation via Visual Question Answering Feedback

StableSketcher: 通过视觉问答反馈增强扩散模型以生成基于像素的素描

Jiho Park, Sieun Choi, Jaeyoon Seo, Jihie Kim

机构 * Dongguk University（东国大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出StableSketcher框架，通过优化潜在解码和视觉问答反馈提升扩散模型生成手绘素描的逼真度和语义一致性。

Comments Under review at IEEE Access. Author-submitted preprint. Not the IEEE-published version

Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification

检索以恢复：通过语义一致的净化实现不完整音频-视觉问答

Jiayu Zhang, Shuo Ye, Qilang Ye, Zihan Song, Jiajian Huang, Zitong Yu

机构 * School of Computing and Information Technology, Great Bay University（大湾大学计算机与信息学院） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞智能与信息科技重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； College of Computer Science, Nankai University（南开大学计算机学院） ； School of mathematics, Sun Yat-sen University（中山大学数学学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出R$^{2}$ScP框架，通过检索而非生成方法处理缺失模态，利用统一语义嵌入进行跨模态检索，并引入上下文感知适应净化机制，提升语义恢复能力，实验表明其在不完整模态场景中性能更优。

Comments Accepted by ACL 2026 Main Conference

All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding

一站式：一个多模态视频理解统一合成数据管道

Tanzila Rahman, Renjie Liao, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（向量人工智能研究所） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出统一合成数据管道，用于生成多模态视频数据，支持多种任务格式，提升模型推理能力，并在视频物体计数、视觉问答和分割任务中验证了其有效性。

Comments 8 Pages, 4 Tables, 4 Figures

LaV-CoT: Language-Aware Visual CoT with Multi-Aspect Reward Optimization for Real-World Multilingual VQA

LaV-CoT：具有多方面奖励优化的语言感知视觉CoT

Jing Huang, Zhiya Tan, Shutao Gong, Fanwei Zeng, Joey Tianyi Zhou, Changtao Miao, Huazhe Tan, Weibin Yao, Jianshu Li

机构 * Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； CFAR, Agency for Science, Technology and Research（科技研究局CFAR） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 LaV-CoT通过多阶段推理流程和多方面奖励优化，提升多语言视觉问答的准确性和泛化能力，实现在公开数据集上的9.5%准确率提升。

Comments Accepted by WWW 2026 Industry Track - Oral

Think Before you Write: QA-Guided Reasoning for Character Descriptions in Books

在写作前思考：基于问答的字符描述推理

Argyrios Papoudakis, Mirella Lapata, Frank Keller

机构 * Institute of Language, Cognition and Computation（语言、认知与计算研究所） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种解耦推理与生成的框架，通过问答引导推理提升字符描述的准确性、信息量和现实基础。

Comments 20 pages, 16 tables, 1 figure

TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning

TempR1：通过时间感知的多任务强化学习提升多模态大语言模型的时间理解

Tao Wu, Li Yang, Gen Zhan, Yabin Zhang, Yiting Liao, Junlin Li, Deliang Fu, Li Zhang, Limin Wang

机构 * Nanjing University（南京大学） ； ByteDance Inc.（字节跳动公司） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 TempR1通过时间感知的多任务强化学习框架，系统增强MLLMs的时间理解能力，通过多任务语料库和改进的GRPO算法实现稳定有效的跨任务优化，提升时间依赖性和适应性。

Unveiling the Surprising Efficacy of Navigation Understanding in End-to-End Autonomous Driving

揭示端到端自动驾驶中导航理解的惊人效能

Zhihua Hua, Junli Wang, Pengfei LI, Qihao Jin, Bo Zhang, Kehua Sheng, Yilun Chen, Zhongxue Gan, Wenchao Ding

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Didi Chuxing（滴滴出行） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.AI

AI总结 本文提出SNG框架，通过真实导航模式高效表示全局导航信息，结合导航路径与分步信息，提升自动驾驶的全局与局部规划能力，实现无需辅助损失函数的高精度导航建模。

Comments 8 pages, 6 figures. ICRA 2026. Code available at https://fudan-magic-lab.github.io/SNG-VLA-web

Knowledge Is Not Static: Order-Aware Hypergraph RAG for Language Models

知识并非静态：面向语言模型的顺序感知超图RAG

Keshu Wu, Chenchen Kuai, Zihao Li, Jiwan Jiang, Shiyu Shen, Shian Wang, Chan-Wei Hu, Zhengzhong Tu, Yang Zhou

机构 * Texas A&M University（德克萨斯大学A&M分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The University of Kansas（堪萨斯大学） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 本文提出顺序感知超图RAG（OKH-RAG），通过将顺序作为结构属性，改进传统RAG方法，提升对顺序敏感任务的推理能力。