视觉大模型 / VLM

Uncertainty Is Not a Safety Net for Clinical VQA, but Can It Anticipate Model Failure?

不确定性并非临床VQA的安全网，但它能预测模型失败吗？

Arnisa Fazla, Alberto Testoni, Ameen Abu-Hanna, Barbara Plank, Iacer Calixto

机构 * Amsterdam University Medical Center, University of Amsterdam（阿姆斯特丹大学医学中心） ； Amsterdam Public Health（阿姆斯特丹公共卫生） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 研究临床视觉语言模型的不确定性估计是否可靠，发现其质量随模型准确率变化，在模型脆弱时失效，但能预测扰动下的性能崩溃。

Comments 17 pages, 4 figures

Extending Embodied Question Answering from Perception to Decision

将具身问答从感知扩展到决策

Xicheng Gong, Qiwei Li, Peiran Xu, Yadong Mu

机构 * Peking University（北京大学） ； XYZ Embodied AI（XYZ具身AI） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)

AI总结 提出大规模具身问答数据集EQA-Decision和基线模型RoboDecision，系统覆盖静态场景构建、空间理解、任务动态推理和即时决策四个维度，以统一框架评估具身环境中的感知、推理和行动级决策。

Comments 11 pages,4 figures

A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering

一种用于柬埔寨检索增强问答的语言模型比较研究

Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn

机构 * Department of Computer Science, Chungbuk National University（Chungbuk National University 计算机科学系） ； Department of Big Data, Chungbuk National University（Chungbuk National University 大数据系） ； General Department of Information and Communication Technology, Ministry of Post and Telecommunications（邮电部信息和通信技术总局） ； Department of Management Information Systems, Chungbuk National University（Chungbuk National University 管理信息系统系） ； BigDatalabs Co., Ltd（BigDatalabs 公司） 纠错

专题命中 视觉问答 ：grounding(abstract,abstract_cn)

AI总结 本文针对低资源非拉丁语种柬埔寨语言，比较了多种语言模型在检索增强问答任务中的性能，发现检索器选择是影响效果的关键因素，生成器在不同指标上表现各异。

Comments 14 pages, 1 figure,

The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition

大语言模型的瓶颈：为何开源视觉大语言模型在层级视觉识别上遇到困难

Yuwen Tan, Yuan Qing, Boqing Gong

机构 * Boston University（波士顿大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文指出开源大语言模型缺乏对视觉世界的层级知识，导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈，通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。

Comments Accepted to CVPR 2026. Project page and code: https://yuanqing-ai.github.io/llm-hierarchy/

SEA-Vision: A Multilingual Benchmark for Comprehensive Document and Scene Text Understanding in Southeast Asia

SEA-Vision：面向东南亚的多语言综合文档和场景文本理解基准

Pengfei Yue, Xingran Zhao, Juntao Chen, Peng Hou, Wang Longchao, Jianghang Lin, Shengchuan Zhang, Anxiang Zeng, Liujuan Cao

机构 * Xiamen University, China（厦门大学，中国） ； Shopee, China（Shopee，中国） ； Tongji University, China（同济大学，中国） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)

AI总结 SEA-Vision提出一个多语言基准，用于评估文档解析和文本中心视觉问答，涵盖11种东南亚语言，包含15234页文档和7496对问答对，揭示多语言文档理解的差距。

Comments Accepted By CVPR2026

Mindstorms in Natural Language-Based Societies of Mind

自然语言基础的思维社会中的风暴

Mingchen Zhuge, Haozhe Liu, Francesco Faccio, Dylan R. Ashley, Róbert Csordás, Anand Gopalakrishnan, Abdullah Hamdi, Hasan Abed Al Kader Hammoud, Vincent Herrmann, Kazuki Irie, Louis Kirsch, Bing Li, Guohao Li, Shuming Liu, Jinjie Mai, Piotr Piękos, Aditya Ramesh, Imanol Schlag, Weimin Shi, Aleksandar Stanić, Wenyi Wang, Yuhui Wang, Mengmeng Xu, Deng-Ping Fan, Bernard Ghanem, Jürgen Schmidhuber

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文探讨了基于自然语言的思维社会（NLSOMs）的结构和应用，通过多代理系统解决多种AI任务，并提出未来研究方向。

Comments published in Computational Visual Media Journal (CVMJ); 9 pages in main text + 7 pages of references + 38 pages of appendices, 14 figures in main text + 13 in appendices, 7 tables in appendices

Journal ref (2025). Computational Visual Media, 11(1), 29-81

ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images

ExStrucTiny：一种用于从文档图像中进行模式变量结构信息提取的基准

Mathieu Sibue, Andres Muñoz Garza, Samuel Mensah, Pranav Shetty, Zhiqiang Ma, Xiaomo Liu, Manuela Veloso

机构 * J.P. Morgan AI Research（摩根大通人工智能研究） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)

AI总结 ExStrucTiny是一个新的文档图像结构信息提取基准，通过结合手动和合成样本，涵盖更多多样化的文档类型和提取场景，旨在提升通用模型在结构化信息提取中的性能。

Comments EACL 2026, main conference

TabRAG: Improving Tabular Document Question Answering for Retrieval Augmented Generation via Structured Representations

TabRAG：通过结构化表示改进表格文档问答以增强检索增强生成

Jacob Si, Mike Qu, Michelle Lee, Marek Rei, Yingzhen Li

专题命中 视觉问答 ：vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 TabRAG通过结构化表示改进表格文档问答，采用布局分割和视觉语言模型解析，提升表格问答性能。

Comments NeurIPS 2025 AI4Tab

DoPE: Decoy Oriented Perturbation Encapsulation Human-Readable, AI-Hostile Documents for Academic Integrity

DoPE: 伪装导向扰动封装用于学术诚信的人可读AI敌对文档

Ashish Raj Shekhar, Shiven Agarwal, Priyanuj Bordoloi, Yash Shah, Tejas Anvekar, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 DoPE通过在考试文档中嵌入语义伪装，利用MLLM pipelines的渲染-解析差异，实现对AI自动解决的预防和检测，提升学术诚信保障。

Ensembling Multiple Hallucination Detectors Trained on VLLM Internal Representations

集成多个基于VLLM内部表示的幻觉检测器

Yuto Nakamizo, Ryuhei Miyazato, Hikaru Tanabe, Ryuta Yamakura, Kiori Hatanaka

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)

AI总结 本文提出通过集成多个基于VLLM内部表示的幻觉检测模型，以减少幻觉并提高VQA任务的准确性。

Comments 5th place solution at Meta KDD Cup 2025

LinkedOut: Linking World Knowledge Representation Out of Video LLM for Next-Generation Video Recommendation

LinkedOut: 从视频大语言模型中提取世界知识表示以实现下一代视频推荐

Haichao Zhang, Yao Lu, Lichen Wang, Yunzhe Li, Daiwei Chen, Yunpeng Xu, Yun Fu

机构 * Northeastern University（东北大学） ； LinkedIn（领英） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 LinkedOut通过从视频中提取世界知识表示，实现低延迟、多视频输入的视频推荐，无需人工标注，取得最佳性能。

Think First, Assign Next (ThiFAN-VQA): A Two-stage Chain-of-Thought Framework for Post-Disaster Damage Assessment

先思后定（ThiFAN-VQA）：一种用于灾后损害评估的两阶段链式思考框架

Ehsan Karimi, Nhut Le, Maryam Rahnemoonfar

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ThiFAN-VQA通过两阶段推理框架提升灾后损害评估的准确性与可解释性。

Uncovering and Mitigating Transient Blindness in Multimodal Model Editing

Xiaoqi Han, Ru Li, Ran Yi, Hongye Tan, Zhuomin Liang, Víctor Gutiérrez-Basulto, Jeff Z. Pan

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted at AAAI'26

SeeingEye: Agentic Information Flow Unlocks Multimodal Reasoning In Text-only LLMs

Weijia Zhang, Zijia Liu, Haoru Li, Haoqi Chen, Jiaxuan You

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)

End-to-End Multi-Modal Diffusion Mamba

Chunhao Lu, Qiang Lu, Meichen Dong, Jake Luo

机构 * China University of Petroleum-Beijing（中国石油大学（北京）） ； Leyard Optoelectronic（莱亚德光电） ； University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by ICCV 2025

An Empirical Study for Representations of Videos in Video Question Answering via MLLMs

Zhi Li, Yanan Wang, Hao Niu, Julio Vizcarra, Masato Taya

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)

Comments 6 pages, 3 figures

Seeing is Not Understanding: A Benchmark on Perception-Cognition Disparities in Large Language Models

Haokun Li, Yazhou Zhang, Jizhi Ding, Qiuchi Li, Peng Zhang

机构 * Tianjin University（天津大学） ； Shandong Institute of Petroleum and Chemical Technology（山东石油化学工业技术研究所） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)

Comments I need to modify the content of the article

Towards Reliable and Interpretable Document Question Answering via VLMs

Alessio Chen, Simone Giovannini, Andrea Gemelli, Fabio Coppini, Simone Marinai

机构 * Università degli Studi di Firenze（佛罗伦萨大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)

FM2DS: Few-Shot Multimodal Multihop Data Synthesis with Knowledge Distillation for Question Answering

Amirhossein Abaskohi, Spandana Gella, Giuseppe Carenini, Issam H. Laradji

机构 * Department of Computer Science（计算机科学系） ； The University of British Columbia（不列颠哥伦比亚大学） ； ServiceNow Research（ServiceNow研究） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Findings of EMNLP 2025

Real Time FPGA Based Transformers & VLMs for Vision Tasks: SOTA Designs and Optimizations

Safa Mohammed Sali, Mahmoud Meribout, Ashiyana Abdul Majeed

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)

Towards Understanding Camera Motions in Any Video

Zhiqiu Lin, Siyuan Cen, Daniel Jiang, Jay Karhade, Hewei Wang, Chancharik Mitra, Tiffany Ling, Yuhan Huang, Sifan Liu, Mingyu Chen, Rushikesh Zawar, Xue Bai, Yilun Du, Chuang Gan, Deva Ramanan

专题命中 视觉问答 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project site: https://linzhiqiu.github.io/papers/camerabench/

Do LVLMs Know What They Know? A Systematic Study of Knowledge Boundary Perception in LVLMs

Zhikai Ding, Shiyu Ni, Keping Bi

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)

Comments EMNLP2025 Findings

Hierarchical Vision-Language Reasoning for Multimodal Multiple-Choice Question Answering

Ao Zhou, Zebo Gu, Tenghao Sun, Jiawen Chen, Mingsheng Tu, Zifeng Cheng, Yafeng Yin, Zhiwei Jiang, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)

Comments This paper has been accepted by ACM MM 2025

SVLA: A Unified Speech-Vision-Language Assistant with Multimodal Reasoning and Speech Generation

Ngoc Dung Huynh, Mohamed Reda Bouadjenek, Imran Razzak, Hakim Hacid, Sunil Aryal

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)

Comments 21 pages

Directional Gradient Projection for Robust Fine-Tuning of Foundation Models

Chengyue Huang, Junjiao Tian, Brisa Maneechotesuwan, Shivang Chopra, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to ICLR 2025

SlotPi: Physics-informed Object-centric Reasoning Models

Jian Li, Wan Han, Ning Lin, Yu-Liang Zhan, Ruizhi Chengze, Haining Wang, Yi Zhang, Hongsheng Liu, Zidong Wang, Fan Yu, Hao Sun

机构 * Renmin University of China（中国人民大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

ChartMind: A Comprehensive Benchmark for Complex Real-world Multimodal Chart Question Answering

Jingxuan Wei, Nan Xu, Junnan Zhu, Yanni Hao, Gaowei Wu, Bihui Yu, Lei Wang

机构 * Beijing Wenge Technology Co., Ltd.（北京文格科技有限公司） ； Shenyang Institute of Computing Technology, Chinese Academy of Sciences（沈阳计算技术研究所，中国科学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)

FullFront: Benchmarking MLLMs Across the Full Front-End Engineering Workflow

Haoyu Sun, Huichen Will Wang, Jiawei Gu, Linjie Li, Yu Cheng

机构 * Tongji University（同济大学） ； University of Washington（华盛顿大学） ； Sun Yat-sen University（中山大学） ； Microsoft（微软） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)

CTRL-O: Language-Controllable Object-Centric Visual Representation Learning

Aniket Didolkar, Andrii Zadaianchuk, Rabiul Awal, Maximilian Seitzer, Efstratios Gavves, Aishwarya Agrawal

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted at CVPR 2025

MoReVQA: Exploring Modular Reasoning Models for Video Question Answering

Juhong Min, Shyamal Buch, Arsha Nagrani, Minsu Cho, Cordelia Schmid

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments CVPR 2024; updated NExT-GQA results in Appendix