视觉大模型 / VLM

How Much Does It Cost to Answer My Question? Benchmarking Cloud VLM-based VQA Systems

回答我的问题需要多少成本？基于云VLM的VQA系统基准测试

Henri Vanhuynegem, Weitao Xu, Yiran Shen, Guohao Lan

专题命中 视觉问答 ：VLM(title,title_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本研究推出首个将客户端输入预处理作为受控变量的VQABench基准，评估12种预处理技术在3个VQA数据集、4个商业VLMs上的95168次API调用，明确预处理对云VLM-based VQA的成本-质量影响，为VQA系统部署提供指导。

DH-VLM: Dual-Horizon Cooperative Latent Reasoning for Autonomous Driving

DH-VLM：面向自动驾驶的双时域协同隐层推理框架

Ziyi Song, Chen Xia, Hang Yu, Sheng Zhou, Zhisheng Niu

机构 * Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)

AI总结 本文提出DH-VLM双时域协同隐层推理框架，结合基础设施与自车实现非对称语义协同，构建协同QA数据集支撑推理，在规划性能、通信成本等指标上优于现有方法，为协同自动驾驶提供实用鲁棒范式。

Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

Jagle：构建大规模日语多模态预训练数据集以构建视觉-语言模型

Issa Sugiura, Keito Sasagawa, Keisuke Nakao, Koki Maeda, Ziqi Yin, Zhishen Yang, Shuhei Kurita, Yusuke Oda, Ryoko Tokuhisa, Daisuke Kawahara, Naoaki Okazaki

机构 * Kyoto University（京都大学） ； NII LLMC（国立信息学研究所LLMC） ； Waseda University（早稻田大学） ； Institute of Science Tokyo（东京科学大学） ； NII（国立信息学研究所） ； Aichi Institute of Technology（爱知工业大学） ； Institute of Physical and Chemical Research（理化学研究所） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出Jagle，一个包含920万实例的日语多模态预训练数据集，通过多种策略生成VQA对，实验表明其在日语任务中表现优异，且与FineVision结合能提升英文性能。

Comments Accepted to COLM 2026

MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents

MetaSpace：面向具身智能体空间认知的变形测试

Gengyang Xu, Dongwei Xiao, Yiteng Peng, Shuai Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 MetaSpace是评估具身智能体空间认知的框架，基于变形测试原则生成测试用例，在三个场景中检测到SOTA MLLM驱动智能体的90422个空间认知错误，其SC分数远低于人类基准。

Comments 30 pages, 17 figures. Published in Proceedings of the ACM on Programming Languages (OOPSLA1)

Journal ref Proceedings of the ACM on Programming Languages, 10, OOPSLA1 (April 2026), 343-372

LHSDet: High-Resolution AI-Generated Image Detection via Visual Question Answering

LHSDet：基于视觉问答的高分辨率AI生成图像检测方法

Qian Yao, Jun-Jie Huang, Yongjun Wang, Luming Yang

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院） ； Academy of Military Science（军事科学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对现有AI生成图像检测方法忽略高分辨率细节、难以应对未知生成模型的问题，提出LHSDet，将检测任务转为视觉问答，采用三分支架构，在各类生成模型上实现高检测准确率与稳健性能。

Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering

用于医学视觉问答的频域双分支融合

Yusra Tariq, Rakesh Chandra Joshi

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出频域双分支融合模块，结合BiomedCLIP与BioBART，在PMC-VQA预训练后于VQA-RAD、SLAKE微调，提升医学VQA性能且架构轻量高效。

Comments 7 Pages, 4 figures, under review at AAAI 27

Multi-Modal Scene Graph with Kolmogorov-Arnold Experts for Audio-Visual Question Answering

多模态场景图与科莫戈罗夫-阿诺尔德专家网络用于音频-视觉问答

Zijian Fu, Changsheng Lv, Xianlin Zhang, Mengshi Qi, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China（网络与交换技术国家重点实验室，北京邮电大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.AI

AI总结 本文提出基于多模态场景图与科莫戈罗夫-阿诺尔德专家网络的SHRIKE模型，用于提升音频-视觉问答任务中的跨模态交互建模与时间推理性能。

VideoVIBE: A Video-Grounded Diagnostic Benchmark for One-Shot Interactive Website Generation

VideoVIBE：用于一次性交互式网站生成的基于视频的诊断基准

Jiajun Xu, Yanghao Zhou, Jingyun Liao, Yu Bai, Jinxing Zhou, Chengliang Liu, Changsen Yuan, Bo Wang, Qian Liu

专题命中 视觉问答 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV

AI总结 针对现有一次性交互式网站生成质量评估的不足，提出VideoVIBE基准与V2Lens多智能体系统，实验显示V2Lens可提升Video MLLM的评估性能。

TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models

TrustRoboReward：面向多范式机器人奖励模型的偏好有序保序分数编辑方法

Yidong Wang, Yan Zhan, Ziteng Feng, Zhenyu Cui, Ziyi Zhou, Renzhao Liang, Jiaxuan Zhu, Zilei Yang, Yiran Zhao, Zhongkuan Mao, Bo Jia, Hanchu Ni, Chenggang Xie, Biao Liu, Yi Zhang, Yong Dai, Xiaozhu Ju, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Southern University of Science and Technology（南方科技大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Beijing Language and Culture University（北京语言大学） ； Sichuan University（四川大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对现有机器人奖励模型的跨范式偏好与分数不一致问题，本文提出 TrustRoboReward 框架，通过 POISE 方法解决反转冲突，训练的 Qwen3-VL-4B 性能接近 GPT-5-mini，优于 RoboReward 基线。

Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation

Jako Tako 还是 Fluent？推出 PoVisLE：波兰语视觉-语言评估基准

Anna Kołos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。

Comments 28 pages. Preprint under review

SoftReason: A Fully Differentiable Neuro-Soft-Symbolic Deductive Reasoning Architecture over High-Dimensional Perceptual Data

SoftReason：一种用于高维感知数据的完全可微神经软符号演绎推理架构

Wael AbdAlmageed

机构 * Clemson University（克莱姆森大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.AI

AI总结 研究针对前提需从高维输入推断且由知识图谱提供相关信息的推理问题，提出神经软符号架构SoftReason，核心是对直接后果算子可微提升，能在知识感知视觉问答中支持多种功能。

Journal ref Proceedings of Machine Learning Research vol 284:1-2, 2026 20th Conference on Neurosymbolic Learning and Reasoning

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

HFS: 为高效视频推理的全局查询感知帧选择

Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 HFS提出一种端到端可训练的帧选择框架，通过任务自适应方法提升视频推理效率。

Comments Accepted to the Main Track of ACM Multimedia 2026 (ACM MM '26)

Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models

Omni2LoRA：用于高效全模态语言模型的保持一致性的参数化存储器

Puneet Mathur, Manan Suri, Dinesh Manocha

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.AI

AI总结 Omni2LoRA是一种保持一致性的参数化存储器压缩框架，通过优化秩分配策略提升全模态语言模型效率，在视听问答任务中优于多种基线，大幅缩短推理时间。

Towards Researcher Agents for Knowledge-Graph Question Answering

面向知识图谱问答的研究者智能体

Tommaso Soru, Abdulsobur Oyewale

机构 * Liber AI Research（Liber AI研究院） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本研究提出研究者智能体式文本转SPARQL系统，在DBpedia上迭代优化后，其在2025年DBpedia验证集上总体准确率达0.22，发现瓶颈在谓词选择，建议基准采用多指标评分。

Comments Second International TEXT2SPARQL Challenge, co-located with Text2KG at ESWC 2026

Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets

Med-CRAFT：通过知识图谱遍历自动构建可解释的多跳视频工作负载

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视觉问答 ：MLLM(abstract_cn)；分类 cs.AI

AI总结 Med-CRAFT通过知识图谱遍历自动构建可解释的多跳视频工作负载，生成具有细粒度时间选择性和多跳逻辑复杂性的医疗视频推理基准。

Comments 23 pages, 4 figures, 10 tables

VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

VectraYX-Vision-1B：一款具备结构化视觉推理与原生工具使用能力的20亿参数以下西班牙语/拉丁美洲网络安全多模态模型

Juan S. Santillana

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(title)；VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)

AI总结 本研究推出VectraYX-Vision-1B，一款20亿参数以下西班牙语/拉丁美洲网络安全多模态模型，支持结构化推理与工具调用，针对网络UI优化，同时报告了其视觉定位的负面结果及相关修复方案，开源了模型与数据。

Comments 11 pages, 1 figure

Evidence-RL: Towards Evidence-intensive Visual Reasoning

Evidence-RL：面向证据密集型视觉推理

Haojie Huang, Xinlei Yu, Chengming Xu, Zhangquan Chen, Cheng Yang, Qingdong He, Yu Yang, Jiangning Zhang, Xiaobin Hu

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 视觉推理 ：visual reasoning(title)；VLM(abstract,abstract_cn)；grounding(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对视觉-语言模型依赖语言先验等问题，提出反事实证据解缠方法，结合GRPO框架在9个基准和4种骨干模型上优于现有基于RL的后训练方法。

Comments 22 pages, 10 figures

ViSR-KGC: Visual Subgraph Reasoning with Vision-Language Models for Multimodal Knowledge Graph Completion

ViSR-KGC：结合视觉语言模型的视觉子图推理用于多模态知识图谱补全

Jiafan Li, Mengxue Yang, Jiaqi Zhu, Liang Chang, Ying Li, Hongan Wang

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； CITIC Securities（中信证券） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.AI

AI总结 针对多模态知识图谱补全的痛点，提出ViSR-KGC方法，结合表示学习、视觉语言模型与预训练常识，通过提取查询感知子图并转换为可视化内容辅助VLM推理缺失实体。

VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging

VCU-Bridge: 通过语义桥梁实现层次化视觉隐喻理解

Ming Zhong, Yuanlei Wang, Liuzhou Zhang, Ruichuan An, Renrui Zhang, Hao Liang, Ming Lu, Ying Shen, Wentao Zhang

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； CUHK（香港中文大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 VCU-Bridge通过语义桥梁实现层次化视觉隐喻理解，构建了HVCU-Bench基准，并展示了提升MLLM能力的显著效果。

Agentic Visual Reasoning in Whole-Slide Pathology Images via Active Perception

基于主动感知的全切片病理图像智能体视觉推理

Jingyun Chen, Fengchun Liu, Linghan Cai, Songhan Jiang, Shenjin Huang, Hongpeng Wang, Lequan Yu, Yongbing Zhang

机构 * College of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院） ； School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出AdaptivePath主动感知框架，通过序列决策实现千兆像素病理切片的视觉推理，在病理VQA基准及TCGA六队列癌症亚型分类上取得最优性能，辅助病理学家诊断。

Comments 14 pages, 5 figures

MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence

MMArch：基于建筑证据的多模态推理基准测试

Chenxu Du, Kang An, Tengyue Wang, Zhongyu Yang, Xinqi Yang, Yuanchi Zhu, Hebao Zhu, Ziliang Wang, Faqiang Qian, Yunli Yang, Qibing Ren

专题命中 视觉推理 ：MLLM(summary_cn,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型（MLLM）在工程多模态推理基准上的表现，构建MMArch基准，发现现有MLLM与人类专家存在差距，为相关研究提供评估基准。

Multi-Branch Policy Optimization for Multimodal Large Language Models

面向多模态大语言模型的多分支策略优化

Shuai Lyu, Yuning Gong, Ruiling Gao, Xiaoran Shang, Zhonghong Ou, Ping Zong, Yifan Zhu, Yuan Sun, Yang Qin, Peng Hu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Sichuan University（四川大学） ； Shanghai University（上海大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型统一信用分配的缺陷，提出MBPO框架，通过树结构与分支相对优势分配信用，结合时间回放缓冲区提升性能，在多模态推理基准上优于基线。

Comments 10 pages,8 figures

Thinking With Tools, Not With Pixels: Tool Calls as Text Scaffolds for Visual Reasoning

用工具思考，而非用像素思考：工具调用作为视觉推理的文本支架

Jiahao Shao, Yuanbo Yang, Yiyi Liao, Yujun Shen, Ceyuan Yang, Yinghao Xu

机构 * Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出工具调用支架假设，引入TextCall方法验证返回图像冗余，仅用结构化文本支架即可实现视觉推理，降低延迟并消除工具API调用，结论适用于现有相关基准。

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Sci-VBench：面向科学领域知识与推理密集型视频生成的评估

Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； UCAS（中国科学院大学） ； Tongji University（同济大学） ； Yale University（耶鲁大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 该研究推出Sci-VBench基准，评估科学领域视频生成，测试16个模型后发现，视觉真实感提升未转化为科学与因果动态建模能力，且专有模型性能优于开源模型。

Comments COLM 2026

PrismVAU: Prompt-Refined Inference System for Multimodal Video Anomaly Understanding

PrismVAU: 用于多模态视频异常理解的提示优化推理系统

Iñaki Erregue, Kamal Nasrollahi, Sergio Escalera

机构 * Universitat de Barcelona（巴塞罗那大学） ； Computer Vision Center（计算机视觉中心） ； Aalborg University（奥胡斯大学） ； Milestone Systems（Milestone系统） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 PrismVAU通过轻量级系统和自动提示工程实现高效的多模态视频异常理解，无需复杂标注和外部模块。

Comments This paper has been accepted to the 6th Workshop on Real-World Surveillance: Applications and Challenges (WACV 2026)

PhysX-CoT: Structured Physical Reasoning from a Single Image to Simulation-Ready 3D Assets

PhysX-CoT：从单张图像生成可用于仿真的3D资产的结构化物理推理

Jie Huang, Xiaohe Li, Jiahao Li, Fangli Mou, Chen Qian, Yuqiang Fang, Junhao Fan, Kaixin Zhang, Zide Fan

机构 * Space Engineering University（航天工程大学） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 PhysX-CoT将单张图像生成仿真3D资产视为显式结构化物理推理过程，通过分解部件级状态轨迹优化相关指标，在多方面优于基线，生成资产在Unreal Engine 5中表现良好。

SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding

SmartMage：面向3D场景理解的动态模态编排

Yue Zhang, Yingzhao Jian, Yunqiu Xu, Xiaoxiao Sun, Hehe Fan

机构 * Zhejiang University（浙江大学） ； Stanford University（斯坦福大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文针对现有MLLMs采用固定模态组合的缺陷，提出SmartMage模型，通过SMART和MAGE模块动态编排模态，在5个3D场景理解基准上取得最优性能，在RGB视频理解基准上表现具竞争力。

Comments Accepted to ACM MM 2026

Let Geometry GUIDE: Layer-wise Unrolling of Geometric Priors in Multimodal LLMs

让几何引导：在多模态大语言模型中逐层展开几何先验

Chongyu Wang, Ting Huang, Chunyu Sun, Xinyu Ning, Di Wang, Hao Tang

机构 * Xi’an Jiaotong University（西安交通大学） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； InspireOmni 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出GUIDE框架，通过多级采样和逐步融合几何先验，提升多模态大语言模型在空间推理任务中的性能。

Comments Revised manuscript with updated experiments, figures, and presentation

Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

听、看与跟踪：面向全模态大模型的时空视听声音事件推理

Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 针对现有模型缺失的时空视听推理能力，构建ST-OmniQA基准，提出ST-Omni-R1模型，在该基准上平均语义准确率达77.83%，且空间运动表示可跨基准迁移。

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。