视觉大模型 / VLM

UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering

UniHEAR：面向基于知识的视觉问答的统一异构源注意力检索

Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 针对KB-VQA现有系统的单源检索瓶颈与检索源盲重排序问题，提出UniHEAR框架，在E-VQA和InfoSeek数据集上实现最优检索与VQA性能，提升Recall@1达6.7和1.2个点。

Comments Accepted by ACM MM 2026

Not Truly Multilingual: Script Consistency as a Missing Dimension in VLM Evaluation

并非真正的多语言：脚本一致性作为VLM评估中缺失的维度

Prabhjot Singh, Bhushan Pawar, Madhu Reddiboina, Rajvee Sheth

机构 * RediMinds Inc.（RediMinds公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员） 纠错

专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 提出PuMVR基准，评估10个VLM在旁遮普语三种文字上的表现，发现显著的脚本差距，并提出脚本一致性率（SCR）作为必要评估指标。

Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models

推理动态与监控模态依赖性的局限性

Danae Sánchez Villegas, Samuel Lewis-Lim, Nikolaos Aletras, Desmond Elliott

机构 * University of Copenhagen, Department of Computer Science（哥本哈根大学计算机科学系） ； University of Sheffield, School of Computer Science（谢菲尔德大学计算机科学学院） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究分析18种VLM的推理动态，发现模型易受早期预测影响，推理训练模型在模态条件下表现出更强的纠正行为，但其效果依赖于模态条件，且CoT的可检测性因模型而异。

Comments Accepted for publication in COLM 2026

SleepVLM: A Rule-Grounded Vision-Language Model for Auditable Sleep Staging

SleepVLM：基于视觉语言模型的可解释且规则驱动的睡眠分期

Guifeng Deng, Pan Wang, Mengfan Niu, Jiquan Wang, Shuying Rao, Junyi Xie, Xi'ang Chen, Sha Zhao, Gang Pan, Wanjun Guo, Tao Li, Haiteng Jiang

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract_cn)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 提出SleepVLM，一种基于规则驱动的视觉语言模型，通过多通道PSG波形图像进行睡眠分期，并生成符合AASM评分标准的临床可读解释，在保持高准确率的同时提升可解释性。

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

链式视觉思维：通过连续视觉标记教学VLMs更好地看到和思考

Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； UCLA（洛杉矶大学） ； Panasonic AI Research（松下人工智能研究） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 COVT通过连续视觉标记提升VLMs的视觉推理能力，使模型在多个基准测试中性能提升3%-16%。

Comments Project page: https://wakalsprojectpage.github.io/covt-website/

Place-it-R1: Unlocking Environment-aware Reasoning Potential of MLLM for Video Object Insertion

Place-it-R1: 解锁多模态大语言模型在视频物体插入中的环境感知推理潜力

Bohai Gu, Taiyi Wu, Dazhao Du, Jian Liu, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo

机构 * HKUST（香港科技大学） ； Tencent Video（腾讯视频） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 Place-it-R1通过多模态大语言模型的环境感知推理能力，实现物理一致的视频物体插入，提供两种模式以平衡保真度与合理性。

Comments https://nevsnev.github.io/Place-it-R1/

MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding

MOON3.0: 基于推理的多模态表示学习用于电商产品理解

Junxian Wu, Chenghan Fu, Zhanheng Nie, Daoze Zhang, Bowen Wan, Wanxian Guan, Chuan Yu, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 MOON3.0通过多头模态融合、联合对比与强化学习框架及细粒度残差增强模块，提升电商产品细粒度属性建模能力，并在大规模多模态电商基准MBe3.0上实现零样本最优性能。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM), 2026. 10 pages, 6 figures

Evaluation-Verification Reward for Consistent Multi-Reference Image Editing

用于一致多参考图像编辑的评估-验证奖励

Yingmao Miao, Pengfei Zhang, Xiaochen Lv, Meng Yu, Lei Sun, Xiangxiang Chu, Chao Shen, Chenhao Lin

机构 * Xi’an Jiaotong University（西安交通大学） ； Amap, Alibaba（高德，阿里巴巴） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多参考图像编辑的视觉一致性与奖励模型缺失问题，提出多维度评估-验证奖励EVR，实现无需架构改动的现成编辑器RL微调，性能优于Qwen-Image-Edit并达到或超NanoBanana。

HERO: Hierarchical Evidential Reasoning Optimization for Radiology Report Generation via Reason-then-Summarize

对齐发现与诊断：一种自洽的强化学习框架用于可信的放射学报告

Kun Zhao, Guodong Liu, Hui Ji, Siyuan Dai, Pan Wang, Jifeng Song, Chenghua Lin, Liang Zhan, Haoteng Tang

机构 * University of Pittsburgh（匹兹堡大学） ； University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种自洽的强化学习框架，用于生成可信的放射学报告，通过优化生成过程和减少幻觉，提升了临床效果。

MI-CXR: A Benchmark for Longitudinal Reasoning over Multi-Interval Chest X-rays

MI-CXR：多区间胸部X光片纵向推理基准

Sunghwan Steve Cho, Yunseok Han, Jaeyoung Do

机构 * AIDAS Laboratory（AIDAS实验室） ； Seoul National University（首尔国立大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 MI-CXR基准旨在评估多visit胸部X光片的纵向推理能力，通过五选一问题和三个互补任务家族，揭示现有视觉语言模型在时间维度上的局限性。

Comments 33 pages

Topology-Aware Reasoning over Incomplete Knowledge Graph with Graph-Based Soft Prompting

基于拓扑的不完整知识图谱推理与图基软提示

Shuai Wang, Xixi Wang, Yinan Yu

机构 * Chalmers University of Technology and University of Gothenburg, Sweden（楚姆勒大学技术学院和哥德堡大学，瑞典） ； Technical University of Denmark, Kgs. Lyngby, Denmark（丹麦技术大学，基斯勒吕辛，丹麦） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出基于图的软提示框架，通过图神经网络编码子图生成软提示，使LLM在更丰富的结构上下文中推理，减少缺失边的影响，提升多跳KBQA性能。

Comments 17 pages, 2 figures

CROSS: Cascaded Distillation and Dual-Constraint Grounding for Remote Sensing Referring Segmentation

CROSS：用于遥感指称分割的级联蒸馏与双约束 grounding

Tingzhang Luo, Ruizhong Liu, Yichao Liu, Cheng Fan, Yu Liu, Jianyuan Guo

专题命中 视觉定位与Grounding ：grounding(title,title_cn)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对遥感指称分割中架构弱耦合与语义偏差问题，本文提出CROSS范式，通过LGCD与PSCL实现性能突破，成为RRSIS的稳健新方案。

Comments Accepted at the European Conference on Computer Vision (ECCV) 2026. 20 pages, 6 figures, and 5 tables. Tingzhang Luo and Ruizhong Liu contributed equally. Jianyuan Guo is the corresponding author. Project page: https://clarence-cv.github.io/CROSS/

RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation

RoboReact：基于生成的自我中心视频的智能体技能蒸馏，实现通用全身操控

Shuliang He, Shuai Wang, Bo Yue, Junchi Teng, Changyu Wang, Guiliang Liu

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)

AI总结 本研究提出RoboReact框架，通过生成自我中心视频并结合视觉语言引导的闭环控制，实现人形机器人全身操控技能的通用获取，可在多样场景中稳健执行。

ZoomV: Temporal Zoom-in for Efficient Long Video Understanding

TimeSearch: 基于聚光灯和反射的层次视频搜索用于类人长视频理解

Yuan Zhang, Junwen Pan, Rui Zhang, Xin Wan, Qizhe Zhang, Ming Lu, Qi She, Shanghang Zhang

机构 * ByteDance（字节跳动） ； School of Computer Science, Peking University（北京大学计算机科学学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 TimeSearch通过Spotlight和Reflection机制，提升长视频理解的准确性和效率

Comments ACMMM 2026

Text2GraphQuery-Bench: A Text to Graph Query Benchmark

Text2GQL-Bench: 一个文本到图查询语言基准 [实验、分析与基准]

Songlin Lyu, Lujie Ban, Zihang Wu, Tianqi Luo, Jirong Liu, Ayoub Moussaid, Oskar van Rest, Heng Lin, Chenhao Ma, Nan Tang, Shipeng Qi, Yongchao Liu, Zhan Qiu, Juelu Zhang, Jiajun Zheng

机构 * Ant Group（蚂蚁集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Xi'an Polytechnic University（西安理工大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 Text2GQL-Bench是一个统一的文本到图查询语言基准，通过多领域数据集和评估方法，揭示了ISO-GQL生成中的方言差距，并展示了通过充足示例提升模型性能的潜力。

RingSQL: Schema-Independent Synthetic Data Generation for Text-to-SQL Reinforcement Learning

RingSQL: 通过不依赖模式的模板生成合成数据以用于文本到SQL推理模型

Marko Sterbentz, Kevin Cushing, Cameron Barrie, Kristian J. Hammond

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 RingSQL通过结合不依赖模式的模板和大语言模型生成，提升文本到SQL模型的准确性和多样性

Comments 23 pages, 12 figures

How Effective Are NPM Malicious Package Detectors? A Large-Scale Empirical Study

理解NPM恶意软件包检测：基于基准的实证分析

Wenbo Guo, Zhongwen Chen, Zhengzi Xu, Chengwei Liu, Ming Kang, Shiwen Song, Chengyue Liu, Yijia Xu, Weisong Sun, Yang Liu

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文基于基准测试分析NPM恶意软件包检测，构建包含6420个恶意和7288个良性包的数据集，评估8种工具的性能，揭示工具精度-召回率由代码意图解析决定，GuardDog达到93.32% F1，SAP_DT检测率提升至79.3%。

ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction

ExtractBench：模式引导的企业文档抽取基准

Boyang Zhang, Adrian Lyjak, Eli Stewart, Zhaoqi Li, Simon Suo

专题命中 文档图表理解 ：VLM(abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 研究针对企业文档模式引导抽取的评估需求，构建首个同时评估值准确率等多指标的基准ExtractBench，发现LlamaExtract Agentic Plus在成本远低于编码智能体的情况下，准确率可与之媲美。

BIM-Native Tokenization for Constraint-Aware Room Layout Synthesis

基于标记的建筑：一种用于布局合成的Transformer

Manuel Ladron de Guevara, Jinmo Rhee, Ardavan Bidgoli, Vaidas Razgaitis, Michael Bergin

机构 * Higharc ； University of Calgary（卡尔加里大学） 纠错

专题命中 文档图表理解 ：VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出SBM模型，通过统一建筑元素的异质特征集生成布局合成的Transformer架构，实现高保真房间嵌入和功能布局生成。

Comments 7 pages, 2 page References, 3 figures

ArtChart: Faithful Artistic Chart Generation with Integrated Text Rendering

ArtChart：一个用于忠实生成艺术图表并集成文本渲染的基准测试

Meijia Huang, Yingjie Yin, Shihao Wang, Chenguang Ma

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 文档图表理解 ：VLM(abstract)；分类 cs.CV

AI总结 研究旨在解决艺术图表生成难题，提出ArtChart框架，含特定即插即用模块及强化学习等策略，构建基准测试和评估套件，实验证明该框架能生成兼具美观与数学准确性的图表，优于开源基线。

Document Optimization for Black-Box Retrieval via Reinforcement Learning

基于强化学习的黑盒检索文档优化

Omri Uzan, Ron Polonsky, Douwe Kiela, Christopher Potts

机构 * Stanford University（斯坦福大学） ； ContextualAI 纠错

专题命中 文档图表理解 ：vision language model(abstract)

AI总结 提出通过强化学习（GRPO）优化文档表示，使其与目标检索器的查询分布对齐，仅需黑盒访问检索排名，在代码和视觉文档检索任务中提升性能，使小模型超越大模型。

Learning to Detect UI Principle Violations via Reinforcement Learning

通过强化学习学习检测用户界面原则违规

Nishi Mehta, Swathi Alse, Himani Kumawat, Yue Yu, Pratik Jayarao

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 研究小型语言模型和编码代理生成的网页前端代码违反界面质量原则的问题，通过统一多来源的界面质量原则，构建数据集并利用强化学习训练轻量级视觉语言模型作为评判器，提升检测效果并发布相关方法支持评估和后续工作。

HalluScope: Fine-grained Hallucination Diagnosis for Multimodal Large Language Models

HalluScope：多模态大语言模型的细粒度幻觉诊断

Weilin Jin, Mingyu Wang, Wenbo Li, Haoyang Huang, Yifan Wu, Ying Li, Gang Huang, Zhonghai Wu

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型的幻觉问题，提出细粒度幻觉诊断任务，开发数据集并设计奖励函数，训练HalluScope-4B和HalluScope-8B模型，在多个基准测试中达最优，其诊断解释能有效指导目标模型纠正幻觉。

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP

用一个替代模型欺骗所有：基于CLIP的通用、可迁移且有针对性的对抗攻击

Binyan Xu, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.LG

AI总结 本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。

Comments 22 pages, 15 figures, 18 tables. To appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2025

AdaBoosting Text Prompts for Vision-Language Models

AdaBoosting 文本提示用于视觉-语言模型

Seokhee Jin, Changhwan Sung, Sunung Mun, Hoyoung Kim, Jungseul Ok

机构 * KT Corporation（KT公司） ； Pohang University of Science and Technology (POSTECH)（浦项科技大学） ； National AI Research Lab（国家人工智能研究实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.LG

AI总结 提出文本提示提升（TPB）框架，通过AdaBoost策略将每个文本提示分类器视为弱学习器，顺序集成以聚焦难分类样本，提升少样本分类精度并实现跨模型迁移。

Comments Accepted to ECCV 2026 Spotlight

It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling

是解码格式，而非扰动：审计视觉语言模型测试时扩展的基于一致性的选择

Puzhuo Zheng, Hasan Kurban

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究发现视觉语言模型测试时的选择效果由解码格式而非扰动决定，提出的扰动基选择（Pgs）在控制格式后无显著收益，说明其无法作为有效选择信号。

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026