视觉大模型 / VLM

OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning

OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进

Jiahao Wang, An Ping, Yanghai Wang, Yuanxing Zhang, Shihao Li, Hanyan Bian, Yichi Ren, Yize Zhang, Han Wang, Haowen Chen, Junze Li, Jiaqi Wang, Yiyang Hu, Zhuze Xu, Zijie Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。

VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation

VideoWeaver: 评估与进化智能体长视频生成技能

Jianhui Wei, Jie Tan, Hengchuan Zhu, Xiaotian Zhang, Yan Zhang, Ziyi Chen, Daoan Zhang, Wei Xu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； ByteDance（字节跳动） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 提出VideoWeaver框架，让智能体自主组合基础技能生成视频，并设计智能体裁判评估过程与结果，通过技能进化算法提升生成质量。

Aligned but Not Partner-Specific: Distinguishing How Multimodal LLM Agents Succeed in Reference Games Without Human-Like Conventions

对齐但非伙伴特定：区分多模态LLM智能体在参考游戏中如何成功而无需类人惯例

Po-Ya Angela Wang, Chinmaya Mishra, Aslı Özyürek, Paula Rubio-Fernández, Esam Ghaleb

机构 * National Taiwan University（国立台湾大学） ； Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所） ； Radboud University（拉德堡德大学） ； Institut Jean Nicod（让·尼科研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 通过约束伪对基线方法，区分多模态LLM智能体在参考游戏中的标签对齐是源于伙伴特定交互还是共享任务词汇，发现智能体通过冗长描述而非压缩表达实现协调。

Wispy to Voluminous: Prior-free Multi-view Capture of Strand-level Facial Hair

从稀疏到浓密：无先验的多视角面部毛发级联重建

Jaeseong Lee, Giljoo Nam, Adrian Jarabo, Carlos Aliaga

机构 * KAIST（韩国科学技术院） ； Meta Codec Avatar Lab（Meta 编码人像实验室） ； Meta Reality Labs Research（Meta现实实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 提出从多视角图像自动重建面部毛发（胡须、眉毛等）的管线，将无结构3D高斯表示转换为显式曲线发丝，解决几何歧义，实现高保真发丝重建。

Comments 27 pages, 16 figures, supplementary included

DALE-CT: Depth-Aware Foundation Models for Computed Tomography

DALE-CT: 用于计算机断层扫描的深度感知基础模型

Evan W. Damron, Mahmut S. Gokmen, Mitchell A. Klusty, Caroline N. Leach, Emily B. Collier, V. K. Cody Bumgardner

机构 * University of Kentucky（肯塔基大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 提出DALE-CT，一种基于LeJEPA的2D切片模型，通过3D深度感知预训练（利用解剖掩膜和异常标注）提升表示质量，在CT多异常检测中达到与3D视觉语言模型近似的性能。

Comments 9 pages, 2 figures

Cohort-based Semantic Labeling: AI-Enabled Recovery of Visualization Semantics from Deployed SVGs

基于分组的语义标注：AI 驱动的从已部署 SVG 中恢复可视化语义

Jeongah Lee, Hima Varshini Surisetty, Durga Nirmaleswaran, Jahnavi Sharma, Srikiran Kavuri, Narges Mahyar, Ali Sarvghad

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出 CSL 管道，通过分组分解和混合语义锚定，从 SVG 中自动恢复可视化语义，实现高精度标注。

PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models

PsychoSafe：在大语言模型中引发基于心理学的拒绝

Gianluca Barmina, Federico Torrielli, Sven Harms, Jacob Nielsen, Felix Mächtle, Stine Lyngsø Beltoft, Peter Schneider-Kamp, Thomas Eisenbarth, Lukas Galke Poech, Anne Lauscher

机构 * University of Southern Denmark（南丹麦大学） ； University of Turin（都灵大学） ； University of Hamburg（汉堡大学） ； University of Lübeck（吕贝克大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出PsychoSafe框架，将LLM的拒绝行为重构为基于证据干预策略的结构化支持性沟通，通过构建5个心理风险领域的8019个提示-响应对，对Qwen 3.5 27B进行提示和参数高效微调，在拒绝质量上比通用基线提升28.1%，同时保持非拒绝任务性能。

Civil Court Simulation with Large Language Models

基于大型语言模型的民事法庭模拟

Yifan Chen, Haitao Li, Kaiyuan Zhang, Yueyue Wu, Qingyao Ai, Yiqun Liu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出多智能体民事法庭模拟框架，通过五阶段审判程序、记忆模块和法规检索实现可靠判决，在责任分配和多项裁决上表现优异。

xSense Design Cards: Guiding the Design of Multisensory Experiences

xSense设计卡片：引导多感官体验设计

Ceylan Beşevli, Carlos Velasco, Marianna Obrist

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出xSense设计卡片，包含体验、感官、技术和探索四类卡片，以结构化方式支持多感官体验的设计、反思和评估。

Comments 5 pages, 2 figures, 1 table

Cross Paraphrastic Invariance Learning for Hallucination Detection

跨释义不变性学习用于幻觉检测

Shanshan Lin, Dongsheng Hong, Sibo Ju, Chao Chen, Sihong Xie, Xiangwen Liao

机构 * Fuzhou University（福州大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出CPIL框架，通过构建正负样本对进行两阶段对比学习，仅用1%标注数据即在11个任务上超越基线，高效检测LLM幻觉。

Comments Accepted to ICASSP 2026

EduMirror: Modeling Educational Social Dynamics with Value-driven Multi-agent Simulation

EduMirror：基于价值驱动的多智能体模拟建模教育社会动态

Jingzhe Lin, Hengbin Yu, Yongdan Zeng, Fangwei Zhong

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出EduMirror多智能体模拟器，通过价值驱动代理和双轨测量协议，生成真实、理论一致的教育社会动态，支持假设检验和反事实干预分析。

Comments ICML 2026

Representational Similarity and Model Behavior in Multi-Agent Interaction

多智能体交互中的表征相似性与模型行为

Yujin Potter, Seun Eisape, Shiyang Lai, Alexander Huth, James Evans, Been Kim, Jacob Eisenstein, Dawn Song, Alane Suhr

机构 * University of Washington（华盛顿大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究LLM对间的表征相似性对合作与创新的影响，发现高相似性促进合作但降低新颖性，且早期层相似性关联最强。

Comments ICML 2026

Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval

评估RAG在干净、误导和混合检索下的可靠性

Sevgi Yigit-Sert

机构 * Ankara University（安卡拉大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出评估协议，通过参数覆盖和置信度指标，系统测试RAG系统在干净、有毒和混合证据下处理参数知识与检索证据冲突的鲁棒性。

LightTact: A Visual-Tactile Fingertip Sensor for Deformation-Independent Contact Sensing

LightTact: 一种用于变形无关接触感知的视觉-触觉指尖传感器

Changyi Lin, Boda Huo, Mingyang Yu, Emily Ruppel, Bingqing Chen, Jonathan Francis, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI）） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)

AI总结 提出LightTact传感器，通过环境光阻断光学配置实现变形无关的接触检测，在无宏观变形下（如液体、超软材料）实现高对比度接触分割，并解锁轻接触机器人操作。

Comments Project website: https://linchangyi1.github.io/LightTact

jXBW: A Compressed Index for Structure-Aware JSONL Retrieval in Structured RAG

jXBW: 面向结构化RAG中结构感知JSONL检索的压缩索引

Yasuo Tabei

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 提出jXBW压缩索引，通过合并树表示、基于扩展Burrows-Wheeler变换的简洁树索引和三阶段子结构搜索算法，实现查询依赖的复杂度，在百万级JSONL数据集上比最强基线快16倍至2800倍。

TABVERSE: Benchmarking Cross-Format Table Understanding in LLMs and VLMs

TABVERSE：大语言模型与视觉语言模型中跨格式表格理解的基准测试

Momina Ahsan, Sarfraz Ahmad, Ming Shan Hee, Roy Ka-Wei Lee, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 文档图表理解 ：VLM(summary_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出TABVERSE基准，通过控制表格内容、跨多种结构格式（HTML、Markdown、LaTeX）和渲染图像，系统评估LLM和VLM在问答、结构理解和结构重建任务中的表现，发现表示格式显著影响表格理解能力。

Comments 24 pages, 18 tables, 16 figures, Submitted to ARR May 2026

MUDIDI: A Two-Stage Framework for Multilingual Dictionary Digitization with Language Models

MUDIDI：一种基于语言模型的多语言词典数字化两阶段框架

David Setiawan, Temuulen Khishigsuren, Milind Agarwal, Pagnarith Pit, Aso Mahmudi, Ekaterina Vylomova

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； Melbourne School of Psychological Sciences, The University of Melbourne（墨尔本大学墨尔本心理科学学院） ； LILT 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；vision language model(abstract)；VLM(abstract_cn)

AI总结 提出MUDIDI两阶段框架，结合语言模型实现多语言词典数字化，在字符识别、标记保留和词条分割上优于现有OCR和视觉语言模型，并发布30本公共领域词典的标注数据集。

Comments 9 pages, preprint, submitted to EMNLP 2026

MM-Matryoshka: Towards Budget-Elastic Visual Document Retrieval via a 2D Multimodal Matryoshka Training Framework

MM-Matryoshka：通过二维多模态套娃训练框架实现预算弹性视觉文档检索

Haowen Xiang, Yibo Yan, Jiahao Huo, Yu Huang, Yi Cao, Mingdong Ou, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出MM-Matryoshka，一种二维套娃训练框架，使视觉文档检索器在向量维度和编码器深度上实现弹性预算选择，无需为不同预算训练独立模型。

IGenBench: Benchmarking the Reliability of Text-to-Infographic Generation

IGenBench：文本到信息图生成可靠性基准测试

Yinghao Tang, Xueding Liu, Boyuan Zhang, Tingfeng Lan, Yupeng Xie, Jiale Lao, Yiyao Wang, Haoxuan Li, Tingting Gao, Bo Pan, Luoxuan Weng, Xiuqi Huang, Minfeng Zhu, Yingchaojie Feng, Yuyu Luo, Wei Chen

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； UESTC ； University of Virginia（弗吉尼亚大学） ； HKUST(GZ)（香港科技大学（广州）） ； Cornell University（康奈尔大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出IGENBENCH基准，包含30种信息图类型和600个测试用例，通过多模态大语言模型分解为10类原子问题评估10种T2I模型，发现数据完整性等维度是普遍瓶颈。

PereStruct: Multimodal Semantic Assembly for Robust Historical Document Parsing

PereStruct: 面向鲁棒历史文档解析的多模态语义组装

Maksim Shandybo, Ivan Bespalov, Daniil Yefimov, Marina Kosheleva, Alexander Loukianov

机构 * IGIC RAS（俄罗斯科学院信息传输问题研究所） ； Yandex Cloud ； National University of Science and Technology MISIS（莫斯科国立钢铁合金学院） ； Nekrasov Central Universal Scientific Library（涅克拉索夫中央综合科学图书馆） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对历史报纸复杂多栏布局的解析难题，提出结合微调YOLO与语义组装模块的多模态方法，在块到文章映射上F1达0.904，BLEU约0.96，显著优于通用视觉语言模型。

Comments Code and data available at https://github.com/makSShandybo/PereStruct

FLOWREADER: Min-Cost Flow Optimization for Multi-Modal Long Document Q&A

FLOWREADER: 多模态长文档问答的最小成本流优化

Ambuj Mehrish, Sebastiano Vascon

机构 * Ca’ Foscari University of Venice（威尼斯卡布里亚大学） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出FLOWREADER，将多模态长文档中的证据组装建模为最小成本流问题，通过统一评分向量控制源选择、汇选择和边成本，在碎片化证据场景下优于top-k检索方法。

Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation

解耦语义与逻辑：一种无需训练的从粗到精的视频检索增强生成流水线

Jiaxin Dai, Zehang Wei, Jiamin Yan, Xiang Xiang

机构 * School of Computer Science & Tech, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； School of AI and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） 纠错

专题命中 文档图表理解 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出一种无需训练的两阶段级联视频RAG流水线，通过解耦语义检索与逻辑推理，实现跨语言长视频理解、严格角色遵循和零幻觉时间定位。

Comments To be presented at ACL 2026 MAGMAR Workshop (Oral; Retrieval leaderboard No.1)

FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks

FieldWorkArena：面向真实作业任务的代理AI基准测试

Jun Takahashi, Atsunori Moteki, Akiyoshi Uchida, Shoichi Masui, Fan Yang, Kanji Uchino, Yueqi Song, Yonatan Bisk, Graham Neubig, Ikuo Kusajima, Yasuto Watanabe, Hiroyuki Ishida, Koki Nakagawa, Shan Jiang

机构 * Fujitsu Limited（富士通株式会社） ； Fujitsu Research of America（富士通美国研究部） ； Carnegie Mellon University（卡内基梅隆大学） ； Master’s Student, The University of Tokyo（东京大学硕士研究生） ； Agent Research Collective（代理研究集体） 纠错

专题命中 文档图表理解 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FieldWorkArena，用于评估代理AI在真实制造业和零售环境中的性能，通过现场采集的数据和实地访谈设计任务，验证多模态大语言模型的评估可行性。

Comments 27 pages, 10 figures, 7 tables [ICPR 2026 Accepted] Changes from previous version: added supplemental material

POTATR: A Lightweight Image-to-Graph Model for Page-Level Table Extraction

POTATR: 一种用于页面级表格提取的轻量级图像到图模型

Brandon Smock, Libin Liang, Max Sokolov, Amrit Ramesh, Valerie Faucon-Morin, Tayyibah Khanam, Maury Courtland

机构 * Kensho Technologies 纠错

专题命中 文档图表理解 ：MLLM(abstract_cn)；分类 cs.CV

AI总结 提出轻量级图像到图模型POTATR（29M参数），在页面级表格提取任务上以130倍速度和300倍低成本超越前沿模型，GriTS_Con达0.964，输出空间可解释。

Comments 16 pages, split from PubTables-v2 paper

OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics

OmniGameArena: 一个统一的UE5基准测试，用于具有改进动态的VLM游戏智能体

Mingxian Lin, Shengju Qian, Yuqi Liu, Yi-Hua Huang, Yiyu Wang, Wei Huang, Yitang Li, Fan Zhang, Zeyu Hu, Lingting Zhu, Xin Wang, Xiaojuan Qi

机构 * The University of Hong Kong（香港大学） ； LIGHTSPEED ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出OmniGameArena，一个包含12个UE5游戏的统一基准，以及改进动态曲线（IDC），通过反思机制评估VLM智能体的冷启动分数、改进动态和泛化能力。

ReCoVLA: VLM-Guided Reward Compilation for Failure Recovery in Vision-Language-Action Policies

ReCoVLA: VLM引导的奖励编译用于视觉-语言-动作策略的故障恢复

Haodi Hu, Chung-Ta Huang, Jing Liu, Ye Wang, Kei Suzuki, Matthew Brand, Toshiaki Koike-Akino

机构 * University of Southern California（南加州大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室） ； Harvard University（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ReCoVLA框架，通过冻结预训练VLA策略，利用外部VLM推断故障模式并编译结构化奖励，训练残差恢复策略，实现零样本仿真到真实部署，在多种操作任务中提升成功率。

Comments 19 pages, 7 figures

QuoVLA: Quotient Space for Vision-Language-Action Models

QuoVLA：视觉-语言-动作模型的商空间

Xuan Wang, Yinan Wu, Haoran Duan, Jungong Han

机构 * Department of Automation（自动化系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对VLA模型预训练VLM潜在表示动作信息不足的观点，提出商空间框架QuoVLA，通过量化模块和双分支设计压缩潜在表示为动作充分表示，在多个基准上提升泛化性能。

SleepWalk: A Three-Tier Benchmark for Stress-Testing Instruction-Guided Vision-Language Navigation

SleepWalk：一种三层压力测试基准，用于指导的视觉-语言导航

Niyati Rawal, Sushant Ravva, Shah Alam Abir, Saksham Jain, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

机构 * Indian AI Research Organization (IAIRO)（印度人工智能研究组织） ； ĸragya Lab, BITS Pilani Goa（BITS Pilani Goa 的 ĸragya 实验室） ； University of Dhaka（达卡大学） ； Delhi Technological University（德里技术大学） ； Apple（苹果公司） ； Meta 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出SleepWalk基准，用于评估基于指令的轨迹预测，针对局部化、交互导向的具身推理，揭示当前VLM在空间推理中的系统性失败。

Your Model Already Knows: Attention-Guided Safety Filter for Vision-Language-Action Models

你的模型已经知道：面向视觉-语言-动作模型的注意力引导安全过滤器

Seongbin Park, Fan Zhang, Baharan Mirzasoleiman, Shahriar Talebi, Nader Sehatbakhsh

机构 * University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 本文发现VLA模型中的少数注意力头能可靠定位目标物体，利用这一特性提出无需训练的安全框架，结合控制障碍函数和实时目标跟踪器，实现动态障碍物下的碰撞避免，在动态场景中性能提升43%。

Comments Under review

VisualLeakBench: Reproducible Action-Boundary Propagation Failures in Vision-Language Agents

VisualLeakBench: 视觉语言智能体中可复现的动作边界传播失败

Youting Wang, Yuan Tang, Yitian Qian, Chen Zhao

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出VisualLeakBench基准，评估视觉语言智能体在截图、文档等场景下将敏感文本从图像复制到工具参数中的动作边界传播失败，发现PII传播率达78.8%，不安全文本传播率达85.5%。