视觉大模型 / VLM

Multimodal Model Diffing for Feature Discovery and Control

用于特征发现与控制的多模态模型差异分析

Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） 纠错

专题命中 文档图表理解 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出MMDiff多模态模型差异分析框架，训练多模态SAEs以识别多模态训练改变的特征，实现特征隔离、检测与控制，在空间、OCR任务及多模态安全攻击评估中展现出良好效果。

Comments Preprint. Accepted at ICML 2026 Trustworthy AI for Good Workshop

DocAtlas: Long-Document Understanding as Mutable-State Interaction

DocAtlas：将长文档理解视为可变状态交互

Hongchen Wei, Yuanzhe Wang, Bei Liu, Yifan Yang, Qi Dai, Kai Qiu, Yunsheng Li, Dongdong Chen, Chong Luo, Zhenzhong Chen, Baining Guo

专题命中 文档图表理解 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 本研究提出DocAtlas系统，将长文档理解视为可变状态交互，通过可变文档工具结合自改进检索等技术，在MMLongBench-Doc上用GPT-5.4达71.4%，还可提升紧凑型VLM智能体性能。

Real Data Closes Synthetic-to-Real Gap in Optical Chemical Structure Recognition

真实数据缩小光学化学结构识别中的合成到真实的差距

Yani Guan, Dengpan Dong, Zi Wei, Shuang Luo, Dan Hannah, Yumin Zhang, Kang Xu

机构 * SES AI Corporation（SES AI公司） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 该研究针对光学化学结构识别中合成与真实数据的性能差距，通过微调不同视觉语言模型，发现标注真实训练数据可大幅提升性能，且模型与适配策略的选择需结合目标任务评估。

PragMatch: Separating Pragmatic Incongruity from Cross-Modal Mismatch in Large Vision-Language Models

PragMatch：分离大视觉语言模型中的语用不一致与跨模态不匹配

Zhanna Mukhametsharip, Vera Demberg, Varsha Suresh

专题命中 文档图表理解 ：vision-language model(title,abstract)

AI总结 本研究提出PragMatch基准，揭示大视觉语言模型易受表面线索影响，为评估多模态语用推理提供测试平台。

Comments Under Review

From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing

从诊断到修正：真实世界表格解析的基准测试与改进

Jutao Xiao, Yuan Qu, Dongsheng Ma, Fan Wu, Tianyao He, Weihong Li, Jie Yang, Yu Qiao, Bin Wang, Conghui He

机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Peking University（北京大学） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文针对真实世界表格解析的缺陷，构建诊断基准TableParseMap，提出DEC框架，无需重训即可提升冻结解析器性能，在TableParseMap上TEDS获显著提升。

Adversarial Attacks on Deep OCR Systems

针对深度OCR系统的对抗攻击

Wenbo Sun, Hongzong LI, Yanyun Wang, Jiahao MA, Shuxin Zhuang, Rong Feng, Shiqin Tang, Zi Liang

专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出首个针对生成式OCR视觉语言模型的纯黑盒对抗攻击，将其转化为零阶优化问题，在Deep-OCR上验证了攻击有效性并揭示解码器故障，还表明可控有目标改写更难实现。

DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation

DeltaPrompts: 逃离多模态蒸馏中的零delta陷阱

Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

机构 * NVIDIA Research（NVIDIA研究院） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DeltaPrompts，通过量化教师与学生之间的答案分歧（Δ）来生成高分歧的推理问题，从而解决传统蒸馏中因零delta提示导致的学习信号不足问题，实验表明DeltaPrompts在多个场景下显著提升了模型性能。

Beyond Pixels: Benchmarking and Reward-Based Assessing Framework for Visual Spatial Aesthetics

SA-IQA: 重新定义空间美学的图像质量评估：多维奖励

Yuan Gao, Jin Song, Yiyun Fei, Gongzhe Li, Ruigao Yang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 文档图表理解 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 SA-IQA通过多维奖励框架系统评估室内场景的美学质量，利用SA-BENCH基准提升AIGC生成流程和图像质量。

Comments Accepted to CVPRW 2026. Code: https://github.com/AlibabaResearch/SA-IQA