视觉大模型 / VLM

A Multistage Extraction Pipeline for Long Scanned Financial Documents: An Empirical Study in Industrial KYC Workflows

一种多阶段提取流水线用于长扫描金融文档：工业KYC工作流的实证研究

Yuxuan Han, Yuanxing Zhang, Yushuo Wang, Yichao Jin, Kenneth Zhu Ke, Jingyuan Zhao

机构 * OCBC 纠错

专题命中 文档图表理解 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出多阶段提取框架，整合图像预处理、多语言OCR、混合页面级检索和紧凑VLM基于结构化提取，提升复杂多页文档的提取精度，实验证明在工业KYC工作中性能优于直接PDF到VLM基线。

Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training

通过现实场景合成和文档感知训练实现真实世界文档解析

Gengluo Li, Pengyuan Lyu, Chengquan Zhang, Huawen Shen, Liang Wu, Xingyu Wan, Gangyan Zeng, Han Hu, Can Ma, Yu Zhou

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Tencent（腾讯） ； Nankai University（南开大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 文档图表理解 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出数据训练协同框架，通过现实场景合成和文档感知训练提升文档解析的准确性和鲁棒性，构建了Wild-OmniDocBench基准，并在1B参数MLLM中实现了跨扫描/数字和真实世界场景的优异性能。

AtlasOCR: Building the First Open-Source Darija OCR Model with Vision Language Models

AtlasOCR: 构建首个开源的达里亚OCR模型：基于视觉语言模型

Imane Momayiz, Soufiane Ait Elaouad, Abdeljalil Elmajjodi, Haitame Bouanane

专题命中 文档图表理解 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AtlasOCR，首个开源达里亚OCR模型，通过微调3B参数视觉语言模型实现，结合合成数据与真实数据构建专用数据集，采用QLoRA和Unsloth高效训练，验证其在达里亚和标准阿拉伯语OCR任务中的先进性能。

VFIG: Vectorizing Complex Figures in SVG with Vision-Language Models

VFIG：利用视觉-语言模型矢量化SVG中的复杂图形

Qijia He, Xunmei Liu, Hammaad Memon, Ziang Li, Zixian Ma, Jaemin Cho, Jason Ren, Daniel S Weld, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能 Allen 机构） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 文档图表理解 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VFIG，一种基于视觉-语言模型的矢量化方法，通过大规模数据集和分层训练策略，实现复杂图形到SVG的高保真转换，并在基准测试中取得优异成绩。

What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

视觉标记究竟编码了什么？揭示多模态大语言模型中的稀疏性与冗余性

Yingqi Fan, Junlong Tong, Anhao Zhao, Xiaoyu Shen

机构 * Institute of Digital Twin, Eastern Institute of Technology（数字孪生研究所，东部技术研究所） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本研究揭示多模态大语言模型中视觉标记的稀疏性与冗余性，通过EmbedLens工具发现活跃标记在进入模型前已编码细粒度信息，并提出中层注入方法提升效率。

Comments Accepted by CVPR2026

Benchmarking Vision-Language Models for French PDF-to-Markdown Conversion

对法语PDF到Markdown转换的视觉语言模型进行基准测试

Bruno Rigal, Victor Dupriez, Alexis Mignon, Ronan Le Hy, Nicolas Mery

机构 * Probayes, La Poste（Probayes公司） ； OpenValue, La Poste（OpenValue公司） 纠错

专题命中 文档图表理解 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本研究针对法语PDF到Markdown转换，评估了视觉语言模型在处理复杂文档中的表现，发现专有模型在手写和表单处理上更具鲁棒性，而开源系统在标准打印布局上表现良好。

Comments 13 pages, 6 figures

Content-Aware Ad Banner Layout Generation with Two-Stage Chain-of-Thought in Vision Language Models

基于视觉语言模型的双阶段链式思考内容感知广告布局生成

Kei Yoshitake, Kento Hosono, Ken Kobayashi, Kazuhide Nakata

机构 * Institute of Science Tokyo（东京科学研究所） ； HAKUHODO Technologies Inc.（HAKUHODO技术公司） 纠错

专题命中 文档图表理解 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于视觉语言模型的双阶段链式思考方法，用于生成高质量的广告布局，通过分析背景图像内容来提升布局质量。

Video-based Vehicle Surveillance in the Wild: License Plate, Make, and Model Recognition with Self Reflective Vision-Language Models

Pouya Parsa, Keya Li, Kara M. Kockelman, Seongjin Choi

专题命中 文档图表理解 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 6 figures, 4 tables

Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens

Feng Chen, Chenhui Gou, Jing Liu, Yang Yang, Zhaoyang Li, Jiyuan Zhang, Zhenbang Sun, Bohan Zhuang, Qi Wu

机构 * AIML, University of Adelaide（AIML，阿德莱德大学） ； Monash University（墨尔本大学） ； Australian National University（澳大利亚国立大学） ； Tiktok, Australia（Tiktok，澳大利亚） ； Zhejiang University（浙江大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments Code repository: https://github.com/Chenfeng1271/AbilityLens/tree/main

Understanding Graphical Perception in Data Visualization through Zero-shot Prompting of Vision-Language Models

Grace Guo, Jenna Jiayi Kang, Raj Sanjay Shah, Hanspeter Pfister, Sashank Varma

专题命中 文档图表理解 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models

Ya-Qi Yu, Minghui Liao, Jihao Wu, Yongxin Liao, Xiaoyu Zheng, Wei Zeng

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

UReader: Universal OCR-free Visually-situated Language Understanding with Multimodal Large Language Model

Jiabo Ye, Anwen Hu, Haiyang Xu, Qinghao Ye, Ming Yan, Guohai Xu, Chenliang Li, Junfeng Tian, Qi Qian, Ji Zhang, Qin Jin, Liang He, Xin Alex Lin, Fei Huang

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Multimodal Model Diffing for Feature Discovery and Control

用于特征发现与控制的多模态模型差异分析

Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） 纠错

专题命中 文档图表理解 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出MMDiff多模态模型差异分析框架，训练多模态SAEs以识别多模态训练改变的特征，实现特征隔离、检测与控制，在空间、OCR任务及多模态安全攻击评估中展现出良好效果。

Comments Preprint. Accepted at ICML 2026 Trustworthy AI for Good Workshop

GenED-SC: Generative Editing Semantic Communication with Integrated Multi-Modal LLMs

GenED-SC：集成多模态大模型的生成式编辑语义通信

Shuoyao Wang, Suzhi Bi, Mingze Gong, Zhanpeng Wang, Li Ping Qian, Qiang Ye

专题命中 文档图表理解 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)

AI总结 提出一种两阶段语义图像传输框架，结合JSCC判别传输与MLLM生成编辑，在低信噪比下提升语义保真度和感知质量。

TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents

TongGuOCR：面向中文历史文献的布局感知与 token 增强 OCR 框架

Zhongheng Zhou, Yi Sun, Huiguo He, Yuyi Zhang, Peirong Zhang, Yulin Fang, Dezhi Peng, Minghui Liao, Lianwen Jin

机构 * School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 文档图表理解 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 针对中文历史文献OCR的复杂布局、生僻字等挑战，提出TongGuOCR框架，通过布局感知预处理与token增强识别模块，在M5HisDoc等基准上取得优于同类模型的性能。

Geometric Risk Control for Vision-Language Model OCR

从可信性到可验证性：具有视觉-语言模型的风险控制生成OCR

Weile Gong, Zijian Lu, Mingcai Chen, Yiping Zuo, Xin He, Weibei Fan

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） ； China University of Petroleum（中国石油大学） ； Southeast University（东南大学） 纠错

专题命中 文档图表理解 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 本文提出通过几何风险控制器减少生成OCR的极端错误风险，利用结构化视图和轻量级筛查实现可靠部署。

Comments 9 pages, 5 figures, Code: https://github.com/phare111/GRC

MV-Bench: Benchmarking Multimodal Large Language Models for Coordinated Multi-View Interface Construction

MV-Bench：用于协同多视图界面构建的多模态大语言模型基准测试

Yue Zhao, Hongxu Liu, Feiyu Wang, Xiaoyu Yang, Tong Ge, Zhen Yang, Chao Wang, Qiong Zeng

机构 * Shandong Second Medical University（山东第二医科大学） ； Shandong University（山东大学） ； Bairong Inc.（百融云创科技股份有限公司） ； Ke Holdings Inc.（贝壳控股有限公司） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； Shandong Provincial Key Laboratory of Computing-Network Integration, Shandong University（山东大学计算网络融合技术山东省重点实验室） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在协同多视图界面构建评估不足的问题，引入MV-Bench基准，通过多阶段管道转换规范为界面，评估五个模型，发现当前MLLMs虽能再现视觉外观，但在数据语义和交互逻辑生成上有限，迭代改进效果不佳。

Comments Submitted to IEEE VIS 2026

Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

用于科学可视化素养的多模态大语言模型基准测试

Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究对六个多模态大语言模型进行科学可视化素养基准测试，涵盖多种技术和任务类型。通过封闭世界协议评估闭源和开源模型，与人类参与者数据对比。发现模型表现不均，Gemini最强，开源模型低于人类基线，明确SciVis素养对评估多模态AI系统的必要性。

HSD: Training-Free Acceleration for Document Parsing Vision-Language Models with Hierarchical Speculative Decoding

HSD：基于分层推测解码的文档解析视觉语言模型训练免费加速

Wenhui Liao, Hongliang Li, Pengyu Xie, Xinyu Cai, Yufan Shen, Yi Xin, Qi Qin, Shenglong Ye, Tianbin Li, Ming Hu, Junjun He, Yihao Liu, Wenhai Wang, Min Dou, Bin Fu, Botian Shi, Yu Qiao, Lianwen Jin

机构 * South China University of Technology（华南理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院） ； Nanjing University（南京大学） 纠错

专题命中 文档图表理解 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出HSD分层推测解码框架，通过轻量级管道起草器预测区域划分并生成粗稿，分阶段验证以保持全文连贯性，实验证明在文档解析任务中实现显著加速。

Comments ECCV 2026

PRISM-XR: Empowering Privacy-Aware XR Collaboration with Multimodal Large Language Models

PRISM-XR: 通过多模态大语言模型赋能隐私感知的扩展现实协作

Jiangong Chen, Mingyu Zhu, Bin Li

机构 * Department of Electrical Engineering, The Pennsylvania State University, University Park, PA 16802, USA（电气工程系，宾夕法尼亚州立大学，University Park，PA 16802，USA） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出PRISM-XR框架，通过边缘服务器智能预处理过滤敏感数据，实现隐私保护的多用户XR协作，实验表明其在准确性和隐私保护方面表现优异。

Comments Accepted to the 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR)

Journal ref 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)

MeDocVL: A Visual Language Model for Medical Document Understanding and Parsing

MeDocVL：一种用于医疗文档理解与解析的视觉语言模型

Wenjie Wang, Wei Wu, Ying Liu, Yuan Zhao, Xiaole Lv, Liang Diao, Zengjian Fan, Wenfeng Xie, Ziling Lin, De Shi, Lin Huang, Kaihe Xu, Hong Li

机构 * Visual Computing Group (VCG)（视觉计算组） 纠错

专题命中 文档图表理解 ：visual language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 MeDocVL通过训练驱动的标签细化和噪声意识的混合后训练策略，实现了对医疗文档的高精度解析，优于现有OCR和VLM方法。

Comments 20 pages, 8 figures. Technical report

ChartAnchor: Chart Grounding with Structural-Semantic Fidelity

ChartAnchor: 图表接地与结构-语义保真

Xinhang Li, Jingbo Zhou, Pengfei Luo, Yixiong Xiao, Tong Xu

机构 * Baidu Research（百度研究） ； USTC 纠错

专题命中 文档图表理解 ：grounding(title,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 ChartAnchor提出一个综合图表接地基准测试，通过图表到代码生成和受控表格重建任务，评估模型在结构和数值层面的保真度，揭示MLLMs在数值精度和代码合成方面的局限性。

DOCR-Inspector: Fine-Grained and Automated Evaluation of Document Parsing with VLM

DOCR-Inspector: 基于VLM的文档解析细粒度与自动化评估

Qintong Zhang, Junyuan Zhang, Zhifei Ren, Linke Ouyang, Zichen Wen, Junbo Niu, Yuan Qu, Bin Wang, Ka-Ho Chow, Conghui He, Wentao Zhang

机构 * Peking University（北京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The University of HongKong（香港大学） ； Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 文档图表理解 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 DOCR-Inspector通过细粒度错误检测和分析，提供文档解析质量的自动化评估，优于现有商业和开源模型。

PaddleOCR-VL: Boosting Multilingual Document Parsing via a 0.9B Ultra-Compact Vision-Language Model

PaddleOCR-VL: 通过0.9B超紧凑视觉-语言模型提升多语言文档解析

Cheng Cui, Ting Sun, Suyin Liang, Tingquan Gao, Zelun Zhang, Jiaxuan Liu, Xueqing Wang, Changda Zhou, Hongen Liu, Manhui Lin, Yue Zhang, Yubo Zhang, Handong Zheng, Jing Zhang, Jun Zhang, Yi Liu, Dianhai Yu, Yanjun Ma

机构 * PaddlePaddle Team, Baidu Inc.（百度公司） 纠错

专题命中 文档图表理解 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 PaddleOCR-VL通过0.9B超紧凑视觉-语言模型实现多语言文档解析的高效准确识别

Comments Github Repo: https://github.com/PaddlePaddle/PaddleOCR

CHURRO: Making History Readable with an Open-Weight Large Vision-Language Model for High-Accuracy, Low-Cost Historical Text Recognition

Sina J. Semnani, Han Zhang, Xinyan He, Merve Tekgürler, Monica S. Lam

机构 * Stanford University（斯坦福大学） 纠错

专题命中 文档图表理解 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

Comments EMNLP 2025

DocThinker: Explainable Multimodal Large Language Models with Rule-based Reinforcement Learning for Document Understanding

Wenwen Yu, Zhibo Yang, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments ICCV 2025

ChartCoder: Advancing Multimodal Large Language Model for Chart-to-Code Generation

Xuanle Zhao, Xianzhen Luo, Qi Shi, Chi Chen, Shuo Wang, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University, Beijing, China（清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by ACL 2025 Main, Camera Ready

Historic Scripts to Modern Vision: A Novel Dataset and A VLM Framework for Transliteration of Modi Script to Devanagari

Harshal Kausadikar, Tanvi Kale, Onkar Susladkar, Sparsh Mittal

专题命中 文档图表理解 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

Comments Under submission at a conference

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

专题命中 文档图表理解 ：vision-language model(title,abstract)；vision language model(abstract)；分类 cs.CV

Comments 24 pages, 10 figures

Ocean-OCR: Towards General OCR Application via a Vision-Language Model

Song Chen, Xinyu Guo, Yadong Li, Tao Zhang, Mingan Lin, Dongdong Kuang, Youwei Zhang, Lingfeng Ming, Fengyu Zhang, Yuran Wang, Jianhua Xu, Zenan Zhou, Weipeng Chen

专题命中 文档图表理解 ：vision-language model(title)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV