视觉大模型 / VLM

Ryze: Evidence-Enriched Data Synthesis from Biomedical Papers

Ryze：从生物医学论文中合成富含证据的数据

Yeqi Huang, Yue Chen, Yanwei Ye, Guanhao Su, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 文档图表理解 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出 Ryze 系统，自动从生物医学论文中生成包含完整证据结构的训练数据，并训练出领域专用 VLM BioVLM-8B，在 LAB-Bench 上以低于 200 美元成本达到 48.0% 加权准确率。

Comments Accepted at ACL 2026 System Demonstrations Track. 8 pages, 6 figures

Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search

无推理多模态学习稀疏检索用于生产级视觉文档搜索

Gyu-Hwung Cho, Youngjune Lee, Kiyoon Jeong, Siyoung Lee, Sanggyu Han, Hervé Dejean, Stéphane Clinchant, Seung-won Hwang

机构 * NAVER Corp.（NAVER公司） ； Seoul National University（首尔国立大学） ； Naver Labs Europe（Naver欧洲实验室） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV

AI总结 提出V-SPLADE，一种无需推理的稀疏检索器，通过标题门控令牌监督解决视觉稀疏表示中的词汇基础问题，在视觉文档检索中达到稠密级效果。

Comments 12 pages, 5 figures, 12 tables, preprint

DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding

DV-SFT: 直接视觉监督用于细粒度视觉理解

Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） ； Beihang University（北航） ； Zhongguancun Laboratory（中关村实验室） ； Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学信息科学技术东南学院） 纠错

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DV-SFT方法，通过为视觉令牌构建显式令牌级监督信号，利用OCR场景中的直接视觉-文本对应关系，在不修改模型架构或增加前向传播的情况下，显著提升多模态大语言模型的细粒度视觉理解能力。

Comments Under Review

Structured Layout Priors for Robust Out-of-Distribution Visual Document Understanding

用于鲁棒性文档理解的结构化布局先验

Peter El Hachem, Ahmed Nassar, A. Said Gurbuz, Christoph Auer, Peter W. J. Staar

机构 * ETH Zurich（苏黎世联邦理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出了一种结构化布局先验，通过在解码器之外运行轻量级RT-DETR检测器，将检测结果转换为解析器的DocTags词汇，并注入到提示中，以解决文档布局解析中的两跳瓶颈问题，从而提升文档理解的鲁棒性。

Comments 18 pages, 7 figures. Main text: 9 pages (4 figures); Appendix: 9 pages (3 figures)

Attention Grounded Enhancement for Visual Document Retrieval

基于注意力的视觉文档检索增强

Wanqing Cui, Wei Huang, Yazhi Guo, Yibo Hu, Meiguang Jin, Junfeng Ma, Keping Bi

机构 * Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出AGREE框架，通过多模态大语言模型的注意力机制引导检索器识别相关文档区域，提升细粒度相关性建模，实验表明在ViDoRe V2基准上显著优于传统方法。

Comments Published as a conference paper at SIGIR 2026

How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings

文档解析距离解决还有多远？PureDocBench：一个跨干净、退化和现实场景的可追溯基准测试

Zhiheng Li, Zongyang Ma, Jiaxian Chen, Jianing Zhang, Zhaolong Su, Yutong Zhang, Zhiyin Yu, Ruiqi Liu, Xiaolei Lv, Bo Li, Jun Gao, Ziqi Zhang, Chunfeng Yuan, Bing Li, Weiming Hu

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学技术大学） ； NWPU（西北工业大学） ； JLU（吉林大学） ； USTC（中国科学技术大学） ； PKU（北京大学） ； HelloGroup ； ShanghaiTech（上海科技大学） ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（北京多模态信息超级智能安全重点实验室） 纠错

专题命中 文档图表理解 ：VLM(summary_cn,abstract_cn)；分类 cs.CV

AI总结 本文提出PureDocBench，一个可追溯的基准测试，覆盖10个领域、66个子类和1475页文档，包含清洁、数字退化和现实退化三种版本。评估40种模型发现，文档解析尚未解决，最佳模型得分仅74分，公式识别仍是瓶颈，通用VLM在退化下表现不如专用模型。

Comments 42 pages, 20 figures, 16 tables

SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More

SketchVL：通过细粒度信用分配进行政策优化以实现图表理解和更多

Muye Huang, Lingling Zhang, Yifei Li, Yaqiang Wu, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University, China（计算机科学与技术学院，西安交通大学） ； MOE KLINNS Lab, Xi’an Jiaotong University, China（教育部KLINNS实验室，西安交通大学） ； Zhongguancun Academy, Beijing, China（中关村学院，北京） 纠错

专题命中 文档图表理解 ：visual reasoning(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SketchVL通过细粒度信用分配优化，提升多模态大语言模型在图表理解和多领域推理中的性能。

Visual Programmability: A Guide for Code-as-Thought in Chart Understanding

Bohao Tang, Yan Ma, Fei Zhang, Jiadi Su, Ethan Chern, Zhulin Hu, Zhixin Wang, Pengfei Liu, Ya Zhang

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV

Socratic Chart: Cooperating Multiple Agents for Robust SVG Chart Understanding

Yuyang Ji, Haohan Wang

专题命中 文档图表理解 ：visual reasoning(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs

Zirui Wang, Mengzhou Xia, Luxi He, Howard Chen, Yitao Liu, Richard Zhu, Kaiqu Liang, Xindi Wu, Haotian Liu, Sadhika Malladi, Alexis Chevalier, Sanjeev Arora, Danqi Chen

专题命中 文档图表理解 ：InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments 121 pages, 90 figures

Multimodal Table Understanding

Mingyu Zheng, Xinwei Feng, Qingyi Si, Qiaoqiao She, Zheng Lin, Wenbin Jiang, Weiping Wang

专题命中 文档图表理解 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

Comments 23 pages, 16 figures, ACL 2024 main conference, camera-ready version

How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites

Zhe Chen, Weiyun Wang, Hao Tian, Shenglong Ye, Zhangwei Gao, Erfei Cui, Wenwen Tong, Kongzhi Hu, Jiapeng Luo, Zheng Ma, Ji Ma, Jiaqi Wang, Xiaoyi Dong, Hang Yan, Hewei Guo, Conghui He, Botian Shi, Zhenjiang Jin, Chao Xu, Bin Wang, Xingjian Wei, Wei Li, Wenjian Zhang, Bo Zhang, Pinlong Cai, Licheng Wen, Xiangchao Yan, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

专题命中 文档图表理解 ：InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Technical report

MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval

MURE：基于视觉-语言模型的多分辨率编码框架用于视觉文档检索

Fengbin Zhu, Zijing Cai, Yuzhe Wang, Pengyang Shao, Wenjie Wang, Fuli Feng, Richang Hong, Tat-Seng Chua

机构 * National University of Singapore, Singapore（新加坡国立大学） ； University of Science and Technology of China, China（中国科学技术大学） ； Hefei University of Technology, China（合肥工业大学） 纠错

专题命中 文档图表理解 ：vision-language model(title)；分类 cs.CV、cs.AI

AI总结 本文提出MURE框架，通过多分辨率采样编码、跨粒度特征融合和语义感知聚类机制，提升视觉文档检索效率与效果，实验表明其优于现有基线方法。

GLYPH-SR: Can We Achieve Both High-Quality Image Super-Resolution and High-Fidelity Text Recovery via VLM-guided Latent Diffusion Model?

Mingyu Sung, Seungjae Ham, Kangwoo Kim, Yeokyoung Yoon, Sangseok Yun, Il-Min Kim, Jae-Mo Kang

机构 * Department of Artificial Intelligence（人工智能系） ； Kyungpook National University（庆尚国立大学） ； Department of Electrical and Computer Engineering（电气电子工程系） ； Queen’s University（皇后大学） ； Department of Information and Communications Engineering（信息与通信工程系） ； Pukyong National University（浦项国立大学） 纠错

专题命中 文档图表理解 ：VLM(title)；分类 cs.CV、cs.AI

Comments 11 pages, 6 figures. Includes supplementary material. Under review as a conference paper at ICLR 2026

Improving MLLM Historical Record Extraction with Test-Time Image

Taylor Archibald, Tony Martinez

机构 * Brigham Young University 纠错

专题命中 文档图表理解 ：MLLM(title)；分类 cs.CV、cs.LG

TAP-VL: Text Layout-Aware Pre-training for Enriched Vision-Language Models

Jonathan Fhima, Elad Ben Avraham, Oren Nuriel, Yair Kittenplon, Roy Ganz, Aviad Aberdam, Ron Litman

专题命中 文档图表理解 ：vision-language model(title)；分类 cs.CV、cs.AI

Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

通过封面判断书籍：调查多模态大语言模型用于多页手写文档转录

Benjamin Gutteridge, Matthew Thomas Jackson, Toni Kukurin, Xiaowen Dong

机构 * University of Oxford（牛津大学） ； QuantCo 纠错

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文研究多模态大语言模型在多页手写文档转录中的应用，提出OCR+PAGE-1和OCR+PAGE-N策略，通过共享页面内容提升转录效果。

Comments 10 pages (36 including references and appendices), 11 figures, accepted at COLM 2026, earlier version accepted at AAAI 2025 Workshop on Document Understanding and Intelligence

HPD-Parsing: Hierarchical Parallel Document Parsing

HPD解析：分层并行文档解析

Shu Wei, Jingjing Wu, Lingshu Zhang, Qunyi Xie, Hao Zou, Le Xiang, Xu Fan, Yangliu Xu, Manhui Lin, Xiaolong Ma, Cheng Cui, Tengyu Du, YY

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 研究基于统一视觉语言模型的文档解析器顺序瓶颈问题，提出HPD解析，采用分层并行解码范式，含主要布局分支和P-MTP，实验显示其吞吐量高且精度有竞争力，为高效统一文档解析开辟新方向。

Stellar: Scalable Multimodal Document Retrieval for Natural Language Queries

Stellar：面向自然语言查询的可扩展多模态文档检索

Yuxiang Guo, Zhonghao Hu, Yuren Mao, Yuhang Liu, Congcong Ge, Xiaolu Zhang, Jun Zhou, Yunjun Gao

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 提出Stellar框架，通过磁盘存储令牌级文档嵌入并动态加载候选嵌入，结合词汇表示过滤和高效磁盘支持的后交互，在保持检索效果的同时将内存开销和查询延迟降低1-2个数量级。

ECHO: Explainable Co-editing with Human-in-the-loop Operations for Presentation Refinement

ECHO: 基于人在环操作的可解释协同编辑用于演示文稿优化

Yu Fu, Yongqi Kang, Yujia Zhou, Yong Zhao

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)

AI总结 针对演示文稿创作中用户缺乏细粒度控制的问题，提出ECHO系统，通过多模态意图理解和可解释操作计划，结合“自然语言+视觉选择”范式和解耦的“计划-确认-执行”循环，实现可控的局部编辑，显著降低认知负荷并提升意图映射与空间定位准确率。

MUDIDI: A Two-Stage Framework for Multilingual Dictionary Digitization with Language Models

MUDIDI：一种基于语言模型的多语言词典数字化两阶段框架

David Setiawan, Temuulen Khishigsuren, Milind Agarwal, Pagnarith Pit, Aso Mahmudi, Ekaterina Vylomova

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； Melbourne School of Psychological Sciences, The University of Melbourne（墨尔本大学墨尔本心理科学学院） ； LILT 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；vision language model(abstract)；VLM(abstract_cn)

AI总结 提出MUDIDI两阶段框架，结合语言模型实现多语言词典数字化，在字符识别、标记保留和词条分割上优于现有OCR和视觉语言模型，并发布30本公共领域词典的标注数据集。

Comments 9 pages, preprint, submitted to EMNLP 2026

ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation

ChartAttack: 测试大型语言模型在图表生成中对恶意提示的脆弱性

Jesus-German Ortiz-Barajas, Jonathan Tonglet, Vivek Gupta, Iryna Gurevych

机构 * INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT索菲亚大学"圣克莱门特·欧赫里迪斯基"） ； Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（无处不在知识处理实验室（UKP实验室）、计算机科学系、图腾达姆斯塔特大学和应用网络安全国家研究中心ATHENE） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出ChartAttack框架，用于评估多模态大语言模型在生成误导性图表方面的能力，通过注入误导性元素来诱导错误解释，并引入AttackViz数据集来评估和改进模型的鲁棒性。

OCR-Reasoning Benchmark: Unveiling the True Capabilities of MLLMs in Complex Text-Rich Image Reasoning

OCR-Reasoning基准：揭示MLLMs在复杂文本丰富图像推理中的真实能力

Mingxin Huang, Yongxin Shi, Dezhi Peng, Songxuan Lai, Zecheng Xie, Lianwen Jin

机构 * South China University of Technology（华南理工大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 文档图表理解 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出OCR-Reasoning基准，包含1069个人工标注样本，覆盖6种核心推理能力和18个实际推理任务，通过双标注（最终答案和逐步推理过程）评估多模态大语言模型在文本丰富图像推理中的能力，发现最先进模型准确率均低于50%。

Comments ICLR 2026

MegaScale-Omni: A Hyper-Scale, Workload-Resilient System for MultiModal LLM Training in Production

MegaScale-Omni: 一种面向多模态大语言模型生产训练的超大规模、工作负载容错系统

Chunyu Xue, Yangrui Chen, Jianyu Jiang, Ningxin Zheng, Junda Feng, Jingji Chen, Shixiong Zhao, Shen Yan, Yi Lin, Lei Shi, Zanbo Wang, Lishu Luo, Faming Wu, Haibin Lin, Xin Liu, Yanghua Peng, Quan Chen

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出MegaScale-Omni系统，通过解耦并行策略、统一表示和负载平衡技术，提升多模态大语言模型在动态工作负载下的训练效率，实现1.27倍至7.57倍的吞吐量提升。

Intention-Aware Semantic Agent Communications for AI Glasses

面向AI眼镜的意图感知语义代理通信

Peiwen Jiang, Fangyu Liu, Jiajia Guo, Chao-Kai Wen, Shi Jin, Jun Zhang

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种意图感知的语义代理通信框架，通过用户意图引导数据传输，减少带宽消耗并保持任务性能，适用于AI眼镜的轻量级预处理场景。

Evaluation of Embedding-Based and Generative Methods for LLM-Driven Document Classification: Opportunities and Challenges

嵌入式与生成方法在LLM驱动文档分类中的评估：机遇与挑战

Rong Lu, Hao Liu, Song Hou

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文比较了基于嵌入和生成模型在地学技术文档分类中的表现，发现增强的生成视觉-语言模型在零样本准确率上表现更优，但监督微调对训练数据不平衡敏感。

Comments Accepted at the IMAGE'25 Workshop (PCW-11), Society of Exploration Geophysicists (SEG). Published version available at https://doi.org/10.1190/image2025-w11-03.1

Multimodal Information Fusion for Chart Understanding: A Survey of MLLMs -- Evolution, Limitations, and Cognitive Enhancement

多模态信息融合用于图表理解：MLLMs的综述——演变、局限与认知增强

Zhihang Yi, Jian Zhao, Jiancheng Lv, Tao Wang

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Engineering Research Center of Machine Learning（机器学习工程研究中心） ； China Telecom Institute of AI（中国电信人工智能研究院） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文综述了多模态大语言模型在图表理解中的应用，分析了其演变、局限及未来发展方向，旨在推动更稳健的系统发展。

Vector embedding of multi-modal texts: a tool for discovery?

Beth Plale, Sai Navya Jyesta, Sachith Withana

专题命中 文档图表理解 ：vision-language model(abstract)；vision language model(abstract)；VLM(abstract)

Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark

Goeric Huybrechts, Srikanth Ronanki, Sai Muralidhar Jayanthi, Jack Fitzgerald, Srinivasan Veeravanallur

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 文档图表理解 ：vision language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

VDInstruct: Zero-Shot Key Information Extraction via Content-Aware Vision Tokenization

Son Nguyen, Giang Nguyen, Hung Dao, Thao Do, Daeyoung Kim

机构 * KAIST, South Korea（韩国加尔文科学技术院） ； Auburn University, US（美国阿肯色大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Under Review