视觉大模型 / VLM

METAL: A Multi-Agent Framework for Chart Generation with Test-Time Scaling

Bingxuan Li, Yiwei Wang, Jiuxiang Gu, Kai-Wei Chang, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, Merced（加州大学默塞德分校） ； Adobe Research（Adobe研究） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments ACL2025 Main

ChartGen: Scaling Chart Understanding Via Code-Guided Synthetic Chart Generation

Jovana Kondic, Pengyuan Li, Dhiraj Joshi, Zexue He, Shafiq Abedin, Jennifer Sun, Ben Wiesel, Eli Schwartz, Ahmed Nassar, Bo Wu, Assaf Arbelle, Aude Oliva, Dan Gutfreund, Leonid Karlinsky, Rogerio Feris

机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Labs（麻省理工-IBM沃森人工智能实验室） ； IBM Research（IBM研究院） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

On Pre-training of Multimodal Language Models Customized for Chart Understanding

Wan-Cyuan Fan, Yen-Chun Chen, Mengchen Liu, Lu Yuan, Leonid Sigal

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments NeurIPS 2024 Workshop on Adaptive Foundation Models

CHARTOM: A Visual Theory-of-Mind Benchmark for LLMs on Misleading Charts

Shubham Bharti, Shiyun Cheng, Jihyun Rho, Jianrui Zhang, Mu Cai, Yong Jae Lee, Martina Rau, Xiaojin Zhu

机构 * UW Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 文档图表理解 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents

Shi Yu, Chaoyue Tang, Bokai Xu, Junbo Cui, Junhao Ran, Yukun Yan, Zhenghao Liu, Shuo Wang, Xu Han, Zhiyuan Liu, Maosong Sun

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class

Mazda Moayeri, Michael Rabbat, Mark Ibrahim, Diane Bouchacourt

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted to FAccT 2024

MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering

Fangyu Liu, Francesco Piccinno, Syrine Krichene, Chenxi Pang, Kenton Lee, Mandar Joshi, Yasemin Altun, Nigel Collier, Julian Martin Eisenschlos

专题命中 文档图表理解 ：vision-language model(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

Comments ACL 2023

SUMMA: A Multimodal Large Language Model for Advertisement Summarization

Weitao Jia, Shuo Yin, Zhoufutu Wen, Han Wang, Zehui Dai, Kun Zhang, Zhenyu Li, Tao Zeng, Xiaohui Lv

专题命中 文档图表理解 ：multimodal large language model(title)

ChartAdapter: Large Vision-Language Model for Chart Summarization

Peixin Xu, Yujuan Ding, Wenqi Fan

专题命中 文档图表理解 ：vision-language model(title)

Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

全局-局部双感知用于高分辨率文本密集图像翻译的MLLMs

Junxin Lu, Tengfei Song, Zhanglin Wu, Pengfei Li, Xiaowei Liang, Hui Yang, Kun Chen, Ning Xie, Yunfei Lu, Jing Zhao, Shiliang Sun, Daimeng Wei

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Labs, Huawei Technologies Co., LTD（华为技术有限公司2012实验室） ； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出GLoTran框架，通过全局-局部双感知方法提升高分辨率文本密集图像翻译的准确性和完整性。

GUIDE: Governed Unified Intelligence for Document-to-Artifact Generation in Enterprise Settings

GUIDE：企业场景下从文档到制品生成的受控统一智能

Shivali Dalmia, Sumukha Thoppanahalli, Mohammadreza Sediqin, Abhishek Mukherji

机构 * Centific Research（森蒂菲克研究院） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对企业指南文档手动处理效率低的问题，提出基于共享版本化规则库的多智能体框架GUIDE，在120份真实文档上实现96%成功率，大幅提升文档到制品的生成效率。

From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing

从诊断到修正：真实世界表格解析的基准测试与改进

Jutao Xiao, Yuan Qu, Dongsheng Ma, Fan Wu, Tianyao He, Weihong Li, Jie Yang, Yu Qiao, Bin Wang, Conghui He

机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Peking University（北京大学） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文针对真实世界表格解析的缺陷，构建诊断基准TableParseMap，提出DEC框架，无需重训即可提升冻结解析器性能，在TableParseMap上TEDS获显著提升。

PaDoc: Layout-Grounded Parallel Decoding for Document Parsing

PaDoc：基于布局的文档并行解码方法

Hao Yu, Jiabo Zhan, Kang Liu, Linnan Zhao, Dongxu Yue, Rui Chen, Jinglin Wang, Chong Sun, Chen Li, Jing Lyu, Chun Yuan

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出PaDoc，一种基于布局的文档并行解码解析器，在OmniDocBench Full数据集上取得优异性能，且在A800 GPU上显著提升端到端文档解析的吞吐量并降低延迟。

HunyuanOCR-1.5: Making Lightweight OCR VLMs Faster and Better

浑元OCR-1.5：让轻量级OCR视觉语言模型更快更好

Gengluo Li, Xingyu Wan, Shangpin Peng, Weinong Wang, Hao Feng, Yongkun Du, Binghong Wu, Zheng Ruan, Zhiqiong Lu, Liang Wu, Pengyuan Lyu, Huawen Shen, Zibin Lin, Shijing Hu, Jieneng Yang, Hongbing Wen, Guanghua Yu, Hong Liu, Bochao Wang, Can Ma, Han Hu, Chengquan Zhang, Yu Zhou

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Large Language Model Department, Tencent（腾讯大语言模型部） ； Nankai University（南开大学） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究改进轻量级端到端OCR视觉语言模型。基于HunyuanOCR-1.0架构，用DFlash提升效率，提出Agentic Data Flow增强能力，在多任务表现出色，还将发布模型权重和代码。

ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction

ExtractBench：模式引导的企业文档抽取基准

Boyang Zhang, Adrian Lyjak, Eli Stewart, Zhaoqi Li, Simon Suo

专题命中 文档图表理解 ：VLM(abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 研究针对企业文档模式引导抽取的评估需求，构建首个同时评估值准确率等多指标的基准ExtractBench，发现LlamaExtract Agentic Plus在成本远低于编码智能体的情况下，准确率可与之媲美。

ChartAnno: Evaluating MLLMs for Chart Annotation Generation

ChartAnno：评估多模态大语言模型的图表标注生成能力

Zhenghan Chen, Zekai Shao, Lidan Tan, Xin Lin, Xingchen Zeng, Yi Shan, Ziyue Lin, Xiaoliang Fu, Xinyuan Liu, Yuetong Guo, Fen Wang, Bongshin Lee, Siming Chen

专题命中 文档图表理解 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出ChartAnno基准评估MLLMs的图表标注生成能力，实验显示专有模型表现更优，大规模开源模型正缩小差距，更具体指令可提升标注质量，图表图像仅在设计相关指标上有有限提升。

DeCoRAG: Cognitive Decoupling and Semantic-Aware Cropping for Complex Document Understanding

DeCoRAG：用于复杂文档理解的认知解耦和语义感知裁剪

Shuo Wang, Kai Zhang, Wenyuan Huang, Yizheng Yu, Xia Liao, Junming Su, Qing Wang, Fang Xi

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 研究针对复杂文档理解中多模态检索增强生成的难题，提出DeCoRAG方法，通过认知解耦、建立语义锚及区域感知裁剪机制，提升语义通过率，减少提示令牌，在复杂文档基准测试中取得良好效果。

Comments 11 pages, 4 figures, 8 tables

ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning

ToolSciVer：基于视觉工具增强强化学习的多模态科学声明验证

Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 文档图表理解 ：VLM(abstract)；InternVL(abstract)；分类 cs.AI

AI总结 研究多模态科学声明验证问题，提出ToolSciVer框架，为视觉语言模型配备三种类型感知视觉工具，用组相对策略优化训练策略，实验证明该方法在多模型上性能优于竞争基线。

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

M$^\text{4}$World：用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型

Ke Cheng, Hanqiao Ye, Lei Shi, Yahui Liu, Yunhan Shen, Jingtao Dong, Zhenke Wang, Wenxuan Ao, Weixiang Xu, Kaining Huang, Shuhan Shen

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。

Comments 24 pages, 13 figures

SigLIP-HD by Fine-to-Coarse Supervision

通过从细到粗的监督实现SigLIP-HD

Lihe Yang, Zhen Zhao, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究如何在低成本下实现精细视觉感知，提出SigLIP-HD，采用从细到粗监督设计，基于SigLIP 2模型构建，在相同推理预算下能产生更好视觉令牌，在多基准测试中结果优于基线模型。

Comments ICLR 2026. Code and model: https://github.com/LiheYoung/SigLIP-HD

StrucTab: A Structured Optimization Framework for Table Parsing

StrucTab: 一种用于表格解析的结构化优化框架

Gengluo Li, Shangpin Peng, Chengquan Zhang, Binghong Wu, Hao Feng, Weinong Wang, Pengyuan Lyu, Huawen Shen, Xingyu Wan, Zhuotao Tian, Han Hu, Can Ma, Yu Zhou

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出StrucTab框架，通过中间结构监督和奖励分解优化表格解析，在多个基准上达到最优性能。

SciFig: Towards Automating Editable Figure Generation for Scientific Papers

SciFig：面向科学论文的可编辑图形自动生成

Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Zhejiang University（浙江大学） ； Independant Researcher（独立研究者） ； Tsinghua University（清华大学） ； University of Central Florida（佛罗里达中央大学） ； City University of Hong Kong（香港城市大学） ； Adobe Research（Adobe研究） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出SciFig多智能体框架，从科学文本自动生成可编辑的高质量方法图，通过分解规划、布局、渲染和迭代优化，在435个基准上优于基线，平均10分钟生成可编辑图形。

LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement

LightSTAR: 通过视觉自适应精炼的轻量级选择实现高效视觉文档检索

Tongkun Guan, Haocheng Wang, Wei Shen, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院人工智能研究院教育部人工智能重点实验室） 纠错

专题命中 文档图表理解 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出LightSTAR框架，通过免LLM的视觉选择快速筛选候选页，再经视觉自适应语义精炼进行细粒度匹配，在保持高检索精度的同时大幅降低延迟。

Comments Accpeted by ECCV 2026

Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild

Real5-OmniDocBench：面向野外鲁棒文档解析的全尺度物理重建基准

Changda Zhou, Ziyue Gao, Xueqing Wang, Tingquan Gao, Cheng Cui, Jing Tang, Yi Liu

机构 * PaddlePaddle Team, Baidu Inc.（百度公司PaddlePaddle团队） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出首个对OmniDocBench v1.5进行全尺度一对一物理重建的基准Real5-OmniDocBench，覆盖扫描、弯曲、屏幕摄影、光照和倾斜五种真实场景，通过完整真值映射实现性能退化的因子级归因，揭示文档解析中的“现实鸿沟”。

PereStruct: Multimodal Semantic Assembly for Robust Historical Document Parsing

PereStruct: 面向鲁棒历史文档解析的多模态语义组装

Maksim Shandybo, Ivan Bespalov, Daniil Yefimov, Marina Kosheleva, Alexander Loukianov

机构 * IGIC RAS（俄罗斯科学院信息传输问题研究所） ； Yandex Cloud ； National University of Science and Technology MISIS（莫斯科国立钢铁合金学院） ； Nekrasov Central Universal Scientific Library（涅克拉索夫中央综合科学图书馆） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对历史报纸复杂多栏布局的解析难题，提出结合微调YOLO与语义组装模块的多模态方法，在块到文章映射上F1达0.904，BLEU约0.96，显著优于通用视觉语言模型。

Comments Code and data available at https://github.com/makSShandybo/PereStruct

FLOWREADER: Min-Cost Flow Optimization for Multi-Modal Long Document Q&A

FLOWREADER: 多模态长文档问答的最小成本流优化

Ambuj Mehrish, Sebastiano Vascon

机构 * Ca’ Foscari University of Venice（威尼斯卡布里亚大学） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出FLOWREADER，将多模态长文档中的证据组装建模为最小成本流问题，通过统一评分向量控制源选择、汇选择和边成本，在碎片化证据场景下优于top-k检索方法。

Any2Poster: Any-Source Poster Generation Across Modalities and Domains

Any2Poster: 跨模态和领域的任意源海报生成

Amogh Vinaykumar, Aiden Li, Suozhi Huang, Shilong Liu

机构 * Flower Mound High School（弗洛拉穆恩高中） ； University College London（伦敦大学学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Any2Poster Bench基准和Any2Poster Agent智能体，实现从多种输入模态和领域生成海报，并通过基于测验和视觉评估的方法验证信息保真度和视觉传达效果。

Comments Project Page: https://github.com/Any2Poster/Any2Poster

PubTables-v2: A new large-scale dataset for full-page and multi-page table extraction

PubTables-v2: 一个新的用于全页和多页表格提取的大规模数据集

Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

机构 * Kensho Technologies（Kensho技术公司） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对全页和多页表格提取任务缺乏标注数据的问题，本文创建了大规模数据集PubTables-v2，并评估了当前前沿模型与小模型在不同上下文级别任务上的性能差异。

Comments 28 pages, separated POTATR to its own paper, added frontier model results

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

解耦骨架与血肉：基于解缠对齐和结构感知引导的高效多模态表格推理

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出DiSCo解缠结构-内容对齐框架和Table-GLS全局到局部结构引导推理框架，高效增强LVLM的表格理解与推理能力，无需昂贵监督或外部工具。

Comments Accepted as a Spotlight Paper at ICML 2026

Seed3D 2.0: Advancing High-Fidelity Simulation-Ready 3D Content Generation

Seed3D 2.0: 推动高保真仿真准备的3D内容生成

Diandian Gu, Jing Lin, Gaohong Liu, Jiahang Liu, Su Ma, Guang Shi, Jun Wang, Qinlong Wang, Qianyi Wu, Zhongcong Xu, Xuanyu Yi, Zihao Yu, Jianfeng Zhang, Zhuolin Zheng, Yifan Zhu, Rui Chen, Hengkai Guo, Xiaoyang Guo, Mingcong Han, Xu Han, Xiu Li, Yixun Liang, Weiqiang Lou, Junzhe Lu, Guan Luo, Minghan Qin, Shuguang Wang, Yuang Wang

机构 * ByteDance（字节跳动） 纠错

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 Seed3D 2.0通过改进生成保真度、仿真能力及应用范围，引入统一PBR模型和仿真准备模型套件，提升3D内容生成精度与视觉效果。

Comments Seed3D 2.0 Technical Report; Official Page on https://seed.bytedance.com/seed3d_2_0