视觉大模型 / VLM

A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends

基于MLLM的视觉丰富文档理解综述：方法、挑战与新兴趋势

Yihao Ding, Siwen Luo, Yue Dai, Yanbei Jiang, Zechuan Li, Qiang Sun, Geoffrey Martin, Wei Liu, Yifan Peng

机构 * The University of Western Australia（西澳大学） ； The University of Melbourne（墨尔本大学） ； Weill Cornell Medicine（韦尔·柯尔医学中心） 纠错

专题命中 文档图表理解 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了基于MLLM的视觉丰富文档理解最新进展，探讨了文本、视觉和布局特征的表示与整合技术，以及预训练、指令微调等训练方法，分析了数据稀缺、多页文档处理等挑战及新兴趋势。

Comments Accepted at ACL 2026 Findings

Q-Mask: Query-driven Causal Masks for Text Anchoring in OCR-Oriented Vision-Language Models

Q-Mask：面向OCR的视觉语言模型中基于查询的因果遮罩用于文本锚定

Longwei Xu, Feng Feng, Shaojie Zhang, Xin Chen, Hang Li, Anan Du, Hailong Yu, Pei Fu, Zhenbo Luo, Jian Luan

机构 * MiLM Plus（小米公司） 纠错

专题命中 文档图表理解 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；grounding(abstract)

AI总结 本文提出Q-Mask框架，通过因果查询驱动的遮罩解码器提升OCR任务中文本锚定的准确性与稳定性，结合大规模标注数据集提升视觉语言模型对文本区域的识别能力。

OmniParser V2: Structured-Points-of-Thought for Unified Visual Text Parsing and Its Generality to Multimodal Large Language Models

OmniParser V2：结构化思维点用于统一的视觉文本解析及其在多模态大语言模型中的通用性

Wenwen Yu, Zhibo Yang, Jianqiang Wan, Sibo Song, Jun Tang, Wenqing Cheng, Yuliang Liu, Xiang Bai

机构 * School of Information Science and Engineering, East China University of Science and Technology（东华大学信息科学与工程学院） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出OmniParser V2，通过结构化思维点提示方案统一视觉文本解析任务，简化流程并提升性能，在多个数据集上取得最佳结果，并验证其在多模态大语言模型中的通用性。

Comments Accepted by IEEE TPAMI

Fine-tuning DeepSeek-OCR-2 for Molecular Structure Recognition

为分子结构识别微调DeepSeek-OCR-2

Haocheng Tang, Xingyu Dang, Junmei Wang

机构 * Department of Computer Science, Princeton University, Princeton, NJ, USA（普林斯顿大学计算机科学系） ； School of Pharmacy, University of Pittsburgh, Pittsburgh, PA, USA（匹兹堡大学药学院） ； Khoury College of Computer Science, Northeastern University, Boston, MA, USA（东北大学Khoury计算机科学学院） ； Computational Chemical Genomics Screening Center, University of Pittsburgh, Pittsburgh, PA, USA（匹兹堡大学计算化学基因组筛选中心） 纠错

专题命中 文档图表理解 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过图像条件生成SMILES的方法微调DeepSeek-OCR-2，采用分阶段监督微调策略提升稳定性，训练数据结合合成图像和专利图像，模型在精确匹配上表现良好但不如图结构模型。