视觉大模型 / VLM

Million-scale multimodal pollen microscopy with expert-guided foundation models

百万级多模态花粉显微镜图像与专家引导的基础模型

András Biricz, Björn Gedda, Donát Magyar, Antonio Spanu, János Fillinger, Péter Pollner, István Csabai

机构 * Department of Physics of Complex Systems, ELTE Eötvös Loránd University（ELTE罗兰大学复杂物理系） ； The Palynological Laboratory at the Swedish Museum of Natural History（瑞典自然历史博物馆孢粉学实验室） ； National Centre for Public Health and Pharmacy（国家公共卫生与药品中心） ； INRAE, UR 546 BioSP, Site Agroparc（法国国家农业、食品与环境研究院，UR 546 BioSP，阿格罗帕克园区） ； National Korányi Institute for Pulmonology（国家科拉尼肺病研究所） ； Health Data Science and AI Knowledge Centre, Health Services Management Training Centre, Faculty of Health and Public Administration, Semmelweis University（塞梅维什大学健康与公共管理学院卫生服务管理培训中心健康数据科学与人工智能知识中心） ； Department of Biological Physics, ELTE Eötvös Loránd University（ELTE罗兰大学生物物理系） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 提出百万级多模态花粉显微镜数据集Pollen AI Atlas，结合专家引导的视觉-语言模型生成形态描述，实现跨区域、跨设置的高精度花粉识别与检索。

Comments 31 pages, 5 main figures, supplementary information included. Submitted to Scientific Reports. v2: clarified reporting of taxonomic scope, captioning settings, backbone configuration, and evaluation details; no changes to numerical results or conclusions

Persona-Guided LLM Agents for Task-Oriented Dialogue

面向任务型对话的角色引导大语言模型智能体

Maryam Shoaeinaeini, Brent Harrison, A.B. Siddique

机构 * University of Kentucky（肯塔基大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 该研究构建无需训练的框架，通过三种情境评估多模型在SGD数据集上的表现，发现适应用户人格存在权衡，Try情境的线索式适应可更可靠实现感知人格的任务型对话。

Comments 8 pages

ConstructCIE: A Dataset for Extracting Causal Information from Construction Accident Narratives

ConstructCIE：用于从施工事故叙述中提取因果信息的数据集

Hung Nguyen, Jaehoon Lee, Namgyun Kim, Kuan-Hao Huang

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 该研究构建了用于提取施工事故因果信息的ConstructCIE数据集，评估了相关模型的性能，发现模型在精确跨度提取上存在局限，需强化领域基础与证据提取。

Evaluating Structured Information Extraction with Open Models in a High Risk Public Sector Application

在高风险公共部门应用中使用开源模型评估结构化信息提取

Elias Schubert, Felix Bießmann

机构 * Berlin University of Applied Sciences（柏林应用科学大学） ； Einstein Center Digital Future（爱因斯坦数字未来中心） 纠错

专题命中 文档图表理解 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对欧盟AI法案高风险公共部门应用场景，构建基准评估开源OCR、LLM、VLM在学生申请处理任务的性能，发现零样本下多数模型表现差，输入结构保留是关键因素。

Comments Accepted at Workshop on Systems Over Models: What Actually Works in Industry (SOMI-2026) at ECML 2026

OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios

OmniHandwritingOCR：用于评估多模态大语言模型在手写OCR场景中表现的诊断基准

Zinuo Guo, Min Zhang, Bo Jiang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 文档图表理解 ：grounding(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究推出OmniHandwritingOCR手写OCR诊断基准，评估13个多模态模型，发现其在复杂公式上表现差且存在幻觉，为诊断模型失效模式提供测试平台。

Comments CIKM 2026

DocClaw: A Unified Agentic System for Intelligent Document Processing

DocClaw：用于智能文档处理的统一智能体系统

Siqi Xiang, Zhipeng Xu, Yufei Liu, Junhao Ji, Qing Liu, Zulong Chen, Zhibo Yang, Chunyan Miao, Shijian Lu

专题命中 文档图表理解 ：VLM(abstract_cn)；分类 cs.CV

AI总结 研究针对现有智能文档处理任务多为独立建模的问题，提出统一智能体系统DocClaw，通过智能体与文档的共享交互处理多种IDP任务，在基准测试中取得有竞争力的性能。

Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

离线解释选择中， pairwise 排序优于单动作强化学习：一个实践经验

Tanay Chowdhury, Saeideh Shahrokh Esfahani

机构 * Amazon（亚马逊公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究针对工业可解释推荐系统的高成本问题，提出将 LLM 解释生成与选择分离的方案，发现 pairwise 排序方法在离线解释选择中优于单动作强化学习，且构建成本低、延迟小。

Comments This is an extended version of a 3-page paper accepted to the RecSys 2026 Research and Practice Notes track

BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving

BrainWAM：面向自动驾驶的语义先验与预测动力学的动作空间协调框架

Bing Zhan, Shuyao Shang, Shuo Lu, Yuan Xu, Zhao Wang, Yida Wang, Xueyang Zhang, Kun Zhan, Jiahao Gu

机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Li Auto Inc.（理想汽车） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对自动驾驶中语义与预测动力学的规划需求，提出BrainWAM框架，通过结构化动作空间协调及异步整流流推理，在NAVSIM数据集上实现最优性能，优于仅VLA或仅WAM方法。

ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents

ComponentBench：诊断计算机使用智能体的组件级故障

Tianchen Guan, Xinlei Lin, Royce Cheng-Yue, Xiangjun Wang, Shuyan Zhou

机构 * Duke University（杜克大学） ； Amazon AGI SF Lab（亚马逊AGI旧金山实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出ComponentBench基准及诊断流水线，评估7种计算机使用智能体在4种观测动作空间下的表现，发现观测动作空间会显著影响性能，且空间操作仍是智能体的挑战。

Comments Accepted at COLM 2026. 30 pages (10 pages main text), 10 figures, 15 tables. Website: this https URL (https://componentbench.com) Code: this https URL (https://github.com/TianchenGuan/ComponentBench) Data: this https URL (https://huggingface.co/datasets/TianchenGuan/ComponentBench)

GAPL: Grounded Action-effect Policy Learning for LLM-Based Trajectory Planning

GAPL：面向基于大语言模型的轨迹规划的接地动作效果策略学习

Zhihong Cui, Hengyu Liu, Zhangkai Wu, Yushuai Li, Tianyi Li, Peiyuan Guan, Amir Taherkordi, Tor Skeie

机构 * University of Oslo（奥斯陆大学） ； Aalborg University（奥尔堡大学） ； University of Sydney（悉尼大学） ； Nanjing University of Information Science and Technology（南京信息工程大学） ； Simula Research Laboratory（西穆拉研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 针对LLM用于自动驾驶轨迹规划时存在的幻觉、接地不足等问题，提出GAPL框架，整合三类模块并经实验验证其性能优于基线方法

Comments 11 pages, 5 figures, 6 tables

When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models

当安全覆盖视觉时：探索视觉语言模型中视觉影响与安全对齐之间的动态关系

Mehak Gupta, Tanmoy Chakraborty

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态，发现安全对齐未抑制感知接地，抑制拒绝相关表征可恢复接地回答，揭示了其一种新的失败模式。

On the Robustness of Vision-Language Models in Zero-shot Privacy Classification

零样本隐私分类中视觉语言模型的鲁棒性研究

Alina Elena Baia, Alessio Xompero, Andrea Cavallaro

机构 * Idiap Research Institute（Idiap研究机构） ； Queen Mary University of London（伦敦女王学院） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究分析零样本设置下视觉语言模型（VLMs）用于图像隐私分类的可靠性，对比三类开源VLMs与专用模型的性能，发现VLMs鲁棒但精度低、速度慢，凸显专用隐私分类模型的优势。

Comments 15 pages, 6 figures, 3 tables. Paper accepted at the TrustDOC Workshop at ICPR 2026

Uncertainty-Aware Art-Historical Dating with Vision-Language Models

基于视觉语言模型的不确定性感知艺术史年代测定

Stefanie Schneider, Peter Bell

机构 * Marburg University（马尔堡大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究针对艺术品年代测定中的时间纠缠问题，将其转化为不确定性感知回归任务，通过在Wikidata艺术品语料库上实验发现视觉语言模型（VLMs）在该任务上优于纯视觉自监督基线，但存在偏差。

You Are What You Prompt: Prompt Quality, Domain Shift, and Uncertainty in Agrifood Vision-Language Models

你即你所提示的：农业食品视觉语言模型中的提示质量、领域偏移与不确定性

Andrea Morales-Garzón, Salvador López-Joya, Miguel López-Pérez, Maria J. Martin-Bautista

机构 * University of Granada（格拉纳达大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.LG

AI总结 该研究针对农业食品领域，评估了零样本提示集成（ZPE）在分布内与分布外场景的表现，提出PID方法提升严重领域偏移下的故障检测能力，验证了领域特定提示池的优势。

Comments Accepted in the journal Procesamiento del Lenguaje Natural (SEPLN2026)

Dynamic Distribution-Aware Uncertainty Tracking in Vision-Language Representation Learning

视觉-语言表示学习中的动态分布感知不确定性跟踪

Ao Zhou, Zhiwei Jiang, Zifeng Cheng, Cong Wang, Shufan Yang, Haoru Chen, Qing Gu

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； ByteDance Inc（字节跳动公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.LG

AI总结 针对视觉-语言模型事后不确定性量化方法忽略测试分布动态性的问题，提出DDA-UQ框架，通过高斯混合模型建模嵌入空间，实现动态不确定性估计，性能优于现有最优方法。

Reducing Technician Search Burden: A Multimodal RAG for Cessna 172 Maintenance Manual

减轻技术人员的检索负担：面向赛斯纳172维护手册的多模态检索增强生成

Seongjun Ha, Md Rashedul Islam, Gaurav Nanda, Damon Lercel

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)

AI总结 本研究针对赛斯纳172维护手册，开发多模态检索增强生成流程，其多模态手册检索器召回率达93.37%，生成响应与基准答案语义相似度87.20%，可减轻技术人员检索负担。

From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model

从推理到适应：视觉语言模型的统一最优传输视角

Qi Yu, Zhichen Zeng, Katherine Tieu, Xiyuan Yang, Ruizhong Qiu, Yuchen Yan, Lihui Liu, Yanjun Zhao, Lingjie Chen, Jingrui He, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊公司） ； Wayne State University（韦恩州立大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision language model(title)；vision-language model(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出名为algname的VLM测试时适应方法，通过Wasserstein最优传输统一VLM的推理与适应目标，实验显示其性能较最优方法提升7%且效率先进。

CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection

CLARA：基于VLM衍生理由的片段级多模态对齐用于仇恨视频检测

Yuchen Zhang, Shuang Dai, Zeyu Fu, Yunfei Long, Ravi Shekhar, Haralambos Mouratidis

机构 * Institute for Analytics and Data Science, University of Essex（埃塞克斯大学分析与数据科学研究所） ； University of Exeter（埃克塞特大学） ； Queen Mary University of London（伦敦大学玛丽皇后学院） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV

AI总结 本研究提出CLARA框架，以片段级多模态对齐结合VLM衍生理由，在三个仇恨视频数据集上实现了优于现有最优方法的仇恨视频检测性能。

Breaking the weakest link to evade vision language models

打破最弱环节以规避视觉语言模型

Ilan Zini, Boussad Addad, Katarzyna Kapusta

机构 * ESILV（ESILV高等工程师学院） ； Thales（泰雷兹集团） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究针对视觉语言模型（VLMs）提出仅优化视觉编码器的梯度攻击方法，在Qwen2.5-VL等模型上验证微小扰动可规避模型，凸显其对抗操纵的脆弱性并呼吁强化安全机制。

Comments 17 pages

CL4D: Contrastive Language-4D Pretraining for Vision-Language Reasoning in Dynamic Scenes

CL4D：用于动态场景视觉-语言推理的对比语言-4D预训练

Kumal Hewagamage, Isuranga Senavirathne, Sasika Amarasinghe, Hasitha Gallella, Dulanga Weerakoon, Vigneshwaran Subbaraju, Ranga Rodrigo

机构 * University of Moratuwa（莫拉图瓦大学） ； Singapore-MIT Alliance for Research & Technology (SMART) Centre（新加坡-麻省理工研究与技术联盟（SMART）中心） ； Agency for Science, Technology and Research (A*STAR)（新加坡科学、技术与研究局（A*STAR）） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本研究提出CL4D（首个4D视觉编码器）及基于其的4DVLM，在自建DynAction4D数据集上训练，CL4D性能较现有方法提升约16.75%，4DVLM优于Gemini、GPT-5等前沿视频VLM。

Comments Accepted at the 19th European Conference on Computer Vision (ECCV 2026)

ReWEIGH the Evidence: Calibrating Token-Level Ordinal Visual Evidence to Mitigate Hallucinations in Large Vision-Language Models

重新权衡证据：校准令牌级有序视觉证据以减轻大型视觉语言模型的幻觉

Jihae Jeong, Junha Choi, Hwanjo Yu

机构 * Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH）） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 ReWEIGH是一种无需训练的解码干预方法，通过聚合视觉位置的令牌排名并施加有界惩罚，在多个7B至32B规模的LVLM上减少了最多21.3%的幻觉对象提及，且延迟增加极少。

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

对齐即全部所需：通用音频-语言模型的无指令训练

Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 该研究提出仅对齐的无指令大音频-语言模型LALM，仅训练轻量投影器，在多模态数据集上用更少数据达到或优于基线，证明仅靠对齐即可构建有竞争力的多模态大语言模型。

CustomDance: Customized 3D Dance Generation with Coarse-to-Fine Human-Centered Interactive Control

CustomDance：基于以人为中心的粗到细交互式控制的定制化3D舞蹈生成

Xulong Tang, Kaixing Yang, Xiaohu Guo, Prabhakaran Balakrishnan, Rawan Alghofaili

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 CustomDance是基于粗到细交互式控制的定制化3D舞蹈生成系统，通过三阶段流程实现AI辅助编舞，在定量和定性比较中优于基线，为用户提供全面控制。

Comments Accepted to SIGGRAPH Asia 2026

Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation

聚焦图像：用于胸部X光诊断与报告生成的注视监督多模态学习

Tanjim Islam Riju, Shuchismita Anwar, Saman Sarker Joy, Farig Sadeque, Swakkhar Shatabda

机构 * Department of Computer Science and Engineering, Brac University（计算机科学与工程系，布拉克大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本研究基于MIMIC-Eye数据集构建两阶段多模态框架，引入注视监督提升胸部X光诊断准确率与报告空间可解释性，为该领域提供了可复现的新基准。

OccDirector: Language-Guided Behavior and Interaction Generation in 4D Occupancy Space

OccDirector：基于语言的4D占用空间中行为与交互生成

Zhuding Liang, Tianyi Yan, Dubing Chen, Jiasen Zheng, Huan Zheng, Cheng-zhong Xu, Yida Wang, Kun Zhan, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau, Macau, China（SKL-IOTSC、CIS、澳门大学、澳门、中国） ； Li Auto Inc, Beijing, China（Li Auto Inc、北京、中国） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出OccDirector框架，通过自然语言生成4D占用空间动态，解决复杂多代理交互生成问题，引入多级语言指令数据集和评估基准，实现语言驱动的行为编排。

EATR-Stereo: Embodiment-Aware Token Routing of Paired Stereo Evidence for Humanoid Vision-Language-Action Control

EATR-Stereo：面向人形机器人视觉-语言-动作控制的具身感知配对立体证据路由

Songwei Wu, Rui Zhao, Fan Yang, Zhongqiang Nie, Zhiduo Jiang, Wandong Sun, Yuwei Li, Jian Hu, Yang Liu, Hong Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract,abstract_cn)

AI总结 EATR-Stereo是具身感知的令牌路由框架，在冻结预训练VLA模型的前提下，通过选择性路由配对立体证据，提升了人形机器人长时程视觉-语言-动作控制的任务成功率。

Comments 8 pages, 5 figures

MR-IQA-2: Faithful Image Quality Reflection via Fine-Grained Credit Assignment

MR-IQA-2：通过细粒度信用分配实现真实的图像质量反映

Yuan li, Youyuan Lin, Chenhui Chu, Shin'ya Nishida

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对现有盲图像质量评估（IQA）中推理真实性不足的问题，提出MR-IQA-2框架，通过解耦推理与评分的细粒度信用分配，在IQA基准上实现了与人类评分的竞争性对齐，还能提供更丰富的视觉理解。

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

FACET：在终端任务合成中保留源意图与可执行状态

Kou Shi, Zun Wang, Qisheng Su, Shiting Huang, Ziao Zhang, Zhen Fang, Qingnan Ren, Jin Liu, Yu Zeng, Yiming Zhao, Lin Chen, Zehui Chen, Feng Zhao

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 FACET是保留源意图与可执行状态的终端任务合成框架，可生成高质量任务并提升Terminal-Bench 2.1上的智能体微调性能，为任务合成提供关键原则。

Comments this https URL (https://stokou.github.io/FACET-Terminal/)

SE-MoLoRA: Shared-Expert LoRA Adapters for Domain-Specific Photographic Assessment

SE-MoLoRA：用于特定领域摄影评估的共享专家LoRA适配器

Bishwash Khanal, Anlan Zhang, Sasu Tarkoma, Tommi Mikkonen, Abhishek Kumar

机构 * Faculty of Information Technology（信息技术学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Adobe Research（奥多比研究院） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SE-MoLoRA框架，通过共享LoRA专家与路由适配器解耦通用摄影知识和专业判断，在摄影评论生成任务上显著提升BERTScore-F1，且更受偏好、参数更少。

A Cloud-Edge System for Multimodal Clinical Screening in Resource-Constrained Rural Settings

面向资源受限农村地区多模态临床筛查的云边协同系统

Hei Ting (Una) Chan, Chenwei Wu, Xueshen Liu, Zesen Zhao, Boyuan Zheng, Luis Filipe Nakayama, Michael G. Morley, Liyue Shen, Jiasi Chen, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 该研究针对资源受限农村地区的多模态临床筛查问题，提出云边协同架构，经实验验证其诊断性能优异且成本更低，可适配部署约束。

Comments 31 pages, 3 figures. In Proceedings of Machine Learning Research, Volume 340, 2026 (Machine Learning for Healthcare Conference)