视觉大模型 / VLM

See Less, Specify More: Visual Evidence Budgets for Generalizable VLAs

看得更少，指定更多：面向可泛化视觉-语言-动作模型的视觉证据预算

Yueh-Hua Wu, Tatsuya Matsushima, Kei Ota

机构 * Airoa 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出S2框架，通过显式视觉证据预算和细化轨迹语言，改善VLA模型在干扰、外观变化和语义相似任务下的泛化能力。

Comments Project page: https://s2.airoa.io

MemoryVLA++: Temporal Modeling via Memory and Imagination in Vision-Language-Action Models

MemoryVLA++：通过记忆与想象在视觉-语言-动作模型中进行时间建模

Hao Shi, Weiye Li, Bin Xie, Yulin Wang, Renping Zhou, Tiancai Wang, Xiangyu Zhang, Ping Luo, Gao Huang

机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； Dexmal ； StepFun 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出MemoryVLA++框架，通过工作记忆、感知-认知记忆库和想象未来状态的世界模型，实现完整时间建模，在模拟和真实机器人任务上显著提升长时域和依赖记忆与想象的任务性能。

Comments The project is available at https://shihao1895.github.io/MemoryVLA-PP-Web

UAOR: Uncertainty-aware Observation Reinjection for Vision-Language-Action Models

UAOR: 面向视觉-语言-动作模型的不确定性感知观测重注入

Jiabing Yang, Yixiang Chen, Yuan Xu, Peiyan Li, Zichen Wen, Bowen Fang, Tao Yu, Xiangnan Wu, Qisen Ma, Kai Wang, Ziheng He, Yingda Li, Zhengbo Zhang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别新技术实验室） ； Shanghai Jiao Tong University（上海交通大学） ； FiveAges（五代） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出UAOR模块，通过动作熵检测不确定性，在语言模型高不确定层重注入观测信息，无需额外训练或数据，提升VLA模型在仿真和真实任务中的性能。

IntentNav: Learning Spatial-Visual Object Navigation from Human Demonstrations

IntentNav: 从人类演示中学习空间-视觉物体导航

Yuxin Cai, Zongtai Li, Maonan Wang, Muyi Bao, Haokun Zhu, Ruofei Bai, Ding Zhao, Zirui Li, Wenshan Wang, Wei-Yun Yau, Ji Zhang, Chen Lv

机构 * Nanyang Technological University（南洋理工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The Chinese University of Hong Kong（香港中文大学） ； A*STAR Institute for Infocomm Research (I2R)（新加坡科技研究局资讯通信研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)

AI总结 提出IntentNav框架，通过人类演示学习类人物体导航策略，利用前沿标注和意图对齐目标实现最优性能，并零样本迁移到多种机器人平台。

Comments 26 pages, 9 figures

CodeGraphVLP: Code-as-Planner Meets Semantic-Graph State for Non-Markovian Vision-Language-Action Models

CodeGraphVLP：代码规划器与语义图状态的结合用于非马尔可夫视觉-语言-动作模型

Khoa Vo, Sieu Tran, Taisei Hanyu, Yuki Ikebe, Duy Nguyen, Nghi D. Q. Bui, Minh Vu, Anthony Gunderman, Chase Rainwater, Anh Nguyen, Ngan Le

机构 * University of Arkansas（亚拉巴马大学） ； Max Planck Research School for Intelligent Systems and the University of Stuttgart（马克斯·普朗克智能系统研究学校和斯图加特大学） ； Center of AI Research, VinUniversity（Vin大学人工智能研究中心） ； TU Wien（维也纳技术大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；grounding(abstract)

AI总结 CodeGraphVLP结合语义图状态与可执行代码规划器，提升非马尔可夫长周期任务的视觉语言动作执行效率，降低规划延迟并提高任务完成率。

Projecting the Emerging Mindset of SWE Agent by Launching a Wild Code Understanding Journey

通过发起野生的代码理解之旅来投射SWE代理新兴思维模式

Zhengyi Zhuo, Yan Liu

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文通过有限工具接口让SWE代理在真实代码库中探索，提出Ada框架，利用观察透镜分析代理的导航、证据选择、综合、基础化和停止行为，将轨迹数据转化为可比较的行为画像。

Zero-Shot Learning in Industrial Scenarios: New Large-Scale Benchmark, Challenges and Baseline

工业场景中的零样本学习：新的大规模基准、挑战与基线

Zekai Zhang, Qinghui Chen, Maomao Xiong, Shijiao Ding, Zhanzhi Su, Xinjie Yao, Yiming Sun, Cong Bai, Jinglin Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； Huawei Technologies（华为技术有限公司） ； Tsinghua University（清华大学） ； Microsoft Research（微软研究院） 纠错

专题命中 GUI与屏幕智能体 ：visual language model(abstract)；分类 cs.AI

AI总结 针对工业场景中视觉语言模型应用难、数据稀缺的问题，提出大规模多模态工业开放数据集MMIO和精炼文本-视觉提示RTVP，实现零样本工业缺陷检测，在MMIO上达到SOTA。

Bridging Traditional Explainability Methods and Multimodal Multilingual Models: An XAI-Based Analysis

桥接传统可解释性方法与多模态多语言模型：基于XAI的分析

Paweł Pozorski, Jakub Muszyński, Maria Ganzha

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 提出多模态Shapley值框架，结合频谱图引导的音素对齐（SGPA）预处理方法，实现文本与音频特征的可解释性归因，并开源计算包与可视化工具。

Comments Bachelor's thesis

MIRAGE: Mobile Agents with Implicit Reasoning and Generative World Models

MIRAGE: 具有隐式推理和生成世界模型的移动智能体

Zhichao Yang, Yuanze Hu, Haojie Hao, Longkun Hao, Dongshuo Huang, Hongyu Lin, Gen Li, Lanqing Hong, Yihang Lou, Yan Bai

机构 * Beihang University（北京航空航天大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 提出MIRAGE框架，通过从显式推理轨迹学习连续潜在表示，使移动智能体能够内部推理并预测未来屏幕状态，在减少生成token的同时提升执行效率。

QuickLAP: Quick Language-Action Preference Learning for Semi-Autonomous Agents

QuickLAP: 为半自主代理快速语言-动作偏好学习

Jordan Abi Nader, David Lee, Nathaniel Dennler, Andreea Bobu

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本研究提出QuickLAP，一种融合物理和语言反馈的贝叶斯框架，用于实时推断奖励函数，通过大规模语言模型提取奖励特征注意力掩码和偏好偏移，从而在半自主驾驶模拟器中将奖励学习误差降低70%，并通过用户研究验证其可理解性和协作性。

Bridging the Agent-World Gap: Text World Models for LLM-based Agents

弥合智能体-世界鸿沟：面向基于LLM的智能体的文本世界模型

Yixia Li, Hongru Wang, Peng Lai, Zhiwen Ruan, He Zhu, Youxin Zhu, Ganlong Zhao, Minda Hu, Yun Chen, Sibei Yang, Peng Li, Jeff Z. Pan, Jia Pan, Guanhua Chen, Yang Liu, Guanbin Li

机构 * Southern University of Science and Technology（南方科技大学） ； University of Edinburgh（爱丁堡大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文系统综述了面向基于LLM的智能体的文本世界模型，围绕形式化框架和智能体生命周期，涵盖基础定义、构建范式、应用（训练时经验合成与推理时规划、验证、适应）及评估，旨在整合该领域并明确设计空间与开放挑战。

Comments Code: https://github.com/sustech-nlp/awesome-text-world-models

ImagineUAV: Aerial Vision-Language Navigation via World-Action Modeling and Kinodynamic Planning

ImagineUAV：通过世界-动作建模和动力学规划实现空中视觉语言导航

Xuchen Liu, Jiawei Huang, Shihao Xia, Bingxi Liu, Jinqiang Cui, Jiankun Yang

机构 * Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Cyber Engineering（计算机科学与网络工程学院） ； Guangzhou University（广州大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 针对无人机视觉语言导航中几何不一致和动力学失配问题，提出基于潜视频扩散模型的世界-动作建模框架，通过生成未来观测推断6自由度运动并规划无碰撞轨迹，以1.3B参数在基准和实际飞行中超越先前方法。

Comments Video demo: https://www.youtube.com/watch?v=Ng1alP0yhc0

One Stone, Three Birds: Self-adaptive Optimal Transport for Multi-VLM Selection, Adaptation, and Ensembling

一石三鸟：面向多VLM选择、自适应与集成的自适应最优传输

Qiyu Xu, Zhanxuan Hu, Yu Duan, Yonghang Tai, Huafeng Li, Quanxue Gao, Xiangyong Cao

机构 * Xi’an Jiaotong University（西安交通大学） ； Yunnan Normal University（云南师范大学） ； Xidian University（西安电子科技大学） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出无训练框架OSTB，通过自适应最优传输估计共识样本-类别结构，同时解决多VLM的模型选择、目标域自适应和预测集成问题。

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

Guide Me Out: A Framework to Benchmark VLM Operators Communication in Crisis Scenarios

引导我出去：危机场景下评估VLM操作员通信的框架

Giacomo Gonella, Stefano Menini, Marco Guerini

机构 * Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） ； University of Trento（特伦托大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 提出一个基准框架，评估视觉语言模型在模拟疏散中引导平民的策略（窄播 vs. 广播）、环境表示（视觉 vs. 图）和威胁行为（静态 vs. 移动），发现窄播降低失败率，视觉表示主导性能，移动威胁增加失败率。

Zero-Shot Semantic Re-Identification for Autonomous Driving: A VLM Baseline Study

零样本语义重识别用于自动驾驶：一项VLM基线研究

Eduardo Borges, Manuel Abreu, Luís Garrote, Urbano J. Nunes

机构 * Autonomous Mobile Robot（自主移动机器人） ； University of Minho（明德大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出使用视觉-语言模型生成语义描述进行零样本重识别，在自动驾驶场景中实现与监督CNN基线相当的检索性能，并增强可解释性。

Comments 7 pages

NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis

NutriMLLM：用于膳食微量营养素分析的多模态大语言模型

Runze Yan, Minxiao Wang, Jiaying Lu, Darren Liu, Xiao Hu, Hanqi Luo

机构 * Emory University（埃默里大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有MLLM在膳食微量营养素估计中不可靠的问题，利用十年人口规模膳食回顾生成约110万图像-营养素三元组，微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM，在真实图像上实现65种营养素全覆盖，准确率匹配或超越专有模型。

Comments 35 pages, 10 figures, 1 table

How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects

需要多少反事实？通过电路和因果效应探究VLM幻觉

Abhivansh Gupta, Simardeep Singh, Advika Sinha, Shreyansh Modi, Akshat Tomar

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；visual language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过定义基于对数概率差异的因果影响度量，并利用电路发现技术，研究视觉语言模型幻觉输出的反事实鲁棒性，推导出检测不稳定所需的最小反事实样本数。

Do Vision-Language Models See Dwarf Galaxies the Way We Do?

视觉语言模型是否像我们一样看待矮星系？

Dimitrios Tanoglidis, Chin Yi Tan, Kate Overdeck, Alex Drlica-Wagner

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)

AI总结 评估视觉语言模型在识别超暗矮星系候选体任务中的表现，发现零样本模型能复现人类整体校准，但在个体层面存在显著差异，且不确定性估计不可靠。

Comments 8 pages, 4 figures; Accepted at the Conference on Physics and AI at Stanford University (PAI 2026)

Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees

自信记忆：具有概率保证的时空记忆不确定性量化

Harry Zhang, Nicolas Gorlo, Luca Carlone

机构 * MIT（麻省理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 针对机器人长期操作中VLM描述噪声大、视角不一致的问题，提出目标级语义不确定性评分，并集成到UQ-DAAAM系统中，通过主动选择高质量视图和融合多视角描述来降低不确定性，同时提供概率保证。

Uncertainty-Aware Intention Prediction for Human-to-Robot Assembly Teleoperation

面向人机装配遥操作的不确定性感知意图预测

Fnu Heman, Yixuan Wang, Kolin Xu, Conner Wallace, John Dang, Akhil Joshi, Jun Sheng, Pinhas Ben-Tzvi, Mingyu Cai

机构 * University of California, Riverside（加州大学河滨分校） ； University of Miami（迈阿密大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)

AI总结 提出结合层次迁移学习、共形预测和VLM引导校正的不确定性感知意图预测框架，利用人类演示数据预训练，仅用少量机器人数据即提升动作分割性能。

Comments 7 pages, 6 figures. Preprint version

Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation

关键位置引导：基于令牌级视觉敏感度引导的LVLMs幻觉缓解

Ruipeng Zhang, Zhihao Li, C. L. Philip Chen, Tong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出令牌级视觉敏感度引导（TLVS）方法，通过提取令牌级引导向量并自适应调整引导强度，仅在关键解码步骤抑制幻觉，在多个基准上优于现有方法。

Popcorn: A Configurable Benchmark for Visual Evidence in Multimodal Movie Recommendation

Popcorn: 多模态电影推荐中视觉证据的可配置基准

Ali Tourani, Fatemeh Nazary, Yashar Deldjoo, Tommaso Di Noia

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 提出Popcorn基准，通过配置合同标准化多模态电影推荐中的视觉证据（全片、预告片、缩略图）的嵌入、融合与评估，实验表明视觉源不可互换且影响推荐性能。

Comments 8 pages, 3 figures, 3 tables

ZIPP:Zero-shot Image Personalization from Personas

ZIPP：基于人物画像的零样本图像个性化生成

Harini SI, Somesh Singh, Yaman Kumar Singla, David Doermann, Rajiv Ratn Shah

机构 * Adobe Media and Data Science Research (MDSR)（Adobe媒体与数据科学研究（MDSR）） ； IIIT-Delhi（德里印度理工学院） ； SUNY at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出ZIPP方法，利用自然语言人物画像通过LLM改写提示词实现零样本图像个性化生成，无需用户数据或微调；引入ZIPBench基准，在多个评测中取得13-20%的提升。

AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs

AVI-Bench：迈向全模态大语言模型的人类级视听智能

Yaoting Wang, Ziyi Zhang, Wenming Tu, Shaoxuan Xu, Wenjie Du, Cheng Liang, Weijun Wang, Yuanchao Li, Guangyao Li, Hao Fei, Yuanchun Li, Henghui Ding, Yunxin Liu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出AVI-Bench基准，通过感知、理解、推理三阶段跨模态任务评估全模态大语言模型的视听智能，并引入AVI-Bench-PriSe测试原始视听感知，揭示当前模型局限，构建四级AVI分类体系。

Comments 31 pages, 8 figures, ICML 2026

A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers

视觉Transformer对抗微调的机制分析

Hannah Gao, Isha Agarwal, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 通过机制分析研究对抗微调对视觉Transformer在扰动和常规图像上性能的影响，发现微调仅改善特定类型扰动，未改变稀疏表示。

Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks

可解释的AML优先级排序与LLMs：证据检索与反事实检查

Dorothy Torres, Wei Cheng, Ke Hu

机构 * School of Science, Technology, Engineering and Mathematics（科学、技术、工程与数学学院） ； School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种可解释的AML优先级排序框架，结合证据增强的证据捆绑、结构化LLM输出合同和反事实验证，提升审计性和鲁棒性，实验证明其在优先级排序和证据支持方面表现优异。

Vision-Language Work Zone Intelligence for Safety-Critical Speed Regulation of Mixed-Autonomy Vehicles in Dynamic Environments

面向动态环境中混合自主车辆安全关键速度调节的视觉语言工作区智能

Angel Martinez-Sanchez, Kianna Ng, Wesley Maia, Laura Fleig, Maitrayee Keskar, Erika Maquiling, Yash Tandon, Parthib Roy, Mohan Trivedi, Ross Greer

机构 * UC Merced（加州大学默塞德分校） ； Johns Hopkins（约翰霍普金斯大学） ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV

AI总结 提出一种实时车载感知管线，通过目标检测与语义验证融合及滞后状态转换，从视觉标志中识别临时工作区限速，在低成本硬件上实现96.5%召回率和68.7%精确率。

Quantifying and Optimizing Simplicity via Polynomial Representations

通过多项式表示量化和优化简单性

Tianren Zhang, Xiangxin Li, Minghao Xiao, Guanyu Chen, Feng Chen

机构 * [cs.AI]（计算机科学与人工智能） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出多项式表示作为分布感知的低维神经函数代理，通过正交多项式基近似网络预测行为，以有效度作为简单性度量，并导出可微正则化器以提升泛化。

Comments ICML 2026

mllm-shap: A Shapley Value Explainability Platform for Text-Audio Multimodal Large Language Models

mllm-shap：面向文本-音频多模态大语言模型的Shapley值可解释性平台

Jakub Muszyński, Paweł Pozorski, Maria Ganzha

机构 * Warsaw University of Technology（华沙理工大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(title)；分类 cs.AI

AI总结 提出mllm-shap框架，通过模态感知掩码、多轮对话追踪和音素对齐分组技术，将Shapley值可解释性扩展到文本-音频多模态大语言模型，并实现10-50倍的计算加速。

Comments Submitted to ACL2026