视觉大模型 / VLM

Improving Large Vision-Language Models' Understanding for Flow Field Data

提升大型视觉-语言模型对流场数据的理解能力

Xiaomei Zhang, Hanyu Zheng, Xiangyu Zhu, Jinghuan Wei, Junhong Zou, Zhen Lei, Zhaoxiang Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 FieldLVLM通过场感知语言生成策略和数据压缩多模态模型调优，提升大型视觉-语言模型对流场数据的理解能力。

Comments Accepted by Machine Intelligence Research

Unsupervised Multimodal Intent Discovery via MLLM-Guided Concept Generation and Semantic Propagation

通过MLLM引导的概念生成和语义传播进行无监督多模态意图发现

Yunjin Gu, Qianrui Zhou, Hua Xu

专题命中 视觉推理 ：MLLM(title,title_cn)

AI总结 该研究针对无监督多模态意图发现缺乏语义监督及可解释性差的问题，提出MCSP方法，通过MLLM引导的对比推理获取语义概念，再经语义传播生成伪标签，实验证明其性能优于现有方法且能产生可解释的簇。

Comments Accepted at ACM Multimedia 2026 (MM '26)

Be Consistent! Enhancing Robust Visual Reasoning in LVLMs with Consistency Constraints

保持一致！利用一致性约束增强大视觉语言模型中的鲁棒视觉推理

Liqiang Jing, Xiong Zhou, Siddharth Varia, Neha Anna John, Xinya Du, Vassilis N. Ioannidis

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Amazon Web Services（亚马逊网络服务公司） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对LVLMs在视觉推理任务中较脆弱的问题，引入ConVBench基准及逻辑一致性等评估指标，提出ConVLM，通过基于GRPO的强化学习及一致性奖励改进LVLM推理，利用自动生成的问答对和双重奖励设计提升模型表现。

Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents

用于空中多模态大语言模型智能体的零样本任务级评估

Suman Navaratnarajah, Taehyoung Kim, Jona Ruthardt, Ishaan Bhimwal, Ryousuke Yamada, Yannik Blei, Wolfram Burgard, Yuki M Asano

专题命中 视觉推理 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究空中MLLMs在零样本下解决长期具身任务的能力，引入MissionBench基准，含120个任务。对比22个模型与人类表现，发现模型成功率低，虽规模扩大有收益，但任务级能力需协调多种能力，凸显具身AI改进的前景与风险。

Comments Preprint

SiPhy: Single-Image Physical Property Reasoning

SiPhy：单图像物理属性推理

Hoang Le, Joonwoo Kwon, Elkhan Ismayilzada, Yufei Zhang, Zijun Cui

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究从单图像推断物理属性，核心方法是引入SiPhy框架，将视觉线索与材料知识对齐，通过采样、提取特征等操作及对比聚合器、重量感知细化来实现。在多个数据集上取得领先性能，还验证了其在真实交互数据集上作为数据标注引擎的潜力。

Comments Accepted to ECCV 2026 (main track)

Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

用于多模态思维链推理的视觉显著性引导蒸馏

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态思维链推理在小模型中存在的问题，提出视觉显著性引导蒸馏方法，利用多模态大语言模型注意力图生成扰动图像，经奇异值分解提取引导向量指导层间蒸馏，实验证明该方法能改进推理生成和答案推理。

The Computational Basis of Confidence in Large Language Models

大语言模型中置信度的计算基础

Dharshan Kumaran, Viorica Patraucean, Maks Ovsjanikov, Petar Veličković, Nathaniel Daw

机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。

Securing Multimodal AI through Internal Information Decomposition

通过内部信息分解保护多模态人工智能

Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型的攻击问题，提出FlowGuard框架，通过监测内部多模态一致性检测有害输入，受部分信息分解启发得出FlowVectors量化相关指标，有效降低攻击成功率且减少效用损失和延迟，为多模态推理提供有效防御。

Comments Accepted as Spotlight Paper at ICML 2026

Anomalous Frame Detection Using VLM-Based Description Comparison for Extracting Expert-Specific Actions and Contextual Decision-Making Scenes with Intra-Video Self-Similarity

基于VLM描述比较的异常帧检测，用于提取特定专家操作和具有视频内自相似性的上下文决策场景

Ryo Sakai, Kaname Yokoyama

专题命中 视觉定位与Grounding ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文针对关键基础设施维护中专家知识传承问题，提出基于VLM描述比较检测异常帧的方法，可提取特定专家操作及上下文决策场景，在模拟实验中该方法的提取率高于传统方法，有效发现含专家知识的候选场景。

Comments 17 pages, 11 figures, 2 tables

RAD: A Dataset and Benchmark for Real-Life Anomaly Detection with Robotic Observations

RAD：面向机器人观测的真实异常检测数据集与基准

Kaichen Zhou, Xinhai Chang, Taewhan Kim, Jiadong Zhang, Yang Cao, Chufei Peng, Fangneng Zhan, Hao Zhao, Hao Dong, Kai Ming Ting, Ye Zhu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Great Bay University（大湾大学） ； Harvard University（哈佛大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Deakin University（德克萨斯大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出RAD数据集，包含13类日常物体和4种缺陷，从60多个机器人视角在非受控光照下采集，用于评估2D特征、3D重建和视觉语言模型在姿态无关的异常检测中的表现，发现2D方法优于3D和VLM方法。

FrED: External Data Influence Estimation via Domain Knowledge Graph Grounding

FrED：通过领域知识图谱基础进行外部数据影响估计

Theodoros Aivalis, Iraklis A. Klampanos, Antonis Troumpoukis, Joemon M. Jose

机构 * National Centre for Scientific Research “Demokritos”（国家科学研究中心“德谟克利特”） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.AI、cs.LG

AI总结 针对生成式AI训练数据归因问题，提出在黑盒设置下运行的概率框架，融合连续特征相似度与领域特定知识图谱，在艺术图像合成和天气预报等领域评估，证明其有效性，为外部数据影响分析提供高效可解释机制。

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

EVL-MCoT：用于有害模因检测的增强视觉语言多思维链

Hao Yang, Jin Wang, Xuejie Zhang

机构 * School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对有害模因检测，提出增强视觉语言多CoT（EVL-MCoT）方法，通过促进多CoT及设计解码框架，解决现有方法局限，在相关数据集上获良好结果，且公开了源代码。

The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents

回归税：剖析技能对大语言模型智能体产生帮助和伤害的原因

Darshan Tank, Baran Nama

机构 * Sentient Labs（森蒂恩实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究剖析大语言模型智能体中技能产生帮助和伤害的原因，通过对比实验区分回归和残余失败两种结果，识别出回归的三个原因，发现现有技能过度强调程序指导，指出应分解技能净效应评估，还识别出应避免的回归模式及可靠性的关键因素。

DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines

DataFlow-Harness：用于构建可编辑大语言模型数据管道的基础代码代理平台

Runming He, Zhen Hao Wong, Hao Liang, Zimo Meng, Chengyu Shen, Xiaochen Ma, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究针对大语言模型数据处理工作流中编码代理脚本无法自动转化为可编辑工件的问题，提出DataFlow-Harness平台，通过类型化增量突变引导构建DAG，结合多种技术，在数据工程基准测试中取得高通过率，降低成本和延迟。

Comments 13 pages, 2 figures, and 5 tables. Technical report

LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models

基于LLM的视觉解释评估框架：用于评估面部皮肤病分类模型的可解释性

Gyuyeon Na

机构 * AI and Business Analytics, Ewha Womans University（人工智能与商业分析，成均馆大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 提出基于LLM的视觉解释评估框架，通过渐进式提示工程评估Grad-CAM在面部皮肤病诊断模型中的解释质量，聚焦病变定位和可信度。

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization

关于动量SGD在非平稳随机优化中的可证明次优性的研究

Sharan Sahu, Cameron J. Hogan, Martin T. Wells

机构 * Cornell University（康奈尔大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 本文研究了在强凸性和光滑性条件下，随机梯度下降及其动量变体（Polyak重球和Nesterov）在跟踪时间变化最优解时的性能，揭示了动量方法在分布偏移下导致的显式漂移放大惩罚，并证明了这种惩罚并非分析伪影，而是信息论障碍，为动量方法在动态环境中的经验不稳定性提供了理论依据。

Comments Accepted to ICML 2026. 76 pages, 5 figures, 4 tables

Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments

用于户外环境的基于几何目标定位的离线视觉语言导航

Ali Salmasi, Xianjia Yu, Tomi Westerlund

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对户外环境下的离线视觉语言导航，通过对17个可边缘部署的SLM与4个在线API进行基准测试，提出轻量级混合语义几何目标定位框架并集成到Edge-BehAV中，提升了性能，降低目标距离误差，实现无网络连接下的有效导航。

When Language Models Meet NeuroGraphs: Exploring Enhanced Agentic LLM Framework Towards Brain Network Analysis

当语言模型遇上神经图谱：探索用于脑网络分析的增强型智能语言模型框架

Jiaxing Li, Rui Dong, Muyao Tang, Youyong Kong

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对脑网络分析中现有方法解释性有限等问题，提出BrainAgent智能语言模型框架，将连接组分类设为迭代过程，经特定工具转换、知识检索等步骤生成结构化预测，实验证明其优于基线，为脑网络分析提供实用路径。

Embodying Multi-Hand Manipulation Policies by Searching the Assignment and Null Spaces

通过搜索分配空间和零空间来体现多手操作策略

Yorai Shaoul, Jiaoyang Li, Maxim Likhachev

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究多臂机器人执行操作策略的问题，基于冲突搜索构建框架，通过搜索轨迹分配空间和零空间，统一处理分配与零空间运动，有效解决多手操作策略执行难题，实现多臂机器人协调操作。

Comments Published in SoCS 2026

On Improving Faithfulness of Podcasts from Documents

论提高基于文档的播客忠实度

Soumya Dutta, Tejas Indulal Dhamecha, Pannaga Shivaswamy

机构 * Indian Institute of Science（印度科学研究所） ； Adobe Research（Adobe研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究基于文档的播客生成中的忠实度问题，构建数据集并用多个大语言模型生成记录，引入轮次级评判框架。发现先进模型也常生成无根据内容，提出catch - n - repair框架，实验证明该框架能提升播客生成的忠实度。

Comments Under Submission

From Grasping to Speaking: Generative AI-Based Environment-Grounded VR Communication Training for Autistic Individuals

从抓握到说话：基于生成式人工智能的自闭症个体环境基础VR沟通训练

Ziming Li, Roshan L. Peiris

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究探索基于生成式人工智能的VR沟通训练对自闭症个体的作用，通过9名受训者和7名教练参与的三种模式实验发现，C+O+G模式更受青睐，可用性和工作量相当，有助于沟通实践融入任务执行，还讨论了相关设计考量。

Comments 14 pages, ASSETS2026

Journal ref The 28th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS 2026)

RecGPT-V3 Technical Report

RecGPT-V3技术报告

Bowen Zheng, Chao Yi, Dian Chen, Gaoyang Guo, Han Zhu, Jiakai Tang, Jian Wu, Mao Zhang, Wen Chen, Yifan Lu, Yujie Luo, Yuning Jiang, Zhujin Gao, Bo Zheng, Chenchi Zhang, Dixuan Wang, Hao Fang, Jiancai Liu, Jing Yu, Junjun Zheng, Ke Chen, Kewei Zhu, Mengyan Li, Mingke Xu, Wenjun Yang, Xiangheng Kong, Xinming Zhang, Xunke Xi, Zile Zhou

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对大规模运行RecGPT的挑战，提出RecGPT-V3这一有状态混合模态推荐系统。通过内存中心、混合模态基础模型和潜在意图推理等方法，在淘宝“猜你喜欢”推荐中取得多指标提升及资源消耗降低的成果。

Comments Technique Report

SCALE: Self-Supervised Constraint-Aware Layout GEneration for Local P&R DRV Fixing at Advanced Nodes

SCALE：用于先进节点局部布局与布线设计规则违规修复的自监督约束感知布局生成

Chia-Tung Ho, Haoyu Yang, Guanglei Zhou, Yoshi Nishi, Yaguang Li, Walker Turner, Cunxi Yu, Yiran Chen, Brucek Khailany

机构 * NVIDIA（英伟达） ； Duke University（杜克大学） 纠错

专题命中 文档图表理解 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 针对先进节点局部P&R DRV修复难题，提出SCALE框架，通过自监督布局生成、利用自然语言规则约束和高温采样等方法，生成DRC注释布局违规对微调DRC-VLM，有效提升了最先进代理的修复解决率。

Comments 8 pages, 5 Figures, 6 Tables

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

视觉语言模型是读取还是重写？论视觉语言模型中的转录忠实性

Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

专题命中 文档图表理解 ：vision-language model(title)；vision language model(abstract)；分类 cs.AI

AI总结 研究视觉语言模型在文档理解中是否忠实转录。引入FaithC4基准，评估通用、OCR专用VLMs及传统OCR管道。发现通用VLMs受扰WER降4.5分，OCR专用降0.2 - 2分，传统OCR降不到0.6分。还揭示重写与FFN表示及单词长度的关系。

Comments 15 pages, 6 figures

LayoutLite: Token-Level Implicit Layout Analysis for Efficient Document OCR

LayoutLite：用于高效文档OCR的令牌级隐式布局分析

Xudong Liu, Bicheng Wan, Yulin Jin

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究基于视觉语言模型的端到端OCR系统效率问题，提出LayoutLite模块，通过令牌级隐式布局分析，聚合视觉表示并预测重要性分数，去除低信息令牌，实验证明其能有效加速OCR系统，提升效率且保证识别质量。

Comments 11 pages, 7 figures

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

VTM-Nav：用于跨情节对象目标导航的分层视觉拓扑记忆

Xiaoran Xu, Yupeng Wu, Tianyu Xue, Yifan Xu, Xuanran Dong, Xiaoshan Yang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究跨情节对象目标导航问题，提出无训练的VLM导航框架\method，其带有分层视觉拓扑记忆，通过粗到细匹配检索经验，在三个基准测试中性能最佳，证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。

Low-Altitude Channel Multipath Prediction via Panoramic Perception and Vision-Language Model

通过全景感知和视觉语言模型进行低空信道多径预测

Zihang Zeng, Shu Sun, Meixia Tao, Zhiyong Chen, Jianhua Mo, Xiangwen Gu

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对无人机通信中传统信道预测方法的局限，提出基于全景感知和视觉语言模型的PanoLAMP框架，利用预训练模型及全景观测捕捉特征预测多径参数，实验显示其在多径参数、统计指标及泛化性上表现出色。

SceneActBench: Can Agents Act on the 3D Scenes They See?

SceneActBench：智能体能否对其所看到的3D场景采取行动？

Yifei Zhao, Xiangxin Zhou, Wenhao Yang, Jiaqi Tang, Pu Jian, Huanjin Yao, Jiarui Yao, Haowei Lin, Chunchao Guo, Zhuo Chen, Wenkai Lyu, Jianzhu Ma, Xueqian Wang, Wenxi Zhu

机构 * Tencent Hunyuan（腾讯混元） ； THU（清华大学） ； NJU（南京大学） ； HKUST（香港科技大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； PKU（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型智能体在3D场景行动能力，提出SceneActBench基准测试，涵盖五个3D任务，通过特定指标评估智能体输出，分析不同配置得分及失败情况，为评估智能体在多对象3D场景行动提供依据。

Ordered Action Tokens for Visuomotor Policy Learning

用于视觉运动策略学习的有序动作令牌

Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对动作令牌化存在的问题，提出有序动作令牌化（OAT）方法，利用带特定机制的变换器将动作块离散化，满足高压缩率等三个需求，在多种策略和任务中验证，能提升策略性能并增强推理灵活性。

VLM as Strategist: Adaptive Generation of Safety-critical Testing Scenarios via Guided Diffusion

VLM作为策略家：通过引导扩散实现安全关键测试场景的自适应生成

Xinzheng Wu, Junyi Chen, Naiting Zhong, Yong Shen

机构 * School of Automotive Studies, Tongji University（同济大学汽车研究学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.LG

AI总结 本文提出一种结合VLM和引导扩散模型的框架，用于高效生成安全关键测试场景，提升自动驾驶系统的测试效率和安全性。

Comments 25 pages, 9 figures

Journal ref Accident Analysis & Prevention Volume 236, October 2026, 108680