视觉大模型 / VLM

Improving Large Vision-Language Models' Understanding for Flow Field Data

提升大型视觉-语言模型对流场数据的理解能力

Xiaomei Zhang, Hanyu Zheng, Xiangyu Zhu, Jinghuan Wei, Junhong Zou, Zhen Lei, Zhaoxiang Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 FieldLVLM通过场感知语言生成策略和数据压缩多模态模型调优，提升大型视觉-语言模型对流场数据的理解能力。

Comments Accepted by Machine Intelligence Research

The Computational Basis of Confidence in Large Language Models

大语言模型中置信度的计算基础

Dharshan Kumaran, Viorica Patraucean, Maks Ovsjanikov, Petar Veličković, Nathaniel Daw

机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。

Anomalous Frame Detection Using VLM-Based Description Comparison for Extracting Expert-Specific Actions and Contextual Decision-Making Scenes with Intra-Video Self-Similarity

基于VLM描述比较的异常帧检测，用于提取特定专家操作和具有视频内自相似性的上下文决策场景

Ryo Sakai, Kaname Yokoyama

专题命中 视觉定位与Grounding ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文针对关键基础设施维护中专家知识传承问题，提出基于VLM描述比较检测异常帧的方法，可提取特定专家操作及上下文决策场景，在模拟实验中该方法的提取率高于传统方法，有效发现含专家知识的候选场景。

Comments 17 pages, 11 figures, 2 tables

RAD: A Dataset and Benchmark for Real-Life Anomaly Detection with Robotic Observations

RAD：面向机器人观测的真实异常检测数据集与基准

Kaichen Zhou, Xinhai Chang, Taewhan Kim, Jiadong Zhang, Yang Cao, Chufei Peng, Fangneng Zhan, Hao Zhao, Hao Dong, Kai Ming Ting, Ye Zhu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Great Bay University（大湾大学） ； Harvard University（哈佛大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Deakin University（德克萨斯大学） 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出RAD数据集，包含13类日常物体和4种缺陷，从60多个机器人视角在非受控光照下采集，用于评估2D特征、3D重建和视觉语言模型在姿态无关的异常检测中的表现，发现2D方法优于3D和VLM方法。

DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines

DataFlow-Harness：用于构建可编辑大语言模型数据管道的基础代码代理平台

Runming He, Zhen Hao Wong, Hao Liang, Zimo Meng, Chengyu Shen, Xiaochen Ma, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究针对大语言模型数据处理工作流中编码代理脚本无法自动转化为可编辑工件的问题，提出DataFlow-Harness平台，通过类型化增量突变引导构建DAG，结合多种技术，在数据工程基准测试中取得高通过率，降低成本和延迟。

Comments 13 pages, 2 figures, and 5 tables. Technical report

LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models

基于LLM的视觉解释评估框架：用于评估面部皮肤病分类模型的可解释性

Gyuyeon Na

机构 * AI and Business Analytics, Ewha Womans University（人工智能与商业分析，成均馆大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 提出基于LLM的视觉解释评估框架，通过渐进式提示工程评估Grad-CAM在面部皮肤病诊断模型中的解释质量，聚焦病变定位和可信度。

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization

关于动量SGD在非平稳随机优化中的可证明次优性的研究

Sharan Sahu, Cameron J. Hogan, Martin T. Wells

机构 * Cornell University（康奈尔大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 本文研究了在强凸性和光滑性条件下，随机梯度下降及其动量变体（Polyak重球和Nesterov）在跟踪时间变化最优解时的性能，揭示了动量方法在分布偏移下导致的显式漂移放大惩罚，并证明了这种惩罚并非分析伪影，而是信息论障碍，为动量方法在动态环境中的经验不稳定性提供了理论依据。

Comments Accepted to ICML 2026. 76 pages, 5 figures, 4 tables

RecGPT-V3 Technical Report

RecGPT-V3技术报告

Bowen Zheng, Chao Yi, Dian Chen, Gaoyang Guo, Han Zhu, Jiakai Tang, Jian Wu, Mao Zhang, Wen Chen, Yifan Lu, Yujie Luo, Yuning Jiang, Zhujin Gao, Bo Zheng, Chenchi Zhang, Dixuan Wang, Hao Fang, Jiancai Liu, Jing Yu, Junjun Zheng, Ke Chen, Kewei Zhu, Mengyan Li, Mingke Xu, Wenjun Yang, Xiangheng Kong, Xinming Zhang, Xunke Xi, Zile Zhou

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对大规模运行RecGPT的挑战，提出RecGPT-V3这一有状态混合模态推荐系统。通过内存中心、混合模态基础模型和潜在意图推理等方法，在淘宝“猜你喜欢”推荐中取得多指标提升及资源消耗降低的成果。

Comments Technique Report

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

VTM-Nav：用于跨情节对象目标导航的分层视觉拓扑记忆

Xiaoran Xu, Yupeng Wu, Tianyu Xue, Yifan Xu, Xuanran Dong, Xiaoshan Yang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究跨情节对象目标导航问题，提出无训练的VLM导航框架\method，其带有分层视觉拓扑记忆，通过粗到细匹配检索经验，在三个基准测试中性能最佳，证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。

Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models

高质量文本，稳健视觉：语言在增强视觉语言模型视觉稳健性中的作用

Futa Waseda, Saku Sugawara, Isao Echizen

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（日本信息处理研究所） ； The University of Tokyo, National Institute of Informatics（东京大学、日本信息处理研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型对抗攻击问题，提出质量文本引导的对抗微调方法QT-AFT，利用高质量字幕提升视觉编码器对抗鲁棒性，在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率，并揭示了语言增强视觉鲁棒性的关键见解。

Comments ACMMM 2025 Accepted. Codes are available at: https://github.com/futakw/QTAFT

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

超越多样性：将视觉令牌剪枝视为子空间重建以实现高效视觉语言模型

Jaeyeon Lee, Shunjie Wen, Dong-Wan Choi

机构 * Inha University（延世大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出SPARE方法，将令牌剪枝重构为子空间重建问题，通过迭代选择投影残差大的令牌进行剪枝，并引入反相关性机制保留上下文信息，在LLaVA上剪枝94%令牌仍保持95%性能。

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

智能体真实到模拟：使用视觉语言智能体进行基于物理的世界建模

Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Siyuan Luo, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

机构 * University of British Columbia（英属哥伦比亚大学） ； Johns Hopkins University（约翰·霍普金斯大学） ； National University of Singapore（新加坡国立大学） ； Columbia University（哥伦比亚大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Style3D（无合适对应中文名） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对机器人与物体交互的真实到模拟转换难题，提出智能体真实到模拟框架，利用视觉语言智能体进行广义物理世界建模，能转换真实记录为可模拟孪生体，在多场景评估效果良好，成本低，可用于下游机器人任务。

Comments Authorship change