视觉大模型 / VLM

XSPA: Crafting Imperceptible X-Shaped Sparse Adversarial Perturbations for Transferable Attacks on VLMs

XSPA：构建不可察觉的X形稀疏对抗扰动以对视觉语言模型的可迁移攻击

Chengyin Hu, Jiaju Han, Xuemeng Sun, Qike Zhang, Luwei Yang, Lehan Sun, Jiahuan Long, Yiwei Wei, Jiujiang Guo

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出XSPA攻击，通过限制扰动为两条相交对角线，测试VLMs在稀疏扰动下的鲁棒性，实验表明其能显著破坏跨任务语义。

Hierarchical Pre-Training of Vision Encoders with Large Language Model

基于大语言模型的视觉编码器分层预训练

Eugene Lee, Ting-Yu Chang, Jui-Huang Tsai, Jiajie Diao, Chen-Yi Lee

机构 * University of Cincinnati（辛辛那提大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出HIVE框架，通过引入视觉编码器与大语言模型间的分层交叉注意力机制，提升视觉语言对齐，改进特征融合与表征学习，实验表明其在图像分类和多模态任务中表现优异。

Comments 17 pages, 14 figures, accepted to Computer Vision and Pattern Recognition Conference (CVPR) Workshops 2026. 5th MMFM Workshop: What is Next in Multimodal Foundation Models?

Journal ref In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7415-7424) 2026

SAGE: An Expert-Annotated South Asian GI Endoscopy Dataset for Multimodal Learning and Hallucination Analysis

SAGE：面向多模态学习与幻觉分析的专家标注南亚胃肠内镜数据集

Niyoj Oli, Sachin Acharya, Sandesh Pokhrel, Sanjay Bhandari, Ramesh Rana, Nikesh Mani Shrestha, Ram Bahadur Gurung, Yash Raj Shrestha, Prashnna K Gyawali, Binod Bhattarai

机构 * Nepal Applied Mathematics and Informatics Institute for Research（尼泊尔应用数学与信息技术研究所） ； GastroIntestinal Department, Dhulikhel Hospital（杜尔基hel医院消化内科） ； Univesity of Lausanne（洛桑大学） ； University of West Virginia（西弗吉尼亚大学） ； University of Utah（犹他大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 为解决南亚地区胃肠癌诊断数据缺乏问题，构建了包含1300张图像、标注和问答对的SAGE数据集，并评估了模型在人口偏移下的性能下降。

SVRepair: Structured Visual Reasoning for Automated Program Repair

SVRepair: 结构化视觉推理用于自动化程序修复

Jincheng Wang, Liwei Luo, Xiaoxuan Tang, Jingxuan Xu, Sheng Zhou, Dajun Chen, Wei Jiang, Yong Li

机构 * Ant Group（蚂蚁集团） ； Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems（浙江可感知智能系统重点实验室） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SVRepair 通过结构化视觉表示框架，结合多模态信息提升程序修复的准确性与效率。

D-VLC: Decentralized Vision-Language Collaboration for Heterogeneous Embodied Multi-Robot Systems in Unknown Environments

D-VLC：面向未知环境中异构具身多机器人系统的去中心化视觉-语言协作框架

Yuan Zhou, Ruitong Lin, Shen Wang, Weiqi Gai, Mo Zhu, Xin Zhou, Yuze Wu, Fei Gao

专题命中 视觉推理 ：VLM(summary_cn,abstract)

AI总结 本文提出D-VLC框架，结合去中心化异步推理等技术，让通用VLM生成机器人特定动作，多场景实验显示其任务成功率超70%，完成时间较几何贪心基线最多缩短55.8%。

NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding

NarrativeTrack: 评估实体中心推理在叙事理解中的表现

Hyeonjeong Ha, Jinjin Ge, Bo Feng, Kaixin Ma, Gargi Chakraborty

机构 * Apple（苹果公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 NarrativeTrack通过细粒度实体中心推理评估多模态大语言模型的叙事理解能力，揭示了感知接地与时间推理之间的根本权衡。

Comments Project Page: https://github.com/apple/ml-NarrativeTrack

SoM-1K: A Thousand-Problem Benchmark Dataset for Strength of Materials

SoM-1K：用于材料力学能力的千题基准数据集

Qixin Wan, Zilong Wang, Jingwen Zhou, Wanting Wang, Ziheng Geng, Jiachen Liu, Ran Cao, Lu Cheng

机构 * College of Civil Engineering, Hunan University（湖南大学土木工程学院） ； Department of Civil & Architectural Engineering, University of Miami（迈阿密大学土木与建筑工程系） ； Department of Electrical and Computer Engineering, University of Miami（迈阿密大学电气与计算机工程系） ； School of Architecture, University of Miami（迈阿密大学建筑学院） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） 纠错

专题命中 视觉推理 ：vision language model(abstract,abstract_cn)

AI总结 该研究推出含1065道题的SoM-1K多模态基准，评估8种基础模型的材料力学能力，提出DoI提示策略，发现当前模型表现差，LLMs配DoI优于VLMs配图像，为工程AI提供基准并强调多模态推理需求。

Pro$^2$Assist: Continuous Step-aware Proactive Assistance with Multi-modal Egocentric Perception for Long-horizon Procedural Tasks

Pro²Assist：面向长程流程任务的、基于多模态自我中心感知的步骤感知主动式辅助系统

Lilin Xu, Bufang Yang, Siyang Jiang, Kaiwei Liu, Kaiyuan Hou, Yuang Fan, Hongkai Chen, Zhenyu Yan, Xiaofan Jiang

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本研究提出Pro²Assist，一种基于多模态自我中心感知的步骤感知主动式辅助系统，通过AR眼镜感知与持续推理提升长程流程任务辅助效果，在动作理解与主动时机准确率上优于基线，获多数用户认可。

Comments To appear in IMWUT'26

CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts

CoLT: 教会多模态模型通过潜在思维链进行思考

Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； NKIARI ； AAIS & VCIP, Nankai University（南开大学AAIS & VCIP） ； Tianjin University（天津大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV

AI总结 提出CoLT框架，用潜在思维链代替文本推理，通过前向和后向解码器监督及内部监督实现高效多模态推理，在8个基准上优于现有方法，推理时间减少10.1倍。

Comments Accepted by ECCV2026. Code is available at https://github.com/hulianyuyy/CoLT

C-MIG: Multi-view Information Gain-based Retrieval-Augmented Generation for Clinical Diagnosis Reasoning

C-MIG：基于多视角信息增益的检索增强生成用于临床诊断推理

Yuwei Miao, Gen Li, Yunsheng Zeng, Xiandong Li, Yujin Wang, Siyu Chen, Luning Wang, Yunhao Qiao, Junfeng Wang, Jianwei Lv, Bo Yuan

机构 * Baidu Inc（百度公司） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 提出C-MIG框架，通过多视角信息增益和多重子查询检索增强策略，解决检索增强生成中奖励信号丢失和异构推理监督问题，在临床诊断任务上取得最优性能。

TS-Reasoner: Aligning Time Series Foundation Models with LLM Reasoning

TS-Reasoner：将时间序列基础模型与大语言模型推理能力对齐

Fangxu Yu, Hongyu Zhao, Tianyi Zhou

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI

AI总结 TS-Reasoner通过两阶段训练将时间序列基础模型与大语言模型对齐，在多个基准上性能优于同类模型且数据效率更高，解决了时间序列模型推理能力不足的问题。

Comments Accepted to Transactions on Machine Learning Research, 2026

One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting

一个补丁就够：面向基于多模态大语言模型（MLLM）的场景文本定位的强化优化视觉标记接地

Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

机构 * South China University of Technology（华南理工大学） ； HiThink Research（海思思考研究院） 纠错

专题命中 视觉定位与Grounding ：MLLM(title,title_cn)；grounding(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对现有多补丁场景文本定位范式的冗余噪声与定位歧义问题，提出以视觉为中心的单补丁文本定位框架 SPaTS，通过强化学习优化的单补丁选择等技术实现性能提升，显著优于前沿相关模型。

Comments 15 pages, 11 figures. Accepted to ACM Multimedia 2026

Journal ref Proceedings of the 34th ACM International Conference on Multimedia (MM '26), 2026

Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images

图像推理中的测试时感知扩展：解决图像推理中的 grounding 困境

Zheng Jiang, Yiming Chen, Nan He, Jiahui Chen, Chaoyang Li, Houde Qian, Lifeng Sun

机构 * Tsinghua University（清华大学） ； Beijing University of Technology（北京工业大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出 TTSP 框架，通过测试时扩展感知解决图像推理中的 grounding 困境，通过生成多个感知轨迹并过滤不可靠轨迹来提升细粒度视觉推理能力。

Seeing the Unseen: Towards Training-Free Inspection for Wind Turbine Blades Using Knowledge-Augmented Vision Language Models

看见不可见：基于知识增强视觉语言模型的无训练风机叶片检测方法

Yang Zhang, Qianyu Zhou, Farhad Imani, Jiong Tang

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract)；vision language model(title)；vision-language model(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究提出结合RAG与VLM的零样本风机叶片检测框架，构建多模态知识库，在小样本测试中表现优于基线，为工业检测提供数据高效方案。

HorusEye: Language as Dynamic Attention for Emergency Visual Analysis

HorusEye：语言作为动态注意力用于应急视觉分析

Armel Yara

机构 * Armel Yara 纠错

专题命中 视觉定位与Grounding ：VLM(summary_cn,abstract_cn)；LLaVA(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 提出HorusEye框架，通过语言反馈动态引导视觉分析，在应急场景下评估多种VLM，发现语言反馈效果依赖模型，并揭示热成像中的裁剪悖论。

Comments 18 pages, 10 figures, 7 tables

OVEarth-Bench: Evaluating Category Breadth and Query Diversity for Open-Vocabulary Earth Observation

OVEarth-Bench：面向开放词汇地球观测的类别广度与查询多样性评估

Kaiyu Li, Zepeng Xin, Zixuan Jiang, Jing Fu, Lanxuan Xue, Lingyu Zhang, Xiangyong Cao

专题命中 视觉定位与Grounding ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出OVEarth-Bench基准，从类别广度与查询多样性两方面扩展开放词汇地球观测评估，经实验发现MLLM类方法性能最优，为该领域未来研究提供指导。

DeceptionX: From Multimodal Evidence to Explainable Deception Detection

DeceptionX: 基于多模态大语言模型的可解释欺骗检测

Jiayu Zhang, Shuo Ye, Jiajian Huang, Yawen Cui, Taorui Wang, Wei Xia, Zeheng Wang, Haowen Tang, Yelin Wang, Hui Ma, Zitong Yu

机构 * Great Bay University（大湾区大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DeceptionX框架，将欺骗检测从黑箱分类转变为可解释的观察-思考-总结推理过程，通过构建DeceptChain数据集和三阶段训练管道，在标准基准上超越现有方法，同时提供专家级可解释推理路径。

Mastering PokeGym: Graph-Guided Multimodal Evolution at Test Time

PokeGym: 一种以视觉驱动的长周期基准用于视觉-语言模型

Ruizhi Zhang, Ye Huang, Yuangang Pan, Chuanfu Shen, Zhilin Liu, Ting Xie, Haijun Lei, Lixin Duan

机构 * SIAS, UESTC（电子科技大学深圳高等研究院） ； CFAR/IHPC A*STAR（新加坡科技研究局高性能计算研究所） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract_cn)；grounding(abstract_cn)；分类 cs.CV、cs.AI

AI总结 PokeGym通过复杂的3D开放世界游戏评估视觉-语言模型在长周期任务中的表现，揭示了物理死锁恢复是当前模型的主要瓶颈，并发现高级模型存在元认知分歧。

Comments Tech report

Hand-Object Interaction in the Age of Large Foundation Models:Reconstruction, Generation, and Embodied Transfer

大基础模型时代的手物交互：重建、生成与具身迁移

Weiquan Lin, Yu Deng, Shiyang Liu, Luping Xiao, Xu Tang, Junzhi Yu, Jiaolong Yang, Lei Zhang, Xingyu Chen

专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 本综述系统梳理大基础模型在手物交互（HOI）领域的应用，建立基础模型子先验分类，分析其在HOI任务与机器人学习中的作用，总结数据集与评估协议并展望未来方向。

ABRA: Teleporting Fine-Tuned Knowledge Across Domains for Open-Vocabulary Object Detection

ABRA：跨领域细调知识的传送用于开放词汇物体检测

Mattia Bernardi, Chiara Cappellino, Matteo Mosconi, Enver Sangineto, Angelo Porrello, Simone Calderara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 ABRA通过在预训练检测器的权重空间中将类别特定检测知识从标注源域传输到目标域，解决领域偏移下的开放词汇物体检测问题，实验表明其在多种恶劣条件下有效。

Comments Paper under consideration for acceptance at Pattern Recognition Letters

AdaDINO: Context-Adaptive DINO-Distilled Vision Foundation Models for Efficient Open-Vocabulary Edge Inference

AdaVFM：通过LLM引导执行实现边缘智能的自适应视觉基础模型

Yiwei Zhao, Yi Zheng, Huapeng Su, Jieyu Lin, Stefano Ambrogio, Cijo Jose, Michael Ramamonjisoa, Patrick Labatut, Barbara De Salvo, Chiao Liu, Phillip B. Gibbons, Ziyun Li

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出AdaVFM，一种通过LLM引导执行实现边缘设备上语言对齐视觉基础模型高效推理的自适应框架，通过动态调整计算实现性能与效率的平衡。

Panning for Gold: Expanding Domain-Specific Knowledge Graphs with General Knowledge

寻找黄金：利用通用知识图谱扩展领域特定知识图谱

Runhao Zhao, Weixin Zeng, Wentao Zhang, Chong Chen, Zhengpin Li, Xiang Zhao, Lei Chen

机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室） ； National University of Defense Technology（国防科技大学） ； The Center for machine learning research（机器学习研究中心） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文提出领域特定知识图谱融合任务，通过神经符号框架ExeFuse，利用通用知识图谱提升领域知识图谱的完整性和实用性。

Comments 13 pages, 5 figures

RAG Strategies for Natural Language-Based SQL Query and REST API Call Generation

评估用于基于自然语言的SQL和API调用生成的检索增强生成变体

Tim Schlippe, Simon Martin, Michael Marketsmüller

机构 * IU International University of Applied Sciences（国际应用科学大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文评估了三种RAG变体在生成SQL和API调用任务中的性能，发现CoRAG在混合文档环境下表现最佳，检索策略设计对自然语言接口至关重要。

Comments preprint of conference submission

Beyond Noise: A Hypothesis Testing Approach to Robust Feature Selection

特征胜过噪声：通过基于噪声的假设检验的特征选择技术

Mousam Sinha, Tirtha Sarathi Ghosh, Koushik Biswas, Ridam Pal

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 本文提出了一种基于噪声假设检验的特征选择方法，通过非参数自助法建立理论基础，有效提升特征选择的可靠性与性能。

Chart Specification: Structural Representations for Incentivizing VLM Reasoning in Chart-to-Code Generation

图表规范：用于促进VLM在图表到代码生成中推理的结构表示

Minggui He, Mingchen Dai, Jian Zhang, Yilun Liu, Shimin Tao, Pufan Zeng, Osamu Yoshie, Yuya Ieiri

机构 * Waseda University（早稻田大学） ； University of Science and Technology of China（中国科学技术大学） ； NanKai University（南开大学） 纠错

专题命中 文档图表理解 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出图表规范，通过结构化中间表示提升VLM在图表到代码生成中的结构保真度，实验显示其在数据效率和性能上优于现有方法。

Comments Accepted by Neurocomputing

GenED-SC: Generative Editing Semantic Communication with Integrated Multi-Modal LLMs

GenED-SC：集成多模态大模型的生成式编辑语义通信

Shuoyao Wang, Suzhi Bi, Mingze Gong, Zhanpeng Wang, Li Ping Qian, Qiang Ye

专题命中 文档图表理解 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)

AI总结 提出一种两阶段语义图像传输框架，结合JSCC判别传输与MLLM生成编辑，在低信噪比下提升语义保真度和感知质量。

ICU-Bench:Benchmarking Continual Unlearning in Multimodal Large Language Models

ICU-Bench: 多模态大语言模型持续反学习基准测试

Yuhang Wang, Wenjie Mei, Junkai Zhang, Guangyu He, Zhenxing Niu, Haichang Gao

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 文档图表理解 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出ICU-Bench，用于评估多模态大语言模型在持续隐私删除中的性能，包含1000个敏感资料和9500张图像，引入新指标分析遗忘效果与稳定性，揭示现有方法在持续场景下的局限。

Comments 21 pages, 11 figures, and 9 tables

GenerativeMPC: VLM-RAG-guided Whole-Body MPC with Virtual Impedance for Bimanual Mobile Manipulation

GenerativeMPC：基于VLM-RAG的全身体姿MPC与虚拟阻抗的双臂移动 manipulation

Marcelino Julio Fernando, Miguel Altamirano Cabrera, Jeffrin Sam, Yara Mahmoud, Konstantin Gubernatorov, Dzmitry Tsetserukou

机构 * Intelligent Space Robotics Laboratory（智能空间机器人实验室） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；grounding(abstract)

AI总结 本文提出GenerativeMPC框架，通过VLM-RAG将语义理解与物理控制参数结合，实现双臂移动 manipulation的高效安全控制，实验表明在近人区域速度降低60%并实现安全社交导航。

Comments 6 pages, 7 figures

From Representational Complementarity to Dual Systems: Synergizing VLM and Vision-Only Backbones for End-to-End Driving

从表征互补性到双系统：协同VLM和纯视觉骨干网络用于端到端驾驶

Sining Ang, Yuguang Yang, Chenxu Dang, Canyu Chen, Cheng Chi, Haiyan Liu, Xuanyao Mao, Jason Bao, Xuliang, Bingchuan Sun, Yan Wang

机构 * Department of Automation, University of Science and Technology of China（中国科学技术大学自动化系） ； School of Electronic Information Engineering, Beihang University（北京航空航天大学电子信息工程学院） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； National Superior College for Engineers, Beihang University（北京航空航天大学国家级工程师学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Lenovo Group Limited（联想集团有限公司） ； Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文通过协同VLM和纯视觉骨干网络，提出HybridDriveVLA和DualDriveVLA，提升端到端驾驶的PDMS性能。

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

DataClaw0: 从原始流中智能定制多模态数据

Cong Wan, Zeyu Guo, Zijian Cai, Jiangyang Li, SongLin Dong, Lin Peng, Xiangyang Luo, Zhiheng Ma, Yihong Gong

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。

Comments add base model: Qwen3.5-27B