视觉大模型 / VLM

Unsupervised Multimodal Intent Discovery via MLLM-Guided Concept Generation and Semantic Propagation

通过MLLM引导的概念生成和语义传播进行无监督多模态意图发现

Yunjin Gu, Qianrui Zhou, Hua Xu

专题命中 视觉推理 ：MLLM(title,title_cn)

AI总结 该研究针对无监督多模态意图发现缺乏语义监督及可解释性差的问题，提出MCSP方法，通过MLLM引导的对比推理获取语义概念，再经语义传播生成伪标签，实验证明其性能优于现有方法且能产生可解释的簇。

Comments Accepted at ACM Multimedia 2026 (MM '26)

Be Consistent! Enhancing Robust Visual Reasoning in LVLMs with Consistency Constraints

保持一致！利用一致性约束增强大视觉语言模型中的鲁棒视觉推理

Liqiang Jing, Xiong Zhou, Siddharth Varia, Neha Anna John, Xinya Du, Vassilis N. Ioannidis

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Amazon Web Services（亚马逊网络服务公司） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对LVLMs在视觉推理任务中较脆弱的问题，引入ConVBench基准及逻辑一致性等评估指标，提出ConVLM，通过基于GRPO的强化学习及一致性奖励改进LVLM推理，利用自动生成的问答对和双重奖励设计提升模型表现。

Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents

用于空中多模态大语言模型智能体的零样本任务级评估

Suman Navaratnarajah, Taehyoung Kim, Jona Ruthardt, Ishaan Bhimwal, Ryousuke Yamada, Yannik Blei, Wolfram Burgard, Yuki M Asano

专题命中 视觉推理 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究空中MLLMs在零样本下解决长期具身任务的能力，引入MissionBench基准，含120个任务。对比22个模型与人类表现，发现模型成功率低，虽规模扩大有收益，但任务级能力需协调多种能力，凸显具身AI改进的前景与风险。

Comments Preprint

SiPhy: Single-Image Physical Property Reasoning

SiPhy：单图像物理属性推理

Hoang Le, Joonwoo Kwon, Elkhan Ismayilzada, Yufei Zhang, Zijun Cui

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究从单图像推断物理属性，核心方法是引入SiPhy框架，将视觉线索与材料知识对齐，通过采样、提取特征等操作及对比聚合器、重量感知细化来实现。在多个数据集上取得领先性能，还验证了其在真实交互数据集上作为数据标注引擎的潜力。

Comments Accepted to ECCV 2026 (main track)

Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

用于多模态思维链推理的视觉显著性引导蒸馏

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态思维链推理在小模型中存在的问题，提出视觉显著性引导蒸馏方法，利用多模态大语言模型注意力图生成扰动图像，经奇异值分解提取引导向量指导层间蒸馏，实验证明该方法能改进推理生成和答案推理。

Securing Multimodal AI through Internal Information Decomposition

通过内部信息分解保护多模态人工智能

Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型的攻击问题，提出FlowGuard框架，通过监测内部多模态一致性检测有害输入，受部分信息分解启发得出FlowVectors量化相关指标，有效降低攻击成功率且减少效用损失和延迟，为多模态推理提供有效防御。

Comments Accepted as Spotlight Paper at ICML 2026

FrED: External Data Influence Estimation via Domain Knowledge Graph Grounding

FrED：通过领域知识图谱基础进行外部数据影响估计

Theodoros Aivalis, Iraklis A. Klampanos, Antonis Troumpoukis, Joemon M. Jose

机构 * National Centre for Scientific Research “Demokritos”（国家科学研究中心“德谟克利特”） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.AI、cs.LG

AI总结 针对生成式AI训练数据归因问题，提出在黑盒设置下运行的概率框架，融合连续特征相似度与领域特定知识图谱，在艺术图像合成和天气预报等领域评估，证明其有效性，为外部数据影响分析提供高效可解释机制。

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

EVL-MCoT：用于有害模因检测的增强视觉语言多思维链

Hao Yang, Jin Wang, Xuejie Zhang

机构 * School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对有害模因检测，提出增强视觉语言多CoT（EVL-MCoT）方法，通过促进多CoT及设计解码框架，解决现有方法局限，在相关数据集上获良好结果，且公开了源代码。

The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents

回归税：剖析技能对大语言模型智能体产生帮助和伤害的原因

Darshan Tank, Baran Nama

机构 * Sentient Labs（森蒂恩实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究剖析大语言模型智能体中技能产生帮助和伤害的原因，通过对比实验区分回归和残余失败两种结果，识别出回归的三个原因，发现现有技能过度强调程序指导，指出应分解技能净效应评估，还识别出应避免的回归模式及可靠性的关键因素。

Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments

用于户外环境的基于几何目标定位的离线视觉语言导航

Ali Salmasi, Xianjia Yu, Tomi Westerlund

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对户外环境下的离线视觉语言导航，通过对17个可边缘部署的SLM与4个在线API进行基准测试，提出轻量级混合语义几何目标定位框架并集成到Edge-BehAV中，提升了性能，降低目标距离误差，实现无网络连接下的有效导航。

When Language Models Meet NeuroGraphs: Exploring Enhanced Agentic LLM Framework Towards Brain Network Analysis

当语言模型遇上神经图谱：探索用于脑网络分析的增强型智能语言模型框架

Jiaxing Li, Rui Dong, Muyao Tang, Youyong Kong

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对脑网络分析中现有方法解释性有限等问题，提出BrainAgent智能语言模型框架，将连接组分类设为迭代过程，经特定工具转换、知识检索等步骤生成结构化预测，实验证明其优于基线，为脑网络分析提供实用路径。

Embodying Multi-Hand Manipulation Policies by Searching the Assignment and Null Spaces

通过搜索分配空间和零空间来体现多手操作策略

Yorai Shaoul, Jiaoyang Li, Maxim Likhachev

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究多臂机器人执行操作策略的问题，基于冲突搜索构建框架，通过搜索轨迹分配空间和零空间，统一处理分配与零空间运动，有效解决多手操作策略执行难题，实现多臂机器人协调操作。

Comments Published in SoCS 2026

On Improving Faithfulness of Podcasts from Documents

论提高基于文档的播客忠实度

Soumya Dutta, Tejas Indulal Dhamecha, Pannaga Shivaswamy

机构 * Indian Institute of Science（印度科学研究所） ； Adobe Research（Adobe研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究基于文档的播客生成中的忠实度问题，构建数据集并用多个大语言模型生成记录，引入轮次级评判框架。发现先进模型也常生成无根据内容，提出catch - n - repair框架，实验证明该框架能提升播客生成的忠实度。

Comments Under Submission

From Grasping to Speaking: Generative AI-Based Environment-Grounded VR Communication Training for Autistic Individuals

从抓握到说话：基于生成式人工智能的自闭症个体环境基础VR沟通训练

Ziming Li, Roshan L. Peiris

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究探索基于生成式人工智能的VR沟通训练对自闭症个体的作用，通过9名受训者和7名教练参与的三种模式实验发现，C+O+G模式更受青睐，可用性和工作量相当，有助于沟通实践融入任务执行，还讨论了相关设计考量。

Comments 14 pages, ASSETS2026

Journal ref The 28th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS 2026)

SCALE: Self-Supervised Constraint-Aware Layout GEneration for Local P&R DRV Fixing at Advanced Nodes

SCALE：用于先进节点局部布局与布线设计规则违规修复的自监督约束感知布局生成

Chia-Tung Ho, Haoyu Yang, Guanglei Zhou, Yoshi Nishi, Yaguang Li, Walker Turner, Cunxi Yu, Yiran Chen, Brucek Khailany

机构 * NVIDIA（英伟达） ； Duke University（杜克大学） 纠错

专题命中 文档图表理解 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 针对先进节点局部P&R DRV修复难题，提出SCALE框架，通过自监督布局生成、利用自然语言规则约束和高温采样等方法，生成DRC注释布局违规对微调DRC-VLM，有效提升了最先进代理的修复解决率。

Comments 8 pages, 5 Figures, 6 Tables

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

视觉语言模型是读取还是重写？论视觉语言模型中的转录忠实性

Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

专题命中 文档图表理解 ：vision-language model(title)；vision language model(abstract)；分类 cs.AI

AI总结 研究视觉语言模型在文档理解中是否忠实转录。引入FaithC4基准，评估通用、OCR专用VLMs及传统OCR管道。发现通用VLMs受扰WER降4.5分，OCR专用降0.2 - 2分，传统OCR降不到0.6分。还揭示重写与FFN表示及单词长度的关系。

Comments 15 pages, 6 figures

LayoutLite: Token-Level Implicit Layout Analysis for Efficient Document OCR

LayoutLite：用于高效文档OCR的令牌级隐式布局分析

Xudong Liu, Bicheng Wan, Yulin Jin

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究基于视觉语言模型的端到端OCR系统效率问题，提出LayoutLite模块，通过令牌级隐式布局分析，聚合视觉表示并预测重要性分数，去除低信息令牌，实验证明其能有效加速OCR系统，提升效率且保证识别质量。

Comments 11 pages, 7 figures

Low-Altitude Channel Multipath Prediction via Panoramic Perception and Vision-Language Model

通过全景感知和视觉语言模型进行低空信道多径预测

Zihang Zeng, Shu Sun, Meixia Tao, Zhiyong Chen, Jianhua Mo, Xiangwen Gu

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对无人机通信中传统信道预测方法的局限，提出基于全景感知和视觉语言模型的PanoLAMP框架，利用预训练模型及全景观测捕捉特征预测多径参数，实验显示其在多径参数、统计指标及泛化性上表现出色。

SceneActBench: Can Agents Act on the 3D Scenes They See?

SceneActBench：智能体能否对其所看到的3D场景采取行动？

Yifei Zhao, Xiangxin Zhou, Wenhao Yang, Jiaqi Tang, Pu Jian, Huanjin Yao, Jiarui Yao, Haowei Lin, Chunchao Guo, Zhuo Chen, Wenkai Lyu, Jianzhu Ma, Xueqian Wang, Wenxi Zhu

机构 * Tencent Hunyuan（腾讯混元） ； THU（清华大学） ； NJU（南京大学） ； HKUST（香港科技大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； PKU（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型智能体在3D场景行动能力，提出SceneActBench基准测试，涵盖五个3D任务，通过特定指标评估智能体输出，分析不同配置得分及失败情况，为评估智能体在多对象3D场景行动提供依据。

Ordered Action Tokens for Visuomotor Policy Learning

用于视觉运动策略学习的有序动作令牌

Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对动作令牌化存在的问题，提出有序动作令牌化（OAT）方法，利用带特定机制的变换器将动作块离散化，满足高压缩率等三个需求，在多种策略和任务中验证，能提升策略性能并增强推理灵活性。

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

小视觉语言模型知道自己何时出错但无法表达：在现实图像退化下对陈述置信度与内部置信度的双模型研究

M M Asif Ferdous

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 研究小型视觉语言模型在现实图像退化下陈述置信度与内部置信度的差异，通过评估两个模型在六种退化情况及三种严重程度下的表现，发现内部概率是更好的延迟信号，严重低光时两种信号都不可信。

Comments 15 pages, 4 figures

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

RadSight：迈向感知可靠的多模态放射学图像理解

Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对医学多模态大语言模型视觉解释可靠性低的问题，引入Perception-Bench基准分析问题。提出基于双2D/3D编码器架构的RadSight模型，经渐进课程学习训练，在多维度评估中优于现有模型，凸显低级视觉感知对可靠临床理解的关键作用。

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

TextSLIP：用于医学报告生成的文本自监督CLIP

Haoyu Jiang, Ziping Cong

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。

Comments 9 pages

Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

像素换程序？关于将源代码作为文本和图像的输入令牌计费的跨供应商案例研究

Ronak Bhalgami

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究将源代码作为文本和图像时商业API如何计费，通过可重复案例研究，涵盖五种编程语言、多种源长度及多个模型别名，得出不同模型的图像与文本比率及收支平衡行为差异，还发布了重现研究所需的资料。

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯大语言模型部） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量，发现语言和多模态目标扩展行为不同，推导效率前沿，还表明原生多模态预训练能促进跨模态转移，为扩展多模态基础模型奠定基础。