视觉大模型 / VLM

Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition

超越启发式提示：一种基于概念的贝叶斯框架用于零样本图像识别

Hui Liu, Kecheng Chen, Jialiang Wang, Xianming Liu, Wenya Wang, Haoliang Li

机构 * City University of Hong Kong（香港城市大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种基于概念的贝叶斯框架，通过整合类特定概念提升零样本图像识别性能，采用多阶段概念合成和自适应软修剪似然，实现更鲁棒和高效的分类效果。

Comments 19 pages, Accepted by CVPR 2026

MedQ-Deg: A Multidimensional Benchmark for Evaluating MLLMs Across Medical Image Quality Degradations

MedQ-Deg：一个多维基准，用于评估医疗图像质量退化下的多模态大语言模型

Jiyao Liu, Junzhi Ning, Chenglong Ma, Wanying Qu, Jianghan Shen, Siqi Luo, Jinjie Wei, Jin Ye, Pengze Li, Tianbin Li, Jiashi Lin, Hongming Shan, Xinzhe Luo, Xiaohong Liu, Lihao Liu, Junjun He, Ningsheng Xu

机构 * Fudan University（复旦大学） ； Shanghai AI Lab（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 MedQ-Deg是一个多维基准，用于评估医疗图像质量退化下多模态大语言模型的性能，揭示模型在不同退化类型下的表现差异及置信度校准问题。

Comments 29 pages, 11 figures

Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness

位置：LLMs必须使用基于函子和RAG驱动的偏见缓解以实现公平性

Ravi Ranjan, Utkarsh Grover, Agorista Polyzou

机构 * Knight Foundation School of Computing and Information Sciences（骑士基金会计算与信息科学学院） ； Florida International University（佛罗里达国际大学） ； College of Engineering（工程学院） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出通过范畴论转换和RAG结合的方法，解决LLMs中的偏见问题，以实现公平性。

Comments 24 pages, 3 figures

Journal ref Review available from NeurIPS 2025 reviwers

ADAS-TO: A Large-Scale Multimodal Naturalistic Dataset and Empirical Characterization of Human Takeovers during ADAS Engagement

ADAS-TO：大规模多模态自然数据集及ADAS参与期间人类接管的实证分析

Yuhang Wang, Yiyao Xu, Jingran Sun, Hao Zhou

机构 * Department of Civil and Environmental Engineering, University of South Florida（土木与环境工程系，佛罗里达州立大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.CV

AI总结 ADAS-TO数据集通过多模态分析揭示了ADAS参与期间人类接管的运动特征及视觉预警潜力。

Reallocating Attention Across Layers to Reduce Multimodal Hallucination

跨层分配注意力以减少多模态幻觉

Haolang Lu, Bolun Chu, WeiYe Fu, Guoshun Nan, Junning Liu, Minghui Pan, Qiankun Li, Yi Yu, Hua Wang, Kun Wang

机构 * Beijing University of Posts and Telecommunications, China（北京邮电大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； Guangxi Transportation Science and Technology Group, China（广西交通科学和技术集团） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 通过跨层分配注意力减少多模态幻觉，提升推理一致性和视觉忠实性。

Comments Acceptted by CVPR2026

Seed2Scale: A Self-Evolving Data Engine for Embodied AI via Small to Large Model Synergy and Multimodal Evaluation

Seed2Scale: 一种通过小到大模型协同和多模态评估的自我进化数据引擎用于具身AI

Cong Tai, Zhaoyu Zheng, Haixu Long, Hansheng Wu, Zhengbin Long, Haodong Xiang, Rong Shi, Zhuo Cui, Shizhuang Zhang, Gang Qiu, He Wang, Ruifeng Li, Biao Liu, Zhenzhe Sun, Tao Shen

机构 * ZTE Corporation（中兴通讯公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)

AI总结 Seed2Scale通过小到大模型协同和多模态评估，实现具身AI的自我进化数据引擎，显著提升性能并提供可扩展的开发路径

HSC-VLA: Hierarchical Scene-Clearing for Robust Bimanual Manipulation in Dense Clutter

HSC-VLA：分层场景清除用于密集杂乱环境中的鲁棒双臂操作

Zhen Liu, Xinyu Ning, Zhe Hu, XinXin Xie, Yitong Liu, Zhongzhu Pu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 HSC-VLA 通过分层场景清除方法提升密集杂乱环境中的双臂操作鲁棒性，实现 86.7% 的高成功率。

Who is Responsible? The Data, Models, Users or Regulations? A Comprehensive Survey on Responsible Generative AI for a Sustainable Future

谁该负责？数据、模型、用户还是法规？为可持续未来全面调查负责任的生成式人工智能

Shaina Raza, Rizwan Qureshi, Anam Zahid, Amgad Muneer, Anas Zafar, Safiullah Kamawal, Ferhat Sadak, Joseph Fioresi, Muhammaed Saeed, Ranjan Sapkota, Aditya Jain, Muneeb Ul Hassan, Aizan Zafar, Hasan Maqbool, Ashmal Vayani, Jia Wu, Maged Shoman

专题命中 幻觉与鲁棒性 ：vision language model(abstract)

AI总结 本文全面调查了生成式人工智能的负责任发展，提出评估标准、生命周期指标及领域分析，旨在推动安全和可持续的AI部署。

Comments under review

Taiwan Safety Benchmark and Breeze Guard: Toward Trustworthy AI for Taiwanese Mandarin

台湾安全基准与Breeze Guard：迈向可信的台湾台语AI

Po-Chun Hsu, Meng-Hsi Chen, Tsu Ling Chao, Chia Tien Han, Da-shan Shiu

机构 * MediaTek Research（联发科研究实验室） ； National Taiwan University（国立台湾大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 本文提出TS-Bench基准和Breeze Guard模型，通过文化基础预训练提升台湾台语安全检测性能，显著优于现有模型。

Comments 17 pages

PolyJailbreak: Cross-Modal Jailbreaking Attacks on Black-Box Multimodal LLMs

PolyJailbreak: 对黑盒多模态大语言模型的跨模态劫持攻击

Xinkai Wang, Beibei Li, Zerui Shao, Ao Liu, Guangquan Xu, Shouling Ji

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)

AI总结 PolyJailbreak通过多模态安全性不对称现象，提出结构化原子策略原语库，实现对黑盒多模态大语言模型的高效劫持攻击。

Multimodal Large Language Models as Image Classifiers

多模态大语言模型作为图像分类器

Nikita Kisel, Illia Volkov, Klara Janouskova, Jiri Matas

机构 * Visual Recognition Group, Czech Technical University in Prague（捷克技术大学普拉茨视觉识别组） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；vision-language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本研究通过修正评估协议和真实标签问题，发现多模态大语言模型在图像分类中的表现受注释质量影响显著，且能辅助人类注释者提升数据集整理效率。

From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

从像素到谓词：通过预训练视觉-语言模型学习符号世界模型

Ashay Athalye, Nishanth Kumar, Tom Silver, Yichao Liang, Jiuguang Wang, Tomás Lozano-Pérez, Leslie Pack Kaelbling

机构 * MIT（麻省理工学院） ； Princeton University（普林斯顿大学） ； University of Cambridge（剑桥大学） ； RAI Institute（RAI研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 通过预训练视觉-语言模型学习符号世界模型，以实现复杂机器人领域中长周期决策制定的零样本泛化。

Comments A version of this paper appears in the official proceedings of RA-L, Volume 11, Issue 4

MetaWorld-X: Hierarchical World Modeling via VLM-Orchestrated Experts for Humanoid Loco-Manipulation

MetaWorld-X: 通过VLM协调的专家实现人形机器人的分层世界建模

Yutong Shen, Hangxu Liu, Penghui Liu, Jiashuo Luo, Yongkang Zhang, Rex Morvley, Chen Jiang, Jianwei Zhang, Lei Zhang

机构 * University of Hamburg（汉堡大学） ； School of Information Science and Technology, Beijing University of Technology（信息科学与技术学院，北京理工大学） ； School of Information Science and Engineering, Fudan University（信息科学与工程学院，复旦大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 MetaWorld-X通过VLM协调的专家实现人形机器人分层世界建模，解决loco-manipulation任务中的控制策略泛化问题。

Comments 8 figures, https://syt2004.github.io/metaworldX/

DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles

DeAR: 通过分解注意力头角色实现细粒度VLM适应

Yiming Ma, Hongkun Yang, Lionel Z. Wang, Bin Chen, Weizhi Xian, Jianzhi Teng

机构 * Chongqing Research Institute of Harbin Institute of Technology（哈尔滨工业大学重庆研究所） ； Ocean University of China（中国海洋大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 DeAR通过分解注意力头角色实现细粒度VLM适应，有效平衡任务适应与泛化能力。

Comments Accepted by CVPR 2026

Can Vision-Language Models Solve the Shell Game?

视觉-语言模型能解决贝壳游戏吗？

Tiedong Liu, Wee Sun Lee

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出SGCoT方法，通过生成对象轨迹解决VLMs在视觉跟踪中的根本限制，实现超过90%的准确率。

SAIL: Test-Time Scaling for In-Context Imitation Learning with VLM

SAIL：基于VLM的上下文模仿学习的测试时扩展

Makoto Sato, Yusuke Iwasawa, Yujin Tang, So Kuroki

机构 * The University of Tokyo（东京大学） ； Sakana AI 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision language model(abstract)；分类 cs.AI

AI总结 SAIL通过测试时扩展提升上下文模仿学习的鲁棒性和通用性，利用蒙特卡洛树搜索和视觉语言模型实现轨迹优化。

Comments 8 pages, 3 figures

Med-Evo: Test-time Self-evolution for Medical Multimodal Large Language Models

Med-Evo: 医疗多模态大语言模型的测试时自演化

Dunyuan Xu, Xikai Yang, Juzheng Miao, Yaoqian Li, Jinpeng Li, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong, China（计算机科学与工程系，香港中文大学，香港，中国） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong, Hong Kong, China（医学智能与XR研究所，香港中文大学，香港，中国） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 Med-Evo通过无标签强化学习和伪标签技术提升医疗多模态大语言模型性能，实验表明在医疗VQA任务中显著优于现有方法。

SPEX: A Vision-Language Model for Land Cover Extraction on Spectral Remote Sensing Images

SPEX：一种用于光谱遥感图像土地覆盖提取的视觉-语言模型

Dongchen Si, Di Wang, Erzhong Gao, Xiaolei Qin, Liu Zhao, Jing Zhang, Minqiang Xu, Jianbo Zhan, Jianshe Wang, Lin Liu, Bo Du, Liangpei Zhang

机构 * College of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； iFlytek Co., Ltd.（iFlytek公司） ； National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Zhongguancun Academy（中关村学院） ； National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心） ； Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（湖北省多媒体与网络通信工程重点实验室，武汉大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（测绘遥感信息工程国家重点实验室，武汉大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 SPEX是一种专为光谱遥感图像土地覆盖提取设计的多模态视觉-语言模型，通过多尺度特征聚合和多光谱视觉预训练等技术，实现了精确的像素级解释和可解释的预测生成。

Comments Accepted to IEEE TGRS

VisualScratchpad: Inference-time Visual Concepts Analysis in Vision Language Models

VisualScratchpad: 视觉语言模型推理时的视觉概念分析

Hyesu Lim, Jinho Choi, Taekyung Kim, Byeongho Heo, Jaegul Choo, Dongyoon Han

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； NAVER AI Lab（NAVER人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.AI

AI总结 VisualScratchpad通过交互式界面分析视觉语言模型推理过程中的视觉概念，揭示三种未被充分探索的失败模式，帮助理解模型内部机制并改进调试。

Comments Accetped at ICLR 2026 Turstworthy AI Workshop

More Than 1v1: Human-AI Alignment in Early Developmental Communities with Multimodal LLMs

多于一对一：在早期发展社区中的人工智能对齐与多模态大语言模型

Weiyan Shi, Kenny Tsu Wei Choo

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文探讨了在早期发展社区中，利用多模态大语言模型实现人机对齐的挑战，提出分层社区对齐框架，强调社区治理而非个体优化。

Comments Accepted at CHI 2026 BiAlign Workshop; OpenReview URL: https://openreview.net/forum?id=ikeH0hsBLN

AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models

AutoTraces：通过多模态大语言模型实现自回归轨迹预测

Teng Wang, Yanting Lu, Ruize Wang

机构 * Southeast University（东南大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)；分类 cs.CV

AI总结 AutoTraces通过多模态大语言模型实现自回归轨迹预测，采用创新的轨迹标记方案和自动链式推理机制，提升长周期预测精度与跨场景泛化能力。

When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs

当令牌修剪不如随机：理解VLLMs中的视觉令牌信息

Yahong Wang, Juncheng Wu, Zhangkai Ni, Longzhen Yang, Yihang Liu, Chengmei Yang, Ying Wen, Lianghua He, Xianfeng Tang, Hui Liu, Yuyin Zhou

机构 * Tongji University（同济大学） ； University of California, Santa Cruz（加州大学圣克ruz分校） ； Amazon（亚马逊） ； East China Normal University（华东师范大学） ； Shanghai Eye Disease Prevention and Treatment Center（上海眼病预防与治疗中心） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文研究了VLLMs中视觉令牌信息随网络深度变化的现象，发现信息消失地平线导致深度层随机修剪更有效，且与模型容量相关。

Comments Accepted to CVPR 2026

iLLaVA: An Image is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models

iLLaVA: 图像的价值少于三分之一的输入标记在大型多模态模型中

Lianyu Hu, Liqing Gao, Fanhua Shang, Liang Wan, Wei Feng

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； School of Computer Science and Technology, Tiangong University（天津工大学计算机科学与技术学院） ； Key Research Center for Surface Monitoring and Analysis of Relics, State Administration of Cultural Heritage（文物表面监测与分析关键研究中心，国家文物局） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；InternVL(abstract)；分类 cs.CV

AI总结 iLLaVA通过联合优化图像编码器和LLM，减少冗余标记并提升吞吐量，实现更高效的多模态模型性能。

Comments Accepted by ICLR2026,code is released at https://github.com/hulianyuyy/iLLaVA

The Model Knows Which Tokens Matter: Automatic Token Selection via Noise Gating

模型知道哪些token重要：通过噪声门实现的自动token选择

Landi He, Xiaoyu Yang, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 AutoSelect通过噪声门实现自动token选择，提升视觉语言模型的推理效率与准确性。

Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment

通过偏好对齐学习长上下文的推理

Junming Liu, Yuqi Li, Shiping Wen, Zhigang Zeng, Tingwen Huang

机构 * Tongji University（同济大学） ； The City University of New York（纽约城市大学） ； University of Technology Sydney（悉尼大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 Hit-RAG通过多阶段偏好对齐框架解决长上下文推理中的注意力稀释和幻觉问题，提升模型在长上下文场景下的推理能力。

Comments 21 pages, 2 figures, 6 tables

VISTA: Vision-Language Inference for Training-Free Stock Time-Series Analysis

VISTA：面向无训练股票时间序列分析的视觉-语言推理

Tina Khezresmaeilzadeh, Parsa Razmara, Seyedarmin Azizi, Mohammad Erfan Sadeghi, Erfan Baghaei Potraghloo

机构 * University of Southern California（南加州大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 VISTA通过结合文本和视觉信息，利用无训练的视觉-语言模型实现股票时间序列预测，实验结果显示其在预测精度上显著优于传统方法。

Comments Accepted to the CVPR 2025 Workshop on Transformers for Vision (T4V): accepted-papers" target="_blank" rel="noopener">https://sites.google.com/view/t4v-cvpr25/accepted-papers

CDE: Concept-Driven Exploration for Reinforcement Learning

CDE：基于概念的强化学习探索

Le Mao, Andrew H. Liu, Renos Zabounidis, Yanan Niu, Zachary Kingston, Joseph Campbell

机构 * Department of Electrical and Computer Engineering, Purdue University（电子工程系，普渡大学） ； Department of Computer Science, Purdue University（计算机科学系，普渡大学） ； Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学） ； Department of Management of Technology, EPFL（技术管理系，瑞士联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 CDE通过利用预训练视觉-语言模型生成任务相关的视觉概念，提升强化学习中视觉任务的探索效率和鲁棒性。

Comments Preprint

ActivePose: Active 6D Object Pose Estimation and Tracking for Robotic Manipulation

ActivePose: 用于机器人操作的主动6D物体姿态估计与跟踪

Sheng Liu, Zhe Li, Weiheng Wang, Han Sun, Heng Zhang, Hongpeng Chen, Yusen Qin, Arash Ajoudani, Yizhao Wang

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Istituto Italiano di Tecnologia（意大利理工学院） ； The Hong Kong Polytechnic University（香港理工大学） ； D-Robotics（D-机器人） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 ActivePose通过结合视觉-语言模型与机器人想象力，实现主动6D物体姿态估计与跟踪，提升机器人操作的可靠性。

Comments 6D Pose, Diffusion Policy, Robot Learning

The Neural Compass: Probabilistic Relative Feature Fields for Robotic Search

神经罗盘：基于概率相对特征场的机器人搜索

Gabriele Somaschini, Adrian Röfer, Abhinav Valada

机构 * Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.LG

AI总结 本文提出ProReFF模型，通过概率相对特征场实现机器人搜索任务中的高效物体定位，实验表明其在模拟环境中比基线方法更高效，接近人类水平性能。

Comments 9 pages, 7 figures, 2 tables, submitted to IROS 2026

A Cortically Inspired Architecture for Modular Perceptual AI

一种模块化感知人工智能的皮层启发架构

Prerna Luthra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出了一种受皮层启发的模块化感知人工智能架构，通过分解感知为专门模块，提升可解释性和推理透明度。

Comments Accepted to the ICLR 2026 Workshop on "From Human Cognition to AI Reasoning: Models, Methods, and Applications (HCAIR)"