视觉大模型 / VLM

BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder

BackdoorIDS: 预训练视觉编码器的零样本后门检测

Siquan Huang, Yijiang Li, Ningzhi Gao, Xingfu Yan, Leyu Shi, Ying Gao

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 BackdoorIDS通过分析输入在逐步遮蔽过程中的嵌入序列变化，利用密度聚类检测后门攻击，实现对预训练视觉编码器的零样本后门检测，优于现有防御方法。

Comments 17 pages, 10 figures, 6 tables

Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness

基于概念引导的微调：引导ViT远离虚假相关性以提高鲁棒性

Yehonatan Elisha, Oren Barkan, Noam Koenigstein

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出一种引导模型推理至概念层面语义的微调框架，通过优化内部相关性映射对齐空间 grounded 的概念掩码，提升模型在分布偏移下的鲁棒性。

Comments CVPR 2026 ; Project page: https://yonisgit.github.io/concept-ft/

Towards Efficient Medical Reasoning with Minimal Fine-Tuning Data

面向最少微调数据的高效医疗推理

Xinlin Zhuang, Feilong Tang, Haolin Yang, Xiwei Liu, Ming Hu, Huifa Li, Haochen Xue, Junjun He, Zongyuan Ge, Yichen Li, Ying Qian, Imran Razzak

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出DIQ数据选择策略，通过平衡难度与梯度影响，提升医疗推理效率，实验证明仅用1%数据即可达到全数据表现，10%数据优于基线方法。

Comments Accepted by CVPR 2026

SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models

SoliReward: 缓解视频生成奖励模型对奖励黑客和标注噪声的敏感性

Jiesong Lian, Ruizhe Zhong, Zixiang Zhou, Xiaoyue Mi, Long Hu, Yuan Zhou, Qinglin Lu, Yixue Hao, Junchi Yan

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出SoliReward框架，通过单项目二元标注获取高质量数据，采用交叉提示配对策略构建偏好对，并引入改进的BT损失函数以缓解奖励黑客问题，提升视频生成奖励模型的鲁棒性。

Comments 16 pages, 9 figures

SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving

SToRM：面向高效端到端自动驾驶的多模态大语言模型监督令牌缩减

Seo Hyun Kim, Jin Bok Park, Do Yeon Koo, Hogun Park, Il Yong Chun

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SToRM框架，通过监督令牌缩减方法在保持性能的同时降低计算成本，实现实时端到端自动驾驶。

Comments Accepted to ICRA 2026

StreamingTOM: Streaming Token Compression for Efficient Video Understanding

StreamingTOM: 流式令牌压缩以实现高效的视频理解

Xueyi Chen, Keda Tao, Kele Shao, Huan Wang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 StreamingTOM通过双阶段框架解决流式视频视觉-语言模型中预-后LLM瓶颈，实现kv-cache压缩和低延迟，提升实时视频理解效率。

Comments Accepted at CVPR 2026. Project page: https://yige24.github.io/StreamingTOM

OraPO: Oracle-educated Reinforcement Learning for Data-efficient and Factual Radiology Report Generation

OraPO：基于 oracle 的强化学习用于数据高效且事实准确的放射科报告生成

Zhuoxiao Chen, Hongyang Yu, Ying Xu, Yadan Luo, Long Duong, Yuan-Fang Li

机构 * Oracle Health & AI（Oracle健康与人工智能） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI

AI总结 OraPO 通过 FactScore 奖励机制提升放射科报告生成效率，在受限预算下实现 SOTA 性能，使用小规模 VLM 和适度硬件，在 CheXpert Plus 数据集上取得 0.341 的 F1 分数。

Comments Accepted to CVPR 2026

UAVBench and UAVIT-1M: Benchmarking and Enhancing MLLMs for Low-Altitude UAV Vision-Language Understanding

UAVBench 和 UAVIT-1M：用于低空无人机视觉-语言理解的LLM基准测试与增强

Yang Zhan, Yuan Yuan

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出UAVBench和UAVIT-1M，用于评估和提升LLM在低空无人机视觉-语言任务中的能力，通过大规模数据集和基准测试揭示开源LLM在低空视觉内容生成上的不足，并通过微调提升性能。

Narrow Fine-Tuning Erodes Safety Alignment in Vision-Language Agents

细粒度微调会削弱视觉语言代理的安全对齐

Idhant Gulati, Shivam Raval

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 研究发现细粒度微调在有害数据集上会导致广泛的任务和模态对齐偏差，且单模态安全基准可能低估视觉语言模型的对齐退化。

Comments 25 pages, 14 figures, Published at the Lifelong Agent Workshop at ICLR 2026

Delving into Spectral Clustering with Vision-Language Representations

深入探讨基于视觉-语言表示的谱聚类

Bo Peng, Yuanwei Hu, Bo Liu, Ling Chen, Jie Lu, Zhen Fang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出基于预训练视觉语言模型的神经切线核谱聚类方法，通过跨模态对齐提升图像聚类性能，实验表明在16个基准数据集上显著优于现有方法。

Comments ICLR26

EcoAlign: An Economically Rational Framework for Efficient LVLM Alignment

EcoAlign：一种经济理性框架，用于高效LVLM对齐

Ruoxi Cheng, Haoxuan Ma, Teng Ma, Hongyi Zhang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出EcoAlign框架，通过经济理性搜索提升LVLM对齐效率，在安全、效用和成本间取得平衡，实验表明其在计算成本更低的情况下性能更优。

Retrieval-augmented Decoding for Improving Truthfulness in Open-ended Generation

基于检索的解码方法用于提升开放式生成中的真实性

Manh Nguyen, Sunil Gupta, Hung Le

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出Retrieval-Augmented Decoding方法，通过构建紧凑的参考 grounding 空间，在推理过程中利用检索到的上下文信息调整模型logits，提升生成文本的真实性。

Comments updated experiments and presentation

FlowAD: Ego-Scene Interactive Modeling for Autonomous Driving

FlowAD: 无人驾驶中的自体场景交互建模

Mingzhe Guo, Yixiang Yang, Chuanrong Han, Rufeng Zhang, Shirui Li, Ji Wan, Zhipeng Zhang

机构 * AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院AutoLab） ； Baidu Inc（百度公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出FlowAD框架，通过自体场景交互建模提升自动驾驶性能，利用场景流建模动态变化，结合新颖的FCP指标评估场景理解能力，实验表明其在碰撞率和驾驶评分上均优于现有方法。

Resource Rational Contractualism Should Guide AI Alignment

资源理性契约主义应指导AI对齐

Sydney Levine, Matija Franklin, Tan Zhi-Xuan, Secil Yanik Guyot, Lionel Wong, Daniel Kilov, Yejin Choi, Joshua B. Tenenbaum, Noah Goodman, Seth Lazar, Iason Gabriel

机构 * Harvard（哈佛大学） ； MIT（麻省理工学院） ； Google Deepmind（谷歌DeepMind） ； Australian National University（澳大利亚国立大学） ； Stanford Psychology Department（斯坦福心理学系） ； Stanford（斯坦福大学） ； Computer Science Department（计算机科学系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出资源理性契约主义框架，通过认知启发式方法提升AI决策效率与适应性，解决大规模契约达成成本高问题。

Comments 24 pages, 10 figures

Journal ref International Association for Safe and Ethical AI, 2026

When Visual Privacy Protection Meets Multimodal Large Language Models

当视觉隐私保护与多模态大语言模型相遇

Xiaofei Hui, Qian Wu, Haoxuan Qu, Majid Mirmehdi, Hossein Rahmani, Jun Liu

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文研究多模态大语言模型在提供便利性的同时如何保护视觉隐私，提出基于黑盒模型的优化框架，通过帕累托最优和关键历史增强优化实现隐私与性能的平衡。

Journal ref Int J Comput Vis (IJCV) 134, 167 (2026)

MMSpec: Benchmarking Speculative Decoding for Vision-Language Models

MMSpec：用于视觉-语言模型的推测解码基准测试

Hui Shen, Xin Wang, Ping Zhang, Yunta Hsieh, Qi Han, Zhongwei Wan, Ziheng Zhang, Jingxuan Zhang, Jing Xiong, Ziyuan Liu, Yifan Zhang, Hangrui Cao, Chenyang Zhao, Mi Zhang

机构 * University of Michigan（密歇根大学） ； The Ohio State University（俄亥俄州立大学） ； Independent（独立） ； Indiana University（印第安纳大学） ； The University of Hong Kong（香港大学） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； LMSYS Org（LMSYS组织） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出MMSpec基准，评估视觉-语言模型中的推测解码方法，发现文本模型在多模态场景下表现下降，视觉意识在大批次中更关键，且吞吐量提升不等于延迟降低，提出ViSkip方法实现最佳性能。

Measuring Weather Effects and Link Quality Dynamics in LEO Satellite Networks

测量低轨卫星网络中天气影响和链路质量动态

Clemens Lottermoser, Simon Damm, Stefan Schmid

专题命中 其他VLM ：vision-language model(abstract)

AI总结 本文通过Starlink案例研究，分析了影响链路质量的动态因素，发现大气液态水路径(LWP)是关键影响因素，尤其在降雨时导致下载吞吐量下降，同时网络升级也提升了性能。

Comments satellite networks, non-terrestrial networks, LEOs, measurements, weather