视觉大模型 / VLM

One Modality to Forget Them All: Enhancing Cross-Modal Unlearning in Vision-Language Models

一种模态遗忘一切：增强视觉语言模型中的跨模态遗忘

Sudharshan Balaji, Yili Ren, Guangjing Wang, Yimin Chen, Ning Wang

机构 * University of South Florida（南佛罗里达大学） ； University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 研究视觉语言模型中跨模态遗忘转移问题，通过对三种架构研究发现其不对称不完整。提出CrossInf策略，聚焦关键transformer块遗忘，减少转移差距，提升鲁棒性，经人工评估验证，还用CKA分析浅层遗忘。

Comments 18 pages

3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

3D FaceShell：作为视觉语言模型防御机制的3D人脸头像属性转移

Weston Bondurant, Srijan Das, Hieu Le, Stephanie Schuckers

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 VLM训练与架构 ：VLM(title,summary_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对VLM可从3D人脸渲染图像提取敏感属性的隐私挑战，提出3D FaceShell框架，通过可学习高斯壳产生扰动，在保持面部外观的同时引导VLM语义解释，实验证明其能有效提高属性注入和不匹配率。

Comments ECCV 2026

Spectral Heat Flow for Conservative Token Condensation in Vision-Language Models

视觉语言模型中用于保守令牌压缩的谱热流

Zhaoyang Li, Yanjun Li, Wangkai Li, Yujia Chen, Tianzhu Zhang

机构 * School of Information Science/National Key Laboratory of Deep Space Exploration University of Science and Technology of China（中国科学技术大学信息科学学院/深空探测国家实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对视觉语言模型推理成本高及现有令牌剪枝方法的问题，提出无需训练的SpecFlow框架，通过谱热流等操作实现保守压缩，在多方面优于现有方法，平衡了效率与准确性。

Comments Accepted by ICML 2026

Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models

所有个体层都有帮助吗？视觉-语言模型中任务干扰层的实证研究

Zhiming Liu, Yujie Wei, Lei Feng, Xiu Su, Xiaobo Xia, Weili Guan, Zeke Xie, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Harbin Institute of Technology（哈尔滨工业大学） ； Southeast University（东南大学） ； Central South University（中南大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology, Guangzhou（香港科学与技术大学（广州）） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title)；分类 cs.AI

AI总结 研究通过层干预发现部分层阻碍下游任务，提出任务自适应层剔除方法提升性能，揭示预训练VLM的意外模块化特性。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026, pp. 9597-9607

The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric

视觉相似性的多种意义：一种文本提示的图像感知度量

Sheng-Yu Wang, Yotam Nitzan, Aaron Hertzmann, Jun-Yan Zhu, Eli Shechtman, Alexei A. Efros, Richard Zhang

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 研究人类视觉相似性判断的上下文依赖问题，通过引入大规模数据集微调VLM，产生能捕捉多种视觉相似性意义的TPIPS度量，该度量与人类感知更契合，还在多种任务中开启新功能。

Comments Project Webpage: https://peterwang512.github.io/TPIPS

AutoNeural: Co-Designing Vision-Language Models for NPU Inference

AutoNeural：为 NPU 推理协同设计视觉语言模型

Wei Chen, Liangmin Wu, Yunhai Hu, Zhiyuan Li, Zhiyuan Cheng, Yicheng Qian, Lingyue Zhu, Zhipeng Hu, Luoyi Liang, Qiang Tang, Zhen Liu, Han Yang

机构 * Nexa AI ； Geely Auto 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)

AI总结 研究针对 NPU 推理的视觉语言模型硬件与模型不匹配问题，提出 AutoNeural 架构，用深度可分离卷积骨干替换 ViT 编码器，结合状态空间模型与 Transformer 层，提升效率，降低量化误差与延迟，验证了在实际应用中的实时性能。

Parameter-Efficient Adaptation of a Multi-Stream Vision-Language Framework for Blind Image Quality Assessment

面向盲图像质量评估的统计与视觉-语言特征的失真感知融合

Bishr Omer Adam, Xu Li

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出一种失真感知融合框架，通过乘法门控机制动态加权NSS统计特征与VLM嵌入，在三个基准上取得最优或竞争性能，并揭示NSS对不同失真的贡献差异。

FOCAL: Filtered On-device Continuous Activity Logging for Efficient Personal Desktop Summarization

FOCAL：过滤的本地连续活动日志用于高效的个人桌面摘要

Haoran Yin, Zhiyuan Wen, Jiannong Cao, Bo Yuan, Ruosong Yang

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual reasoning(abstract)

AI总结 FOCAL通过多代理系统实现高效的本地桌面流摘要，减少资源消耗并提升任务召回率。

Searching for Task-Specific Vision Paths: Evolutionary Block Pruning Across Vision-Language Models

寻找特定任务的视觉路径：跨视觉语言模型的进化块剪枝

Tarun Tomar

机构 * IIIT（国际信息技术研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究视觉语言模型中能否跳过固定预算视觉块组合，引入源平衡进化搜索并与其他方法比较，实验表明组合搜索可改进路由构建，但能力标签不能定义普遍可转移视觉路径，搜索能跨架构转移，能力专业化稳定性欠佳。

Comments 14 pages, 8 figures. Code and aggregate evidence: https://github.com/TarunTomar122/vision-pathways

OmniVLM: A Token-Compressed, Sub-Billion-Parameter Vision-Language Model for Efficient On-Device Inference

OmniVLM：一种用于高效设备端推理的令牌压缩、参数少于十亿的视觉语言模型

Wei Chen, Zhiyuan Li, Shuo Xin

机构 * Nexa AI 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究提出OmniVLM视觉语言模型，通过令牌压缩机制减少计算开销，经多阶段训练匹配更大模型性能。在多基准测试中优于现有基线，在笔记本电脑上实证显示速度提升，能在边缘设备高效部署，模型权重可在huggingface获取。

BUSTR: Descriptor-Aware Vision-Language Learning for Breast Ultrasound Report Generation

BUSTR：用于乳腺超声报告生成的描述符感知视觉语言学习

Rawa Mohammed, Mina Attin, Laxmi Gewali, Bryar Shareef

机构 * University of Nevada, Las Vegas（内华达大学拉斯维加斯分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对公共BUS数据集缺乏配对报告限制模型发展的问题，提出BUSTR框架，利用结构化病变信息，通过构建描述符派生报告、训练多头编码器及双重目标指导训练，提升了乳腺超声报告生成的相似性和描述符恢复能力。

Comments 17 pages, 2 figures, 8 tables

Patch Policy: Efficient Embodied Control via Dense Visual Representations

补丁策略：通过密集视觉表示实现高效具身控制

Gaoyue Zhou, Zichen Jeff Cui, Ada Langford, Bowen Tan, Yann LeCun, Lerrel Pinto

机构 * Courant Institute, New York University（纽约大学柯朗数学科学研究所） ； Meta-FAIR（Meta FAIR） ； AMI Labs（AMI 实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 研究利用预训练密集视觉特征，提出补丁策略，通过块因果注意力掩码等实现高效具身控制。该策略轻量级、快速且高效，在模拟和真实环境中相比其他策略有显著提升，为机器人社区利用视觉表示学习提供新途径。

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP：用于高效LVLM推理的预LLM文本驱动视觉令牌剪枝

Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） ； School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型推理开销大的问题，提出CRISP框架，通过文本驱动在预LLM阶段剪枝视觉令牌，分两阶段工作，实验表明其在激进剪枝率下能保持高性能，降低推理成本和延迟，是高效LVLM推理的实用方案。

Comments Accepted by the 2026 IEEE International Conference on Multimedia and Expo (ICME 2026) as Oral

DSBench: A Comprehensive Benchmark for Evaluating External and In-Cabin Risks

DSBench：用于评估外部和车内风险的综合基准测试

Xianhui Meng, Yuchen Zhang, Zhijian Huang, Zheng Lu, Ziling Ji, Yandan Lin, Yaoyao Yin, Hongyuan Zhang, Wei Zhou, Guangfeng Jiang, Li Zhang, Long Chen, Hangjun Ye, Jun Liu, Xiaoshuai Hao

机构 * University of Science and Technology of China（中国科学技术大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Xiaomi EV（小米电动车） ； Fudan University（复旦大学） ； Xidian University（西安电子科技大学） ； South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对视觉语言模型在安全关键场景适用性未充分探索的问题，引入DSBench综合基准测试，涵盖外部与车内风险，分多类别。评估发现模型在复杂情况下降，构建数据集微调可提升性能，推动自动驾驶技术发展，相关资源将公开。

LFM: Leveraging Foundation Models for Source-Free Universal Domain Adaptation

LFM：利用基础模型进行无源通用域适应

Jing Li, Pan Liu, Meng Zhao, Wanli Xue, Yanhong Yang, Xu Cheng, Fan Shi, Jianhua Zhang, Qinghua Hu, Shengyong Chen

机构 * School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院） ； Engineering Research Center of Learning-Based Intelligent System, Ministry of Education of the People’s Republic of China, Tianjin University of Technology（中华人民共和国教育部基于学习的智能系统工程研究中心，天津理工大学） ； School of Artificial Intelligence, Tianjin University（天津大学人工智能学院） ； Engineering Research Center of City Intelligence and Digital Governance, Ministry of Education of the People’s Republic of China, Tianjin University（中华人民共和国教育部城市智能与数字治理工程研究中心，天津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 研究在无源数据时将预训练源模型适应到目标域的问题，提出LFM框架，利用视觉语言模型计算相似度确定标签转移类型、识别未知样本，通过共识策略精炼伪标签训练目标模型，实验验证了该框架的有效性和优越性。

Comments Accepted by IEEE Transactions on Multimedia (2026)

H-Adapter: Pose-Robust Hairstyle Transfer via Attention-Derived, Source-Aligned Hair Masks

H-Adapter: 通过注意力导出的源对齐头发掩码实现姿态鲁棒的发型迁移

Seulgi Jeong, Yunseong Cho, Sanghun Park

机构 * SNOW Corp.（SNOW公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出H-Adapter，利用区域特定损失解耦头发与非头发目标，导出源对齐头发编辑掩码引导扩散修复，实现大姿态差异下的鲁棒发型迁移，在FID、FID_CLIP和CLIP-I指标上取得最优。

Comments Accepted at ECCV 2026. Project page: https://sanghunpark.github.io/hadapter_page/

Measuring Monosemanticity in Sparse Autoencoders via Latent Activation Coherence

通过潜在激活一致性测量稀疏自编码器中的单语义性

Katarzyna Filus, Sebastian Pokuciński

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 该研究针对可解释人工智能中评估稀疏自编码器单语义性的挑战，提出无标签的Tversky单语义性分数（TMS），通过激活集一致性衡量。在多种模型和设置下评估，结果显示TMS受编码器各向异性影响小，能揭示训练动态，还能体现概念删除有效性。

Comments This is a preprint version. A shorter version of this paper has been accepted for presentation and publication in the post-workshop proceedings of the 8th International Workshop on eXplainable Knowledge Discovery in Data Mining (XKDD 2026), co-located with ECML PKDD 2026. The appendix is included only in this preprint and is not part of the peer-reviewed proceedings paper

PrimitiveVLA: Learning Reusable Motion Primitives for Efficient and Generalizable Robotic Manipulation

PrimitiveVLA：学习可复用的运动基元以实现高效且可泛化的机器人操作

Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院） ； Jiangsu Key Laboratory of AI for Industries, Institute of AI for Industries, CAS（江苏人工智能工业重点实验室，人工智能工业研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Cambricon Technologies（寒武科技） ； Intelligent Software Research Center, Institute of Software, CAS（软件研究所智能软件研究中心，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 提出PrimitiveVLA框架，通过将视觉-语言-动作模型从直接指令到控制映射转向以基元为中心的拆解与组装范式，利用多模态规范表示和自动化流水线，提升数据效率并实现零样本泛化。

PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation

PhysAgent：用于物理上合理的视频生成的反射式智能体物理控制

Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究物理上合理的视频生成问题，提出PhysAgent反射式智能体框架，通过闭环设计及物理控制API，改善参数控制，实现复杂轨迹等，实验证明其能生成更合理视频，有更好提示对齐及泛化效果。

Comments For project page, see https://iapple233.github.io/PhysAgent

ResearchStudio-Reel: Automate the Last Mile of Research from Paper to Poster, Video, and Blog

ResearchStudio-Reel：实现从论文到海报、视频和博客的研究最后一公里自动化

Lingao Xiao, Yalun Dai, Yangyu Huang, Qihao Zhao, Wenshan Wu, Hugo He, Ruishuo Chen, Jin Jiang, Qianli Ma, Jiahuan Zhang, Xin Zhang, Ying Xin, Yang Ou, Yan Xia, Scarlett Li, Longbo Huang, Zhipeng Zhang, Yang He, Yap Kim Hui, Yan Lu

机构 * Microsoft Research（微软研究院） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Westlake University（西湖大学） ； CFAR, A*STAR（计算科学与工程研究所，新加坡科技研究局） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究传播自动化困难，以往方法有局限。该研究提出将最后一公里构建为技能组合，实例化ResearchStudio-Reel，包括共享提取器、可编辑生成器和交互式收敛层，能产出多种可编辑工件，效果优于现有系统。

Attentions Under the Microscope: A Comparative Study of Resource Utilization for Variants of Self-Attention

显微镜下的注意力：自注意力变体资源利用的比较研究

Zhengyu Tian, Anantha Padmanaban Krishna Kumar, Hemant Krishnakumar, Reza Rawassizadeh

机构 * Boston University Metropolitan College（波士顿大学 metropolitan college） ； Duy Tan University（杜益大学） ； Chulalongkorn University（朱拉隆功大学） 纠错

专题命中 VLM训练与架构 ：visual language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型和视觉语言模型中注意力机制瓶颈，通过在训练GPT-2架构时对八种注意力机制进行基准测试，发现优化内核实现的机制能源效率最佳，强调能源感知基准测试对注意力设计的重要性及对选择高效机制的指导意义。

Comments 6 pages, 8 figures

Learning to Detect Cross-Modal Negation: An Analysis of Latent Representations and an Attention-Based Solution

学习检测跨模态否定：潜在表示分析与基于注意力的解决方案

Ali AbuSaleh, Leon Hammerla, Alexander Mehler

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 研究跨模态否定检测难题，提出新型跨模态注意力架构，分析发现文本与视觉否定的不对称性，结合自监督视频表示推进时间否定建模，为多模态系统学习语义对齐表示提供新方法。

Comments This manuscript is an accepted version of the article (published at ICNLP2026). Published in IEEE Xplore, DOI:10.1109/ICNLP69856.2026.11527861 document: https://ieeexplore.ieee.org/abstract/document/11527861

Journal ref 2026 8th International Conference on Natural Language Processing (ICNLP), Xi'an, China, 2026, pp. 613-622

An interactive enhanced driving dataset for autonomous driving

一种交互增强的自动驾驶数据集

Haojie Feng, Xinrui Zhang, Mengjie Tian, Peizhi Zhang, Zhuoren Li, Junpeng Huang, Xiurong Wang, Junfan Zhu, Jianzhou Wang, Dongxiao Yin, Lu Xiong

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 本文提出交互增强驾驶数据集，通过生成合成视频实现多模态对齐，用于评估和优化自动驾驶模型的推理能力。

Comments Accepted for publication in Scientific Data

Squid: Long Context as a New Modality for Energy-Efficient On-Device Language Models

Squid：长上下文作为节能设备端语言模型的新模态

Wei Chen, Zhiyuan Li, Shuo Xin, Yihao Wang

机构 * Nexa AI 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 研究针对设备端语言模型处理长上下文能耗高、延迟大的问题，提出Dolphin架构，用紧凑解码器提炼上下文信息，结合图像嵌入投影仪编码长文本，经实证评估，该方法提升了能源效率，降低了延迟，为设备端语言模型发展做贡献。