视觉大模型 / VLM

MUGEN: A Unified Framework for Efficient Motion Understanding and Generation

MUGEN：用于高效运动理解与生成的统一框架

Zhankai Ye, Yukai Jin, Bingyang Wei, Bofan Li, Yusen Wu, Fangyi Li, Shangqian Gao, Xin Liu

机构 * Florida State University（佛罗里达州立大学） ； Texas Christian University（得克萨斯基督教大学） ； University of Miami（迈阿密大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 MUGEN是一个无码本的统一运动-语言框架，通过自适应长度自编码器实现高效运动压缩，在HumanML3D和SnapMoGen数据集上的生成、检索与对齐指标均表现优异，兼顾效率与性能。

TIDE: Task-Isolated Diffusion for Unified Video Editing and Generation

TIDE: 任务隔离扩散模型用于统一视频编辑与生成

Qi Liu, Gang Yue, Mingyu Yin, Lisai Zhang, Yidi Wu, Yaole Wang, Yaohui Wang, Chang Yao, Jingyuan Chen, Lin Ma

机构 * Zhejiang University（浙江大学） ； Bilibili Inc.（哔哩哔哩股份有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出TIDE统一框架，通过逐token任务嵌入和双路径条件机制，实现指令编辑、参考编辑和多参考生成，在多任务渐进训练下达到SOTA性能。

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

Grad-ECLIP: 基于梯度的CLIP视觉与文本解释

Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Division of Social Science and Department of Computer Science & Engineering, Hong Kong University of Science & Technology（香港科学与技术大学社会科学学院及计算机科学与工程系） ； SenseTime Group Ltd（时光集团有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出Grad-ECLIP方法，通过分解CLIP编码器架构并分析匹配相似度与中间空间特征的关系，生成有效热图以解释CLIP匹配结果。通过通道和空间权重提升视觉解释质量，并通过定性定量评估验证其有效性。

Journal ref Zhao C, Wang K, Hsiao J H, et al. Grad-eclip: Gradient-based visual and textual explanations for clip[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026

A Six-Dimensional Taxonomy of Post-Training Adaptation Techniques with Applications in AI Governance

用于人工智能治理的后训练适应技术的六维分类法

Fardin Afdideh, Fernando Seoane, Farhad Abtahi

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本综述构建了后训练适应技术的六维分类法，梳理技术间关系，为AI治理提供术语支持，并指出该领域的开放挑战。

HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards

HERALD：检索证明奖励的反事实审计与最小修复

Zhuowen Liu, Bohan Cui, YinShang Guo, Yuting Wang, Hao Li

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 HERALD是一种离线审计方法，可对搜索智能体的检索证明奖励进行反事实审计与最小修复，能有效抵御引用清洗攻击，提升引用精度等指标并分离稳健评分与策略迁移。

Comments 9 pages, 3 figures, and 4 tables

Vorch-Omni: Multi-Task Orchestration of Sight and Sound

Vorch-Omni：视觉与听觉的多任务编排

Vorch Team, Xiaoyu Chen, Yang Ding, Cong Han, Menglin Han, Yuxin Hong, Jiebo Hou, Zequn Jie, Xiang Li, Jing Liu, Qi Liu, Yulei Lu, Siyuan Luo, Lin Ma, Xin Ma, Yinlong Qian, Peng Shi, Fang Wan, Siqi Wang, Yaohui Wang, Yaole Wang, Yidi Wu, Siqian Yang, Mingyu Yin, Haoran Yu, Gang Yue, Lisai Zhang, Yuting Zhang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 Vorch-Omni是基于流匹配扩散Transformer的统一多任务视听合成框架，支持10余项视听相关任务，为通用视听生成与操作提供可扩展基础。

Comments Project Page: https://vorch-project.github.io/Vorch-Omni-project/

A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval

一段文本胜过千条标题：重新思考视觉-语言检索的文本监督

Mahyar Ghazanfari, Amin Tabrizian, Arsyi Aziz, Binshuai Wang, Peng Wei

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对视觉-语言检索，通过系统对比单标题与段落文本监督，发现仅微调BLIP文本编码器的段落监督模型在DOCCI等任务上优于Long-CLIP，为文本粒度与检索性能的关系提供了新见解。

Comments Accepted at the MUCG workshop, ECCV 2026

Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders

通过资源感知型语音编码器混合模型打破多对多语音到文本翻译中的多语言性诅咒

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 针对多对多语音到文本翻译中的多语言性诅咒问题，提出资源感知型MoSE框架与五阶段课程学习策略，其4B参数模型在45种语言的全方向翻译任务上实现最优性能，显著提升低资源语言表现且不损害高资源性能。

HiSC: Hierarchical Spatial Clustering Token Compression for Efficient 3D Scene Understanding

HiSC：用于高效3D场景理解的分层空间聚类令牌压缩

Jiuhe Qu, Yingping Liang, Ying Fu

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出无训练框架HiSC，通过SGraM策略和SCluP范式实现3D VLMs的分层空间聚类令牌压缩，在高剪枝率下实现超90%令牌减少且性能下降极小，验证了其有效性。

Comments Accepted by ACM MM 2026

Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

并非所有冗余视觉标记都相同：通过标记角色分析视觉标记剪枝

Hyeonyu Kim, Sehwan Lim, Youngwon Choi, Taeyoun Kwon, Jaejin Kim

机构 * Maum AI Inc.（Maum AI公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究针对视觉-语言模型（VLMs）的视觉标记剪枝问题，通过EmbedLens分析标记角色，发现代表性剪枝方法存在标记角色偏差但与下游性能无直接关联，优化角色分配后表明保留非活跃标记可维持或提升性能，为剪枝方法优化提供了新视角。

Comments Accepted to ECCV 2026 workshop, UniWorld

HyPASE: Hyperbolic Geometry for Parameter-Efficient Speech Emotion Fine-Tuning Framework for Large Audio-Language Models

HyPASE：用于大音频语言模型的参数高效语音情感微调框架的双曲几何方法

Tian Jin, Ruikang Zhang, Zefeng Zhao, Ding Luo, Jin Zeng

机构 * Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出HyPASE双曲PEFT框架，利用庞加莱球模型及HGA、EMCA组件，在MELD、IEMOCAP等数据集上优于欧氏PEFT基线，实现高效的大音频语言模型语音情感微调。

TourSynbio-Search: A Large Language Model Driven Agent Framework for Unified Search Method for Protein Engineering

TourSynbio-Search：一种用于蛋白质工程的统一搜索方法的大语言模型驱动智能体框架

Yungeng Liu, Zan Chen, Yu Guang Wang, Yiqing Shen

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 TourSynbio-Search是TourSynbio-7B驱动的双模块搜索智能体框架，可跨多平台检索文献与蛋白质数据，降低技术门槛，提升蛋白质工程研究的信息检索效率与生产力

MuRA: Multi-Rank Adaptation for Efficient and Effective Test-Time Vision-Language Generalization

MuRA：用于高效且有效的测试时视觉-语言泛化的多秩适配

Gengyuan Liu, Nanzhou Wang, Chang Liu, Qinwen Wu, Zhenhao Wang, Jiacong Wang, Bokui Chen, Xiangyang Ji

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对测试时视觉-语言模型因静态秩配置导致的性能瓶颈，提出多秩适配（MuRA）框架，动态选择适配模块，在多基准测试中达最优准确率且降低计算内存开销。

Predictive Set Theory: A Generative Framework for Cognitive Architecture with Operationalized Core Mechanisms

预测集合论：具有可操作核心机制的认知架构生成框架

Yiyang Yu

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出预测集合论（PST）这一形式生成框架，从第一性原理重构认知架构，解决经典认知问题，并确立其原创性与完整性。

Comments 103 pages. This preprint establishes the theoretical framework of Predictive Set Theory, providing a generative design specification for cognitive architecture. Comments welcome

AI Alignment and Fiduciary Obligation

AI对齐与受托义务

Benjamin Lange

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出将受托理论应用于长期AI助手部署，以开发者对用户负有的忠诚、注意、善意和坦诚四项受托义务为基础构建AI对齐标准，为AI对齐研究提供新视角。

Comments 10 pages, 1 table. Accepted at the 9th AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

Learning to See Locally and Align Clinically with Pathology Semantics for Radiology Report Generation

学习局部感知并与病理学语义临床对齐的放射学报告生成方法

Xuan Cuong Ngo

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对放射学视觉-语言模型的图像-文本对齐缺陷，提出病理学感知对齐框架PALM，结合共享病理学原型与掩码证据建模，在多数据集上提升报告生成与异常鲁棒性

Domain-Generalized Adaptive Semantic Communication for Collaborative Perception

面向协同感知的域泛化自适应语义通信

Fan Gao, Youzheng Wang, Ning Ge

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 提出域泛化语义通信框架RSTA，通过跨域原型对齐等技术解决车路协同感知中观测域偏移与信道损坏耦合退化问题，在多基准测试中取得AP指标提升且部署开销极低。

Comments Accepted by IEEE ICCC 2026. 6 pages, 5 figures

ET-Prune: Evidence-Aware Dynamic Budgeting for Visual Token Pruning in Text-Rich MLLMs

ET-Prune：面向文本丰富型多模态大语言模型的视觉 token 剪枝的证据感知动态预算分配

Zizhong Ding, Junxian Li, Kai Liu, Shaoqiu Zhang, Xiao Xiao, Linghe Kong, Yulun Zhang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 ET-Prune 是一种无需训练的视觉 token 剪枝框架，通过证据分配实现动态预算，在文本丰富的多模态任务中，于约一半 token 保留量下，在 OCRBench-v2、MMBench v1.1 等基准上取得优于基线的性能，实现了质量与成本的良好平衡。

Comments Code and supplementary material is at https://github.com/Labyrinth0419/ET-Prune

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

超越路由饱和：多模态持续指令调优中专家路由的长程类增量视角

Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 该研究针对多模态持续指令调优中专家路由的任务识别问题，构建含34个任务的FLEX基准，提出MCIL框架，适配CIL方法后使LoRA匹配和MacroScore分别提升最高16.3个百分点、4.6个点

SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space

SG-WAM：几何感知策略空间中的自引导世界建模

Ruiteng Zhao, Zhengshen Zhang, Yue Su, Wenshuo Wang, Jiahui Li, Zhiyuan Yang, Francis E. H. Tay, Marcelo H. Ang, Haiyue Zhu

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 SG-WAM是自引导的几何感知世界动作模型框架，通过策略衍生空间联合优化动态预测等，在LIBERO等数据集上实现高成功率，性能优于基线。

FineMoLA: Towards Fine-Grained Motion-Language Alignment from Clip-Level Supervision

FineMoLA：基于片段级监督的细粒度动作-语言对齐研究

Tongyan Wang, Zhengyuan Li, Muhan Lin, Shengyang Luo, Yifan Shen, Aniket Bera, Baijian Yang, Yingjie Victor Chen

机构 * Purdue University（普渡大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 针对现有动作-语言数据集仅提供片段级监督导致细粒度对齐不足的问题，提出弱监督框架FineMoLA，将动作-语言对齐建模为最优传输问题，在SnapMoGen上的实验显示其动作-文本定位性能优于基线。

WaveZip: Wavelet-Driven Space-Time Decoupling for Video Token Condensation

WaveZip：用于视频令牌压缩的小波驱动时空解耦

Yuhui Zeng, Wang Chen, Jinfa Huang, Tianyu Xie, Yongdong Luo, Jiayi Ji, Xiawu Zheng, jiebo Luo

机构 * Media Analytics and Computing Lab, Xiamen University（厦门大学媒体分析与计算实验室） ； Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对长视频理解中视觉令牌计算成本高的问题，提出WaveZip框架，利用离散小波变换分离时空信号，无需特定任务训练，能集成到LVLMs提升推理效率，在长视频理解基准测试中表现优异。

Comments 13 pages, 10 figures

Cross-Branch Conflict as a Shield: Safeguarding Facial Identities in Unified Multimodal Image Editing

跨分支冲突作为一种保护手段：在统一多模态图像编辑中保护面部身份

Weiwei Tan, Junxian Li, Rui Wang, Zhenhua Xu, Yanjun Zhang, Yu Leo Zhang

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 研究统一多模态模型中个人肖像编辑的安全问题，提出CCS统一对抗保护框架，通过联合驱动ViT和VAE表示及破坏跨分支兼容性，防止模型恢复身份信息，在抑制身份保留编辑上表现优于现有方法。

Comments 14 pages, preprint

Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization

用于3D理解的参数高效CLIP适配：通过统一分词实现

Guofeng Mei, Qinfeng Xiao, Bin Ren, Luigi Riz, Juan Liu, Xiaoshui Huang, Xu Zheng, Nicu Sebe, Ming-Hsuan Yang, Fabio Poiesi

机构 * Fondazione Bruno Kessler（布鲁诺·科塞拉基金会） ； University of Trento（特伦托大学） ； University of Pisa（比萨大学） ； Beijing Forestry University（北京林业大学） ； Shanghai Jiao Tong University（上海交通大学） ； Hong Kong University of Science and Technology (GZ)（香港科技大学） ； Shandong University（山东大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出参数高效框架UTok3D，通过学习尺度归一化3D分词器，实现冻结CLIP视觉主干在无标注情况下对不同尺度点云的复用，完成3D分割任务。

Comments 14 pages, tokenizer

Distance-aware Soft Prompt Guidance for Multimodal Valence-Arousal Estimation

面向距离的软提示学习用于多模态愉悦-唤醒估计

Byeongjin Jung, Chanyeong Park, Sejoon Lim

机构 * Graduate School of Automobile and Mobility（汽车与移动研究生院） ； Department of Automobile and IT Convergence（汽车与IT融合系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种多模态框架，通过引入距离感知的软提示学习，提升多模态愉悦-唤醒估计的精度，在无约束场景中取得良好效果。

Comments 8pages

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026, pp. 5294-5301

VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding

VisualRouter：面向长视频理解的查询驱动视觉采样

Haiyue Zhang, Yi Bin, Xun Jiang, Zeyu Ma, Duo Peng, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出无训练即插即用框架VisualRouter，通过将查询分为全局或局部并采用对应采样策略，提升了大型视觉语言模型的长视频理解性能，在多个基准数据集上优于均匀采样及现有无训练方法。

One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

统一多语言多模态的LVLM安全对齐：一个通用锚点

Enyi Shi, Fei Shen, Chuancheng Shi, Linxia Zhu, Shuyi Miao, Jinhui Tang, Tat-Seng Chua

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 针对LVLM面临的多语言多模态复合攻击防御难题，提出MLS-Neurons驱动的跨维度安全对齐框架，仅更新约0.03%参数实现安全监督迁移，在多语言多模态安全基准上性能优于SOTA且保留通用实用性。

CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography

CXR-Retrieve：胸部X线摄影中的组合式文本到图像检索

Tomer Erez, Moshe Kimhi, Chaim Baskin, Ehud Rivlin

机构 * Technion – Israel Institute of Technology（以色列理工学院） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对胸部X线检索的目标不匹配问题，提出CXR-Retrieve基准与标签感知对比微调方法，在双病理组合和否定查询的Precision@5上较CXR-CLIP分别提升8.5和22.0个百分点。

Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation

密集监督，稀疏更新：论策略蒸馏的稀疏性与几何结构

Guo Yu, Wenlin Liu, Yulan Hu, Hao-Xuan Ma, Jun-Peng Jiang, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； Amap, Alibaba Group（阿里巴巴集团高德地图） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文分析策略蒸馏（OPD）中参数更新的稀疏性和几何特性，发现更新稀疏且集中于小权重坐标，并验证了稀疏子网络的有效性。

Comments Code is available at https://github.com/SydCS/OPD-Param-Analysis

SCALPEL: Semantic Cross-modal Alignment via LLM-Powered Encoder Learning for Medical Vision-Language Representation

SCALPEL：基于大语言模型驱动的编码器学习的医学视觉-语言语义跨模态对齐框架

Yunzhan Fu, Enyu Bao, Xiangyu Shen, Yihao Wu, Chunbo Jiang, Fangli Guan, Liqi Yan

机构 * School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院） 纠错

专题命中 VLM训练与架构 ：visual question answering(abstract)；分类 cs.CV

AI总结 针对现有医学视觉-语言预训练的三大瓶颈，本文提出SCALPEL框架，通过临床报告对比微调、非对称对齐策略及解剖-否定感知目标，在三大医学基准上实现了多项任务的最优性能。

Comments 14 pages, 3 figures, accepted by PRCV2026