视觉大模型 / VLM

HarMoE: Multi-Source Chest Radiograph Pretraining with Dataset-Disentangled Experts

HarMoE：基于数据集解耦专家的多源胸部X射线预训练

Haozhe Luo, Ziyu Zhou, Shelley Zixin Shu, Mauricio Reyes

机构 * University of Bern（伯尔尼大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出HarMoE框架，通过解耦数据集专家从异构胸部X射线数据集学习，提升了放射学视觉-语言模型的零样本分类、分布外迁移等性能，相关代码与87.3万份数据集将公开。

ScaFE: Data-Efficient Scar Classification with LLM-Generated Clinical Feature Programs

ScaFE：基于大语言模型生成的临床特征程序实现数据高效的瘢痕分类

Ruman Wang, Hangting Ye

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 ScaFE将LLM临床知识转化为本地可执行的特征程序，结合轻量级随机森林，在瘢痕分类任务中实现数据高效、跨站点的高性能，且决策可审计，优于现有基线模型。

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

Sparse Concept Channels in Frozen 3D CT Vision Encoders

冻结的3D CT视觉编码器中的稀疏概念通道

Farhad Nooralahzadeh, Lea Bogensperger, Christian Bluethgen, Michael Krauthammer

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究3D医学图像解释中视觉语言模型内部单元对临床发现的编码，提出无训练概念通道探测（CCP）方法，通过实验证明该方法能清晰表征冻结医学编码器对发现的表示，在临床疗效和NLG指标上表现优且延迟低。

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

混合探针：通过探针在多模态大语言模型中从特权模态学习

Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

机构 * Sony Group Corporation（索尼集团公司） ； Sony AI（索尼人工智能） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 研究多模态大语言模型在特权模态设置下的问题，提出混合探针（MoP）框架及MoP跨模态训练（MoP-X），通过结构化探测机制分离模态信号，经评估在多任务中优于基线，有效利用辅助模态训练可提升性能。

Comments Preprint (16 pages)

Bridging Physical Reasoning and Task Generalization via Visual Action Outcome Reasoning Alignment

通过视觉动作结果推理对齐实现物理推理与任务泛化的桥梁

Han-Jun Ko, Jr-Jen Chen, Haobo Yuan, Hsin-Ying Lee, Tiancheng Shen, Ming-Hsuan Yang, Yu-Chiang Frank Wang

机构 * National Taiwan University（国立台湾大学） ； The University of California, Merced（加州大学默塞德分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉语言模型在物理推理中难以泛化的问题，提出VAORA奖励设计，包括视觉对齐奖励和视觉-动作对齐奖励，通过预训练专家估计概率实现平滑密集奖励，经实验验证可有效提升模型在新任务和未见环境中的物理推理性能。

Comments ICML'26 Workshop RLxF: Reinforcement Learning from World Feedback

Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning

对抗文本噪声与冗余：熵感知的密集视觉令牌剪枝

Xuehui Wang, Xuankun Yang, Wei Shen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出熵感知密集剪枝（EADP）框架，通过熵过滤文本噪声并利用子模最大化选择令牌，在严格预算下保留细粒度视觉线索，提升VLM精度-效率权衡。

Comments Accepted to ECCV 2026

Surprise as a Signal for Plasticity and Metacognition

惊喜作为可塑性和元认知的信号

Louis Mouchon

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出预测误差信号可作为可塑性门控和元认知基础，在冻结编码器上实现持续学习与视觉语言模型自适应，实验证明其有效性。

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M: CLIP的视觉基础常识推理监督

Sicheng Zhang, Muzammal Naseer, Binzhu Xie, Naufal Suryanto, Shi Qiu, Jamal Bentahar, Naveed Akhtar, Mubarak Shah

机构 * Khalifa University（卡利法大学） ； University of Western Australia（西澳大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Melbourne（墨尔本大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出ReasonCLIP-58M框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准，提升视觉基础常识推理和零样本检索性能。

Comments Accepted to ECCV2026

APT: Atomic Physical Transitions for Causal Video-Language Understanding

APT: 用于因果视频语言理解的原子物理转变

Shang Wu, Haoran Lu, Songling Liu, Chenwei Xu, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Zhaoran Wang, Han Liu

机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出原子物理转变（APT）作为视频中因果状态变化的显式表示，并构建混合来源数据集，通过APT-Tune微调方法使VLM学习物理转变而不遗忘事件级知识。

Decoupling Semantics from Distortions: Multi-Scale Two-Stream Vision-Language Alignment for AI-Generated Image Quality Assessment

解耦语义与失真：面向AI生成图像质量评估的多尺度双流视觉-语言对齐

Zijie Meng

机构 * Zijie Meng（孟子杰） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出MST-CLIPIQA多尺度双流框架，通过显式表示解耦实现层次化视觉-语言对齐，在五个基准上取得质量SRCC平均提升1.11%、图文对应SRCC提升2.35%的新SOTA结果。

Comments 11 pages, 2 figures Accepted by ICME2026(spotlight)

Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality

跨模态掩码组合概念建模以增强视觉-语言组合性

Wei Li, Zhen Huang, Xinmei Tian

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。

Comments Accepted to ACL 2026 Main Conference, 25 pages

CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts

CausalMoE：基于模式路由异构专家的十亿规模多模态基础模型用于格兰杰因果发现

Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室） ； National Institute of Health Data Science, and Institute for Artificial Intelligence, Peking University（北京大学健康医疗大数据国家研究院、人工智能研究院） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出CausalMoE，一种十亿规模多模态格兰杰因果基础模型，通过模式路由混合异构专家解耦动态机制，结合因果自注意力与LLM/VLM先验，实现稀疏因果图恢复，在监督和少样本场景中达到最优。

MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

MLUBench: 多模态大语言模型终身遗忘评估基准

He Li, Haoang Chi, Qizhou Wang, Yunxin Mao, Zhiheng Zhang, Jie Tan, Tongliang Liu, Wenjing Yang, Bo Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MLUBench基准，评估多模态大模型在连续遗忘请求下的性能，发现现有方法存在累积退化，并揭示多模态对齐保持的挑战，提出LUMoE方法缓解退化。

Comments 36 pages, accepted to the ICML 2026

Beyond Tokens: A Survey on Decoding Methods for Large Language and Vision-Language Models

超越令牌：大型语言与视觉-语言模型的解码方法综述

Haoran Wang, Xiongxiao Xu, Philip S. Yu, Kai Shu

机构 * Emory University（埃默里大学） ； Illinois Institute of Technology（伊利诺伊理工大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)

AI总结 该综述针对LLMs与LVLMs，梳理其解码方法的三种新兴范式，强调解码方法在确保模型输出与用户意图一致上的高效性，同时指出挑战并展望未来方向。

Comments ACM SIGKDD Explorations Newsletter, Volume 28, Issue 1

From Semantics to Readout: Mechanistic Understanding of Audio Tokens after Fine-Tuning for Temporal Audio Grounding

从语义到读出：时间音频接地微调后音频令牌的机制理解

Yujian Ma, Jinqiu Sang, Ruizhe Li, Jiaao Yu, Ang Li

专题命中 VLM训练与架构 ：grounding(title,abstract)

AI总结 研究大型音频语言模型中音频令牌在微调后的机制，通过四种分析研究其分层语义等，发现微调前已有潜在证据，微调后解码器更易访问事件信息，支持从语义到读出的解释，有助于解码器连接时间输出。

TransAnyText: Translating Arbitrary Text in E-commerce Images via Structured Visual Generation

TransAnyText：通过结构化视觉生成实现电商图像中任意文本的翻译

Xiaoan Liu, Lichen Ma, Zipeng Guo, Yu He, Xiaoyan Su, Shaojie Guo, Hao Yang, Jingling Fu, Xiaolong Fu, Zhen Chen, Yu Guo, Fei Wang, Xinyi Liu, Yongjun Zhang, Ke Zhang, Junshi Huang

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出TransAnyText框架，将电商图像文本翻译转化为生成可渲染HTML补丁，经三阶段后训练优化，在多基准上表现优于对比方法，为跨境电商图像翻译提供有效可控的解决方案。

FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation

FIRM：面向遥感推理分割的掩码细粒度令牌内表示

Weidong Tang, Kaiyu Li, Yikai Wang, Yanan Wu, Haotian Gan, Shihong Wang, Xiangyong Cao

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出FIRM模型，通过预测视觉令牌内的r×r二值子单元掩码代码结合轻量连续渲染器优化边界，在5个遥感推理分割基准上取得领先结果，提升了细粒度分割性能。

HUGIN: Enhancing Vision-Language Planning for Autonomous Logistics Sorting

HUGIN：增强自主物流分拣的视觉-语言规划能力

Xikai Sun, Cangtian Zhou, Kebin Liu, Ke Ma, Xu Wang, Zaishu Chen, Haotian Wang, Li Liu, Yunhao Liu

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对自主物流分拣的联合多场景理解挑战，提出HUGIN训练框架，构建SortingBench基准，在多VLMs上性能提升，验证了方法有效性与实际可行性。

LASA: Language-and-Source-Anchored Alignment for Domain Generalized Semantic Segmentation

LASA：面向域泛化语义分割的语言与源锚定对齐

Jinhong Zhu, Weiqi Yan, Shengchuan Zhang, Liujuan Cao

机构 * Xiamen University（厦门大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对域泛化语义分割中传统方法损害特征完整性的问题，提出LASA框架，含三个协同组件，实验显示其性能优于现有最优方法。

Comments 10 pages, 4 figures

Forged Peer Judgments Mislead Multimodal LLM Judge Panels: Source-Blind Anchoring and Panel-Consensus Verification

伪造的同行判断会误导多模态大语言模型（LLM）评判小组：无来源锚定与小组共识验证

Yang Shu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究发现多模态LLM评判小组存在无来源锚定的文本攻击面，伪造同行判断可误导判决，提出的小组共识验证方法能有效阻断此类攻击并降低损害。

MemPrism: Task-Conditioned Relational Memory Views for Long-Horizon Agents

MemPrism：面向长程智能体的任务条件关系记忆视图

Zhisheng Chen, Bingfan Zeng, Bangde Cao, Zhengwei Xie, Yuxuan Li, Jinhan Li, Zheng Lu, Xiangchen Guan, Zikai Xiao, Rui Qian, Jingwei Song

机构 * Nanyang Technological University（南洋理工大学） ； South China University of Technology（华南理工大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 该研究针对长程智能体记忆系统的表示不匹配问题，提出MemPrism任务条件关系记忆框架，经实验验证可提升长程任务性能、减少记忆消耗且视图策略可跨VLM迁移。

Beyond Frame Selection: Rethinking Long-Video Understanding with MLLMs

超越帧选择：用多模态大语言模型重新思考长视频理解

Ziling Huang, Shin'ichi Satoh

机构 * National Institute of Informatics（信息学研究所） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对 MLLMs 长视频理解的帧选择策略难以兼顾全局与局部信息的问题，提出 VideoRouter 模型，通过时间层次结构和验证引导路由器协调全局与局部推理，在 VideoMME 数据集上实现性能提升。

Representing Visual Evidence for Item Difficulty Prediction: Visual Textualization and Image-Native Modeling

为题目难度预测表征视觉证据：视觉文本化与原生图像建模

Han Chen, Ming Li, Hong Jiao, Tianyi Zhou

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Maryland（马里兰大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文针对题目难度预测的视觉证据表征问题，对比仅用文本、视觉文本化与原生图像建模三种方式，发现原生图像建模是有竞争力的替代方案，其有效性取决于VLMs的适配方式。

When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation

当教师误导时：感知虚假信号的在线策略蒸馏

Yinuo Jiang, Yongjie Ye, Zhou Tao, Xiang Zhuang, Qiang Zhang, Huajun Chen, Tiankai Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对在线策略蒸馏中存在的虚假信号问题，提出SA-OPD框架，通过输入接地性代理过滤误导性token级监督，实验表明其性能优于普通OPD及其他选择性方法。

Comments 21 pages, 10 figures

PosterMELD: Multi-Agent Paper-to-Poster Generation for Controllable Design Diversity with Editable Print-Ready Outputs

PosterMELD：面向可编辑打印就绪输出的可控设计多样性多智能体论文转海报生成

Haojie Hu, Chenhao Dang, Yaojia Liu, Hengrui Kang, Conghui He, Weijia Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 PosterMELD是模板条件化多智能体海报生成流水线，可导出可编辑PPTX和PNG，在621篇论文实验中PRR达81.3%，成本仅为Codex+Skill的3.5%，性能优于P2P、PosterGen等方法。

Comments 9 pages, 5 figures, and 4 tables. Code and resources are available at https://github.com/Shannon4Science/PosterMELD

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

通过空间-光谱视觉锚学习缓解多模态大语言模型（MLLMs）中的视觉退化

Qianlong Yang, Bowen Ye, Xianda Guo, Yanlun Peng, Wenke Huang, Hongyuan Zhang, Yulei Jia

机构 * China University of Petroleum (East China)（中国石油大学（华东）） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Great Wall Motor（长城汽车） ； Nanyang Technological University（南洋理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对MLLMs推理时的视觉表示退化问题，提出SSVAL方法，通过VAPI及辅助对齐损失实现稳定视觉锚，性能优于现有方法。

Comments This paper has been accepted by ACM MM 2026

PRISM: Privileged Probabilistic Latent Supervision for End-to-End Autonomous Driving Motion Planning

PRISM：面向端到端自动驾驶运动规划的特权概率潜在监督

Volodymyr Havrylov, Faris Janjoš, Andreas Look, Jürgen Mathes, Andreas Geiger

机构 * University of Tübingen（蒂宾根大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Coburg University（科堡大学） ； Tübingen AI Center（蒂宾根人工智能中心） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对端到端自动驾驶模型梯度微弱问题，提出基于真实值的概率潜在监督框架，在 nuScenes 数据集上实现规划 L2 误差降 8%、碰撞率降 3%，且计算开销可忽略。

Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs

推理前校准：针对视觉语言模型中语义漂移的鲁棒视觉令牌缩减

Jiasheng Li, Zhong Ji, Yan Zhang, Huihui Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对VLMs的语义漂移问题，提出无训练的CaRe框架，通过两个互补模块校准视觉表示，在剪枝94.4%视觉令牌时保留96.4%原性能，使推理速度提升最高2.30倍。

A Systems Engineering Framework for Vision-Language-Enabled UAV Triage and Disaster Response

面向视觉语言赋能的无人机分类与灾害响应的系统工程框架

Swapnil Saha, Bhuvan Rajanasiriyur Jagadeesha, Karishma Patnaik, Neelakshi Majumdar

机构 * University of Arkansas（阿肯色大学） ； University of Michigan-Dearborn（密歇根大学迪尔伯恩分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.AI

AI总结 该研究提出将视觉语言模型（VLMs）作为协同智能体嵌入人-无人机回路的系统工程框架，经评估可降低人因负担、提升AI信任度，推进了高风险灾害响应的人-自主系统协同。

Comments 10 pages, 8 figures. Author accepted manuscript of AIAA Paper 2026-4010, published in the AIAA AVIATION 2026 Forum

Journal ref AIAA AVIATION 2026 Forum, AIAA Paper 2026-4010, 2026