视觉大模型 / VLM

From Semantics to Readout: Mechanistic Understanding of Audio Tokens after Fine-Tuning for Temporal Audio Grounding

从语义到读出：时间音频接地微调后音频令牌的机制理解

Yujian Ma, Jinqiu Sang, Ruizhe Li, Jiaao Yu, Ang Li

专题命中 VLM训练与架构 ：grounding(title,abstract)

AI总结 研究大型音频语言模型中音频令牌在微调后的机制，通过四种分析研究其分层语义等，发现微调前已有潜在证据，微调后解码器更易访问事件信息，支持从语义到读出的解释，有助于解码器连接时间输出。

Argus-Unified: Towards A Compact and Economical Unified Model for Image Understanding and Generation

阿格斯统一模型：迈向紧凑且经济的图像理解与生成统一模型

Weiming Zhuang, Jiabo Huang, Jingtao Li, Zhizhong Li, Chen Chen, Sina Sajadmanesh, Lingjuan Lyu

机构 * Sony AI（索尼人工智能公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在统一图像理解与生成，提出阿格斯统一模型，利用预训练视觉语言模型，引入混合视觉令牌，分两阶段训练，以最少数据和低成本实现良好性能，达当前最优，可作统一模型开发基线。

AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities

AVE-Compass：迈向音频-视频编辑能力的整体评估

Yuqing Wen, Yukai Huang, Qianqian Xie, Jiangtao Wu, Yibin Lin, Yikai Gu, Jialu Chen, Yuanxing Zhang, Jiaheng Liu

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对现有视频编辑基准未充分考虑视听耦合问题，提出AVE-Compass基准及AVE-Agent框架，通过多种评估方式评估编辑能力，能分解复杂指令迭代改进结果，提升了跨模态编辑等方面表现及感知质量。

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

MODUS：仅解码器的多模态任意到任意建模

Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, François Fleuret, Chuan Li, Amir Zadeh, Serge Belongie, Afshin Dehghan, Jesse Allardice, David Mizrahi, Oğuzhan Fatih Kar, Roman Bachmann, Amir Zamir

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究任意到任意多模态建模，提出仅解码器的对称多模态建模方法Modus，无需特定模态组件，支持多种应用，在各基准测试中用单模型展现强大性能且与基线竞争，材料开源。

Comments Accepted at ICML 2026. Project page: https://modus-multimodal.epfl.ch

The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers

反对用于检索的生成式模型：判别式语言模型作为有效的检索器

Zhe Xu, Prachi Agrawal, Kavosh Asadi, Tianyi Chen, Carl Hu, Justin Johnson, Wuwei Lan, Mingfu Liang, Xi Liu, Tik On Lui, Oladipo Ositelu, Sandeep Pandey, Ankit Peshin, Feng Qi, Anil Ramakrishna, Kaushik Rangadurai, Frank Shyu, Luke Simon, Yang Yang, Chiyu Zhang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究探讨大语言模型用于检索的问题，通过将其作为语义表示主干重振双塔检索架构，引入创新的双塔框架，经实验评估，该架构在公共基准和生产系统中表现出色，证明传统双塔范式结合现代学习后在工业检索中仍具竞争力。

RecoReward: Recommender-Guided Multimodal Description Generation for Recommendation

RecoReward：用于推荐的推荐器引导多模态描述生成

Guohong Mu, Yueyang Liu, Jiangxia Cao, Changxin Lao, Zijie Zhuang, Yuhui Zhang, Jiaqi Feng, Ruochen Yang, Shuang Yang, Zhaojie Liu, Qibin Hou

专题命中 其他VLM ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)

AI总结 研究针对多模态推荐中传统方法不足，提出RecoReward，训练时用行为衍生奖励，保留仅内容推理。在直播推荐中利用用户历史等估计亲和力，通过推荐器亲和力分数提供反馈，实验表明该方法能提升MLLM性能，利于下游推荐且保留内容服务。

Comments 16 pages, 4 figures

Instruction-based Image Editing: A Survey on Data, Models, Evaluation, and Applications

基于指令的图像编辑：数据、模型、评估及应用综述

Xianghao Zang, Zijian Jiang, Jiarong Cheng, Qianrui Teng, Ying He, Yuxuan Mu, Chao Ban, Huayu Zhang, Lanxiang Zhou, Zerun Feng, Chi Zhang

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 综述基于指令的图像编辑研究，围绕任务定义、数据构建、模型架构、评估指标及商业应用五个维度展开，提出综合深度诊断基准，通过开源方案比较揭示优缺点，探讨未来研究方向以推动该领域发展。

Comments 33 pages, 7 figures, Vicinagearth

Journal ref Zang, X., Jiang, Z., Cheng, J. et al. Instruction-based image editing: a survey on data, models, evaluation, and applications. Vicinagearth 3, 3 (2026)