视觉大模型 / VLM

HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks

HumanVBench: 通过自动合成基准测试探测多模态大语言模型中的以人为本的视频理解

Ting Zhou, Daoyuan Chen, Qirui Jiao, Bolin Ding, Yaliang Li, Ying Shen

机构 * Sun Yat-Sen University（中山大学） ； Alibaba Group（阿里巴巴集团） ； Peng Cheng Laboratory（鹏城实验室） ； Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology（广东省消防科学与智能应急技术重点实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HumanVBench，一个针对多模态大语言模型（MLLMs）中以人为本的视频理解能力的综合基准测试，通过自动化流程生成高质量视频注释和挑战性问题，揭示30个领先MLLMs在感知细微情绪和对齐语音与视觉线索方面的不足。

Comments Accepted as a conference paper at CVPR 2026

Controlling Multimodal Conversational Agents with Coverage-Enhanced Latent Actions

通过增强覆盖的潜在动作控制多模态对话代理

Yongqi Li, Hao Lang, Tieyun Qian, Yongbin Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Tongyi Lab（通义实验室） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过增强覆盖的潜在动作空间改进多模态对话代理的强化学习微调，利用跨模态投影器提升鲁棒性，在两个对话任务中优于基线方法。

Comments Accepted to ACL 2026 (Main), camera-ready version

FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

FashionMV：基于多视角时尚数据的产品级复合图像检索

Peng Yuan, Bingyin Mei, Hui Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FashionMV，首个大规模多视角时尚数据集，用于产品级复合图像检索。通过构建包含127K产品、472K多视角图像和220K三元组的数据集，结合ProCIR框架，采用多阶段对话、标题对齐和思维链引导等机制，提升了检索性能。

Grounded World Model for Semantically Generalizable Planning

基于语义泛化的世界模型用于规划

Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

机构 * Independent（独立） ； EPFL（瑞士联邦理工学院洛桑） ； Beihang University（北京航空航天大学） ； University of Toronto（多伦多大学） ； NUS（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

AI总结 本文提出基于视觉-语言对齐潜在空间的世界模型，用于改进视觉-运动模型控制，实现更广泛的语义泛化能力。

Governance by Design: A Parsonian Institutional Architecture for Internet-Wide Agent Societies

设计治理：一种帕森斯制度架构用于互联网范围的智能体社会

Anbang Ruan

机构 * NetX Foundation（NetX 基金会） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出了一种基于帕森斯AGIL框架的制度架构，用于治理互联网范围的智能体社会，发现现有生态系统缺乏协调层和规范基础，提出治理基础设施的优先路线图。

X-SYS: A Reference Architecture for Interactive Explanation Systems

X-SYS：交互解释系统的参考架构

Tobias Labarta, Nhi Hoang, Maximilian Dreyer, Jim Berend, Oleg Hein, Jackie Ma, Wojciech Samek, Sebastian Lapuschkin

机构 * Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所） ； Technische Universität Berlin（柏林工业大学） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究所） ； Technical University Dublin（都柏林理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出X-SYS参考架构，通过STAR质量属性和五组件分解，指导交互解释系统的设计与实现，解决可解释AI在系统部署中的挑战。

Comments 18 pages, 8 figures

AmodalSVG: Amodal Image Vectorization via Semantic Layer Peeling

AmodalSVG：基于语义层剥离的模态图像向量化

Juncheng Hu, Ziteng Xue, Guotao Liang, Anran Qi, Buyu Li, Sheng Wang, Dong Xu, Qian Yu

机构 * School of Software, Beihang University（北京航空航天大学软件学院） ； Igarashi Lab, The University of Tokyo（东京大学五十岚实验室） ； Bambu Lab ； Department of Computer Science, The University of Hong Kong（香港大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 AmodalSVG通过语义层剥离技术，实现对自然图像中遮挡区域的完整几何向量化，提升SVG的结构编辑能力。

ReplicateAnyScene: Zero-Shot Video-to-3D Composition via Textual-Visual-Spatial Alignment

ReplicateAnyScene：通过文本-视觉-空间对齐实现零样本视频到3D场景的合成

Mingyu Dong, Chong Xia, Mingyuan Jia, Weichen Lyu, Long Xu, Zheng Zhu, Yueqi Duan

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出ReplicateAnyScene框架，通过五阶段流水线实现视频到结构化3D场景的零样本合成，引入C3DR基准评估重建质量，实验表明其在生成高质量3D场景方面优于现有方法。

Comments Project Page: https://xiac20.github.io/ReplicateAnyScene/

Tango: Taming Visual Signals for Efficient Video Large Language Models

Tango：驯服视觉信号以提高视频大语言模型的效率

Shukang Yin, Sirui Zhao, Hanchao Wang, Baozhi Jia, Xianquan Wang, Chaoyou Fu, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Reconova AI Lab（Reconova AI实验室） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

AI总结 Tango通过改进注意力选择和相似性聚类方法，优化视频大语言模型的视觉信号利用，实现在保留10%视频token时性能损失仅0.1%，推理速度提升1.88倍。

Comments Code: https://github.com/xjtupanda/Tango

RemoteAgent: Bridging Vague Human Intents and Earth Observation with RL-based Agentic MLLMs

RemoteAgent: 通过基于强化学习的代理多模态大语言模型弥合模糊人类意图与遥感观测之间的鸿沟

Liang Yao, Shengxiang Xu, Fan Liu, Chuanyi Zhang, Bishun Yao, Rui Min, Yongjun Li, Chaoqian Ouyang, Shimin Di, Min-Ling Zhang

机构 * Hohai University（河海大学） ； Southeast University（东南大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 本文提出RemoteAgent框架，通过VagueEO数据集和强化学习微调，使多模态大语言模型能直接解决图像和稀疏区域任务，并通过模型上下文协议智能协调专用工具进行密集预测，提升遥感任务的性能。

Premier: Personalized Preference Modulation with Learnable User Embedding in Text-to-Image Generation

Premier: 基于可学习用户嵌入的个性化偏好调节在文本到图像生成中

Zihao Wang, Yuxiang Wei, Xinpeng Zhou, Tianyu Zhang, Tao Liang, Yalong Bai, Hongzhi Zhang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Duxiaoman（度小满） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 Premier通过可学习用户嵌入和偏好适配器实现个性化图像生成，引入分散损失提升用户偏好区分度，实验显示其在偏好对齐和文本一致性上表现更优。

ProPhy: Progressive Physical Alignment for Dynamic World Simulation

ProPhy：渐进式物理对齐用于动态世界模拟

Zijun Wang, Panwen Hu, Jing Wang, Terry Jingchen Zhang, Yuhao Cheng, Long Chen, Yiqiang Yan, Zutao Jiang, Hanhui Li, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Peng Cheng Laboratory（鹏城实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； ETH Zürich（苏黎世联邦理工学院） ； Lenovo Research（联想研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 ProPhy通过渐进式物理对齐框架，实现物理感知的视频生成，提升动态物理现象的准确性与物理一致性。

Exploring Cross-Modal Flows for Few-Shot Learning

探索跨模态流用于少样本学习

Ziqi Jiang, Yanghao Wang, Long Chen

机构 * Department of CSE, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出跨模态流匹配对齐（FMA）方法，通过多步调整提升跨模态对齐精度与鲁棒性，在多种基准和模型上均取得显著性能提升。

Comments Accepted by ICLR2026

Do Machines Fail Like Humans? A Human-Centred Out-of-Distribution Spectrum for Mapping Error Alignment

机器是否像人类一样失败？一种以人为中心的分布外谱系用于映射误差对齐

Binxia Xu, Xiaoliang Luo, Luke Dickens, Robert M. Mok

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出以人为中心的分布外谱系，通过量化刺激偏离参考集的程度，揭示不同深度学习架构在近分布外和远分布外条件下的模型-人类对齐差异。

MCAT: Scaling Many-to-Many Speech-to-Text Translation with MLLMs to 70 Languages

MCAT: 通过MLLMs扩展多对多语音到文本翻译至70种语言

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Keqi Deng, Xie Chen, Yang Xiang, Ming Liu, Bing Qin, YaoWei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Harbin（哈尔滨工业大学（哈尔滨）） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)

AI总结 MCAT框架通过课程学习和数据平衡策略扩展MLLMs支持70种语言并实现互译，同时优化语音适配模块将语音序列长度缩减至30个token，提升翻译效率。

Comments Accepted in IEEE TASLP

LingoLoop Attack: Trapping MLLMs via Linguistic Context and State Entrapment into Endless Loops

LingoLoop攻击：通过语言上下文和状态陷阱使大语言模型陷入无限循环

Jiyuan Fu, Kaixun Jiang, Lingyi Hong, Jinglun Li, Haijing Guo, Dingkang Yang, Zhaoyu Chen, Wenqiang Zhang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Jiiov Technology（极奥科技） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)

AI总结 本文提出LingoLoop攻击，通过调整词性标注和隐藏状态限制，使多模态大语言模型生成冗长重复内容，导致资源耗尽和服务降级。

Comments Accepted to ICLR 2026. Code is available at: https://github.com/fuhaha824/LingoLoop-Attack

CogInstrument: Modeling Cognitive Processes for Bidirectional Human-LLM Alignment in Planning Tasks

CogInstrument: 为规划任务中的双向人-大语言模型对齐建模认知过程

Anqi Wang, Dongyijie Pan, Xin Tong, Pan Hui

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 CogInstrument通过认知动机建模实现人与大语言模型在规划任务中的双向对齐，通过可编辑的图形结构揭示隐含推理过程，提升用户对协作的控制力和信任度。

Q-Agent: Quality-Driven Chain-of-Thought Image Restoration Agent through Robust Multimodal Large Language Model

Q-Agent：通过鲁棒多模态大语言模型实现质量驱动的推理图像修复代理

Yingjie Zhou, Jiezhang Cao, Farong Wen, Zicheng Zhang, Yu Zhou, Yue Shi, Xiaohong Liu, Radu Timofte, Luc Van Gool, Guangtao Zhai

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract)

AI总结 本文提出Q-Agent，通过Chain-of-Thought方法提升图像修复性能，结合鲁棒多模态大语言模型和客观图像质量评估，实现更高效的多退化处理。

Sat2Sound: A Unified Framework for Zero-Shot Soundscape Mapping

Sat2Sound：一种用于零样本声音景观映射的统一框架

Subash Khanal, Srikumar Sastry, Aayush Dhakal, Adeel Ahmad, Abby Stylianou, Nathan Jacobs

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Taylor Geospatial（泰勒地理空间） ； Saint Louis University（圣路易斯大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Sat2Sound通过融合多模态数据，实现地球表面声音分布的零样本映射，通过对比学习和代码本对齐学习发现跨模态的'声音景观概念'，在GeoSound和SoundingEarth基准上取得最佳性能。

Comments Accepted to EarthVision 2026

Environmental Footprint of GenAI Research: Insights from the Moshi Foundation Model

生成式AI研究的环境足迹：来自Moshi基金会模型的洞察

Marta López-Rauhut, Loic Landrieu, Mathieu Aubry, Anne-Laure Ligozat

机构 * LIGM, CNRS, Univ Gustave Eiffel, ENPC, Institut Polytechnique de Paris（LIGM, CNRS, 古斯塔夫·埃菲尔大学, ENPC, 巴黎综合理工学院） ； Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学, CNRS, LISN） ； Université Paris-Saclay, CNRS, ENSIIE, LISN（巴黎-萨克雷大学, CNRS, ENSIIE, LISN） ； Kyutai 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.AI

AI总结 本文通过细粒度分析Moshi模型的计算消耗，首次量化了生成式多模态大语言模型（MLLM）研究的环境影响，揭示了计算密集型研究的能耗与环境成本，为可持续AI研究提供指导。

Comments 28 pages, 12 figures, 8 tables

Radiology Report Generation for Low-Quality X-Ray Images

低质量X光图像的放射科报告生成

Hongze Zhu, Chen Hu, Jiaxuan Jiang, Hong Liu, Yawen Huang, Ming Hu, Tianyu Wang, Zhijian Wu, Yefeng Zheng

机构 * Westlake University（西湖大学） ； Tencent Jarvis Lab（腾讯贾维斯实验室） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出针对低质量图像的稳健报告生成框架，通过双循环训练策略提升模型在不同图像质量下的诊断能力。

On The Application of Linear Attention in Multimodal Transformers

多模态Transformer中线性注意力的应用

Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

机构 * University of Maryland（马里兰大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 本文研究了线性注意力在多模态框架中的应用，通过减少计算开销并保持性能，证明了线性注意力在多模态Transformer中的有效性。

Comments Workshop on Any-to-Any Multimodal Learning (Any2Any), CVPR 2026

What do your logits know? (The answer may surprise you!)

你的logits知道什么？（答案可能让你吃惊！)

Masha Fedzechkina, Eleonora Gualdoni, Rita Ramos, Sinead Williamson

机构 * Apple（苹果公司） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI

AI总结 本文通过视觉语言模型探讨不同表征层级中信息压缩的泄露问题，揭示了通过top-k logit和低维投影可能泄露任务无关信息的核心发现。