视觉大模型 / VLM

MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning

MLLM-LLaVA-FL：多模态大语言模型辅助联邦学习

Jianyi Zhang, Hao Frank Yang, Ang Li, Xin Guo, Pu Wang, Haiming Wang, Yiran Chen, Hai Li

机构 * Duke University（杜克大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland College Park（马里兰大学学院市分校） ； Lenovo Research（联想研究院） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；MLLM(title,title_cn)；multimodal large language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对联邦学习中数据异质性问题，提出MLLM-LLaVA-FL框架，利用多模态大语言模型，通过全球视觉文本预训练、客户端本地训练和服务器端全局对齐三个阶段，提升联邦学习性能。

Comments Accepted to WACV 2025

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025)

AVA-VLM: Adaptive Visual Attention-Vision Language Model for In-the-Wild Construction Site Monitoring

AVA-VLM：用于野外建筑工地监测的自适应视觉注意力视觉语言模型

Younggun Kim, Taeheon Kim, Youngseo Kim, Seunghee Park

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； AI+KCIR Global Resilience Research Center（人工智能与韩国气候变化影响韧性研究中心） ； SmartInside AI Co., Ltd.（思玛特因赛德人工智能有限公司） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision language model(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对野外建筑工地监测，提出AVA-VLM自适应视觉注意力视觉语言模型，遵循粗到细推理策略，先对低分辨率全局图像推理，按需请求高分辨率局部裁剪，并引入区域感知思维链数据集，提升了低分辨率下的可靠性并减少视觉令牌使用。

A VLM-Enhanced Framework for Comprehensive Traffic Sign Condition Assessment Integrating Daytime Visual Performance and Nighttime Retroreflectivity Evaluation

一种用于综合交通标志状况评估的VLM增强框架，集成白天视觉性能和夜间逆反射率评估

Linlin Zhang, Neema Jakisa Owor, Xiang Yu, Abby Watts, Yaw Adu-Gyamfi

机构 * Department of Civil and Environmental Engineering University of Missouri- Columbia（土木与环境工程系密苏里大学哥伦比亚分校） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；LLaVA(summary_cn,abstract)；InternVL(abstract,abstract_cn)；vision language model(abstract)

AI总结 研究开发用于综合评估交通标志状况的新框架，利用微调视觉语言模型评估白天视觉性能，结合激光雷达校准的逆反射率评估夜间性能，集成到标志状况指数，提供经济有效的评估方法，LLaVA和Qwen表现优，还标记出需更换的标志。

Comments 21 pages, 7 figures, 5 tables. Preprint. An earlier version of this work was presented at the 105th Annual Meeting of the Transportation Research Board (TRB), January 2026

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

Aura：通过基于VLM的语义对齐实现一致的多主体视频生成

Zixiang Zhou, Zhentao Yu, Yifeng Ma, Hongmei Wang, Wenqing Yu, Cong Wang, Zilin Yang, Rui Chen, Jiarong Ou, Yezhou Liu, Yuan Zhou, Qinglin Lu

机构 * Tencent Hunyuan（腾讯混元） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出Aura框架用于高保真和身份一致的视频生成，引入AI导演级字幕、利用VLM提取多模态语义特征，设计对齐策略，采用多种机制减少伪影，在多主体视频生成上达先进性能。

Comments Project page: https://aura-project-page.github.io/ Code: https://github.com/Camellia997/Aura

FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models

FailSafe: 视觉-语言-动作模型中的失败推理与恢复

Zijun Lin, Jiafei Duan, Haoquan Fang, Dieter Fox, Ranjay Krishna, Cheston Tan, Bihan Wen

机构 * Nanyang Technological University（南洋理工大学） ； Centre for Frontier AI Research, A*STAR（A*STAR前沿人工智能研究中心） ； Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；LLaVA(summary_cn,abstract)；vision-language model(abstract)

AI总结 提出FailSafe系统，自动生成多样化失败案例及可执行恢复动作，微调LLaVA-OV-7B构建FailSafe-VLM，使机器人检测并恢复失败，在ManiSkill任务上平均提升三个VLA模型性能达22.6%。

Comments IROS 2026. Project Page: https://jimntu.github.io/FailSafe

MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation

MonoIR-RS：基于CLIP和VLM适配的红外遥感视觉语言学习

Jiaju Han, Ma Yaqi, Yahui Chai, Xuemeng Sun, Xin Li, Qike Zhang, Yingying Zhao, Xiang Chen, Luwei Yang, Chengyin Hu, Jiahuan Long

机构 * China University of Petroleum-Beijing at Karamay（中国石油大学（北京）克拉玛依校区） ； Guizhou University（贵州大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV

AI总结 研究针对红外视觉语言理解未充分探索的问题，提出MonoIR-RS数据集及基准，结合多种方法构建并微调模型，提升红外遥感视觉语言学习性能，为红外与语言对齐提供可控测试平台。

FADE: Mitigating Hallucinations by Reducing Language-Prior Dominance in Large Vision-Language Models

FADE: 通过减少大型视觉语言模型中的语言先验主导性来缓解幻觉

Yichen Guo, Kai Tang, Fenglai Lin, Yiding Sun, Dongxu Zhang, Wenya Wang, Lin William Cong, Shanghang Zhang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过分析信息流，发现FFN模块在关键层引入语言先验，主导视觉证据，导致幻觉；提出无需训练的FADE方法衰减FFN输出，有效缓解幻觉并保持推理效率。

Comments 18 pages, 5 figures, 27 tables

SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

SAMPLe：基于SAM的视觉语言模型提示学习优化器

Hossein Rajoli, Fatemeh Lotfi, Niloufar Alipour Talemi, Hossein Kashiani, Xiaolong Ma, Fatemeh Afghah

机构 * Clemson University（克莱姆森大学） ； Siemens Energy (AI Lab)（西门子能源（人工智能实验室）） ； University of Arizona（亚利桑那大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究VLM提示学习中性能与泛化的困境，提出SAMPLe优化器，通过考虑损失曲面锐度平衡探索与利用，减少过拟合，提升泛对未见能力，在多种提示学习框架中表现出色，优于现有优化器。

Comments The manuscript has been accepted to ECCV and will be presented at the conference and published in the main proceedings

Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation

超人：统一骨骼与视觉用于人体运动感知与生成

Xinshun Wang, Peiming Li, Ziyi Wang, Zhongbin Fang, Zhichao Deng, Songtao Wu, Jason Li, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（通用人工智能国家重点实验室，北京大学深圳研究生院） ； Sony R&D Center（索尼研发中心） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 针对人体运动分析范式碎片化问题，提出Superman统一框架，通过视觉引导运动分词器创建跨模态运动词汇，训练单一MLLM架构处理多任务，实验表明该方法在运动任务中性能领先或具竞争力，为运动分析提供高效可扩展路径。

Structured-Condensed Prompt Tuning in Vision-Language Models for Fine-grained Image Recognition

用于细粒度图像识别的视觉语言模型中的结构化压缩提示调优

Xinda Liu, Qinyu Zhang, Weiqing Min, Guohua Geng, Shuqiang Jiang

机构 * School of Information Science and Technology, Northwest University（西北大学信息科学与技术学院） ； Laboratory of Intelligent Information Processing, Institute of Computing Technology（中国科学院计算技术研究所智能信息处理重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对细粒度图像识别中视觉语言模型捕捉细微差别能力有限的问题，提出结构化压缩提示调优（SCPT），通过语义关系编码和语义压缩损失增强语义结构建模，在多基准实验中有效减轻语义模糊性，取得领先性能。

Bridging Physical Reasoning and Task Generalization via Visual Action Outcome Reasoning Alignment

通过视觉动作结果推理对齐实现物理推理与任务泛化的桥梁

Han-Jun Ko, Jr-Jen Chen, Haobo Yuan, Hsin-Ying Lee, Tiancheng Shen, Ming-Hsuan Yang, Yu-Chiang Frank Wang

机构 * National Taiwan University（国立台湾大学） ； The University of California, Merced（加州大学默塞德分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉语言模型在物理推理中难以泛化的问题，提出VAORA奖励设计，包括视觉对齐奖励和视觉-动作对齐奖励，通过预训练专家估计概率实现平滑密集奖励，经实验验证可有效提升模型在新任务和未见环境中的物理推理性能。

Comments ICML'26 Workshop RLxF: Reinforcement Learning from World Feedback

BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

BigMac: 打破多模态大语言模型训练中的计算与内存帕累托前沿

Zili Zhang, Chengxu Yang, Shenglong Zhang, Chenyu Wang, Yufan Zhang, Tuo Dai, Zhouyang Li, Yuhong Ge, Chao Jin, Xin Jin, Yuliang Liu

机构 * Peking University（北京大学） ； Independent Researcher（独立研究员） ； Xiaohongshu, Inc（小红书公司） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG

AI总结 提出BigMac训练流水线，通过嵌套编码器和生成器计算到LLM流水线中，同时优化计算效率和内存使用，打破帕累托前沿。

Dynamic Cluster Data Sampling for Efficient and Long-Tail-Aware Vision-Language Pre-training

动态聚类数据采样用于高效且长尾感知的视觉-语言预训练

Mingliang Liang, Zhuoran Liu, Arjen P. de Vries, Martha Larson

机构 * Institute for Computing and Information Sciences（计算与信息科学研究所） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出动态聚类采样方法DynamiCS，通过动态调整数据分布平衡语义长尾概念，降低训练成本并提升长尾概念表现。

Comments Accepted by ECCV 2026

DexTele: A Dual-Arm Dexterous Teleoperation System Based on Motion Retargeting and Adaptive Force Control

DexTele：一种基于运动重定向和自适应力控制的双臂灵巧遥操作系统

Yuanchuan Lai, Qing Gao, Ziyan Liang, Xianfeng Cheng, Junjie Hu, Zhaojie Ju

机构 * School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（人工智能学院，香港中文大学（深圳）） ； School of Computing, University of Portsmouth（计算学院，朴茨茅斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 研究针对双臂灵巧遥操作中运动重定向和抓取的挑战，提出DexTele系统，通过视觉运动重定向模块和自适应抓取模块，结合运动图编码器、视觉语言模型等技术，实现多平台精确运动重定向与柔顺抓取。

Orthogonal Dendritic Intrinsic Networks: An Architecture for Significance-Ordered, Orthogonal Latent Spaces

正交树突内在网络：一种用于重要性排序、正交潜在空间的架构

Jeanie Schreiber, Tyrus Berry, Zeeshan Ahmed

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 研究旨在解决深度自动编码器架构中PCA属性难实现的问题，提出ODIN架构，通过纳入几何约束使潜在维度正交且按方差排序，兼具PCA可解释性与深度网络表达力，还给出理论依据及合成与真实数据集实证结果。

Nested Episodic State Topology (NEST): A Graph-Theoretic Architecture of Cognitive States

嵌套情节状态拓扑（NEST）：认知状态的一种图论架构

Ishant

机构 * Ishant（独立研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究提出NEST图论架构用于认知建模，将概念等表示为带类型加权图，通过多种运算符和工具包构成核心，还包括现象签名等实例化内容，为后续相关工作提供透明表示基础。

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion：一种统一自回归、扩散和自推测解码的三模式语言模型

Yonggan Fu, Lexington Whalen, Abhinav Garg, Chengyue Wu, Maksim Khadkevich, Nicolai Oswald, Enze Xie, Daniel Egert, Sharath Turuvekere Sreenivas, Shizhe Diao, Chenhan Yu, Ye Yu, Weijia Chen, Sajad Norouzi, Jingyu Liu, Shiyi Lan, Ligeng Zhu, Jin Wang, Jindong Jiang, Morteza Mardani, Mehran Maghoumi, Song Han, Ante Jukić, Nima Tajbakhsh, Jan Kautz, Pavlo Molchanov

机构 * Nemotron-Labs（Nemotron实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 介绍了统一AR、扩散和自推测解码的三模式语言模型Nemotron-Labs-Diffusion，通过联合目标训练，能切换模式。研究表明其目标互补，自推测模式表现优，有长期潜力，该模型家族在精度和速度上优于现有开源模型。

Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing

解码多模态思维：通过多模态对齐和自适应路由实现可泛化的脑到文本翻译

Chunyu Ye, Yunhao Zhang, Jingyuan Sun, Chong Li, Yang Zhao, Shaonan Wang

机构 * State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） ； Department of Language Science and Technology, Hong Kong Polytechnic University（香港理工大学语言科学与技术系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)

AI总结 该研究针对脑机接口从人脑解码语言的挑战，提出利用多模态大语言模型和路由模块的统一框架，通过多模态对齐和自适应路由将脑信号与多模态语义空间对齐，在fMRI等数据集实验中性能领先，还扩展到EEG和MEG数据，为现实应用提供灵活方案。

Comments Accepted to ACL 2026 Findings