视觉大模型 / VLM

Noise-aware few-shot learning through bi-directional multi-view prompt alignment

通过双向多视图提示对齐实现噪声感知的少样本学习

Lu Niu, Cheng Xue

机构 * Southeast University（东南大学） ； AIIA, Ministry of Education, China（教育部人工智能研究院，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 NA-MVP通过双向多视图提示对齐实现噪声感知少样本学习，有效区分干净与噪声线索，提升模型在噪声环境下的鲁棒性。

Frequency-Modulated Visual Restoration for Matryoshka Large Multimodal Models

频率调制的视觉修复用于Matryoshka大多模态模型

Qingtao Pan, Zhihao Dou, Shuo Li

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

AI总结 本文提出FMVR策略，通过频率调制修复视觉语义，提升LMMs在减少视觉token时的推理能力，并在多个基准测试中验证其有效性。

SOTA: Self-adaptive Optimal Transport for Zero-Shot Classification with Multiple Foundation Models

SOTA: 自适应最优传输用于多基础模型的零样本分类

Zhanxuan Hu, Qiyu Xu, Yu Duan, Yonghang Tai, Huafeng Li

机构 * Yunnan Normal University（云南师范大学） ； Xidian University（西安电子科技大学） ； Xi’an University of Posts and Telecommunications（西安邮电大学） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 SOTA通过自适应最优传输方法整合多基础模型，提升零样本分类性能。

The Neural Compass: Probabilistic Relative Feature Fields for Robotic Search

神经罗盘：基于概率相对特征场的机器人搜索

Gabriele Somaschini, Adrian Röfer, Abhinav Valada

机构 * Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.LG

AI总结 本文提出ProReFF模型，通过概率相对特征场实现机器人搜索任务中的高效物体定位，实验表明其在模拟环境中比基线方法更高效，接近人类水平性能。

Comments 9 pages, 7 figures, 2 tables, submitted to IROS 2026

A Cortically Inspired Architecture for Modular Perceptual AI

一种模块化感知人工智能的皮层启发架构

Prerna Luthra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出了一种受皮层启发的模块化感知人工智能架构，通过分解感知为专门模块，提升可解释性和推理透明度。

Comments Accepted to the ICLR 2026 Workshop on "From Human Cognition to AI Reasoning: Models, Methods, and Applications (HCAIR)"

PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning

PromptGate：面向开放集联邦主动学习的客户端自适应视觉语言门控

Adea Nesturi, David Dueñas Gaviria, Jiajun Zeng, Shadi Albarqouni

机构 * University of Bonn（波恩大学） ； University Hospital Bonn（波恩大学医院） ； Clinic for Diagnostic and Interventional Radiology（诊断与介入放射科诊所） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 PromptGate通过动态视觉语言模型门控框架提升开放集联邦主动学习的标注效率，实现高纯度和高召回率的样本筛选。

Comments 3 Figures, 2 Tables, 10 pages

Self-Supervised Multi-Modal World Model with 4D Space-Time Embedding

具有4D空间-时间嵌入的自监督多模态世界模型

Lance Legel, Qin Huang, Brandon Voelker, Daniel Neamati, Patrick Alan Johnson, Favyen Bastani, Jeff Rose, James Ryan Hennessy, Robert Guralnick, Douglas Soltis, Pamela Soltis, Shaowen Wang

机构 * Ecological Intelligence Lab（生态智能实验室） ； School of Complex Adaptive Systems（复杂适应系统学院） ； University of Houston（休斯顿大学） ； Geosensing Systems Engineering & Sciences Lab（传感系统工程与科学实验室） ； Stanford University（斯坦福大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） ； Spatial Intelligence Lab（空间智能实验室） ； Department of Computer Science（计算机科学系） ； Georgia Institute of Technology（佐治亚理工学院） ； Florida Museum of Natural History（佛罗里达自然历史博物馆） ； University of Florida（佛罗里达大学） ； NSF Institute for Geospatial Understanding（国家科学基金会地理理解研究所） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 DeepEarth通过4D空间-时间嵌入实现自监督多模态世界模型，在生态预测中取得最佳性能。

Comments 8 pages, 5 figures, 1 table. Presented at 2026 World Modeling Workshop, Mila Quebec

SIQA: Toward Reliable Scientific Image Quality Assessment

SIQA：迈向可靠的科学图像质量评估

Wenzhe Li, Liang Chen, Junying Wang, Yijing Guo, Ye Shen, Farong Wen, Chunyi Li, Zicheng Zhang, Guangtao Zhai

机构 * TongJi University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 SIQA提出了一种多维框架，通过SIQA-U和SIQA-S评估科学图像的科学正确性和感知清晰度，揭示模型在评分一致性与科学理解上的差异。

Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling

适配器增强的带状机用于在线多约束多模态推断调度

Xianzhi Zhang, Yue Xu, Yinlin Zhu, Di Wu, Yipeng Zhou, Miao Hu, Guocong Quan

机构 * School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, 510006, China.（中山大学计算机科学与工程学院） ； School of Computing, Macquarie University, NSW 2109, Australia（麦考瑞大学计算机学院） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.LG

AI总结 M-CMAB通过多适配器增强框架，实现多模态任务调度中的多约束优化，提升推断效率和预算利用效率。

FontUse: A Data-Centric Approach to Style- and Use-Case-Conditioned In-Image Typography

FontUse: 一种以数据为中心的方法用于风格和使用场景条件下的图像内字体设计

Xia Xin, Yuki Endo, Yoshihiro Kanamori

机构 * University of Tsukuba（茨口大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 FontUse提出了一种以数据为中心的方法，通过构建大规模字体数据集并结合多模态模型，提升文本生成中字体风格和使用场景的控制能力。

SPINE: Token-Selective Test-Time Reinforcement Learning with Entropy-Band Regularization

SPINE：基于熵带正则化的令牌选择性测试时间强化学习

Jianghao Wu, Yasmeen George, Jin Ye, Yicheng Wu, Daniel F. Schmidt, Jianfei Cai

机构 * Monash University（墨尔本大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.LG

AI总结 SPINE通过令牌选择性和熵带正则化提升测试时间推理稳定性与效果。

Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs

重新思考多模态大语言模型中视觉编码器混合范式以提升视觉理解

Mozhgan Nasr Azadani, James Riddell, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 LEO通过轻量级融合设计提升多模态大语言模型的视觉理解能力，并在自动驾驶领域展现良好泛化性能。

Comments Accepted by TMLR

Why Is RLHF Alignment Shallow? A Gradient Analysis

为什么RLHF对齐是浅层的？一种梯度分析

Robin Young

机构 * Department of Computer Science and Technology University of Cambridge（计算机科学与技术系剑桥大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文通过梯度分析揭示RLHF对齐浅层的原因，提出有害信息概念并设计新的目标以实现深层对齐。

EasyAnimate: High-Performance Video Generation Framework with Hybrid Windows Attention and Reward Backpropagation

EasyAnimate：基于混合窗口注意力和奖励反向传播的高性能视频生成框架

Jiaqi Xu, Kunzhe Huang, Xinyi Zou, Yunkuo Chen, Bo Liu, MengLi Cheng, Jun Huang, Xing Shi

机构 * Alibaba Cloud（阿里云） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 EasyAnimate通过混合窗口注意力和奖励反向传播提升视频生成效率与质量，实现高性能视频生成。

Comments 10 pages, 8 figures, ACM MM 2025

Factuality Matters: When Image Generation and Editing Meet Structured Visuals

事实性至关重要：当图像生成与编辑遇见结构化视觉

Le Zhuo, Songhao Han, Yuandong Pu, Boxiang Qiu, Sayak Paul, Yue Liao, Yihao Liu, Jie Shao, Xi Chen, Si Liu, Hongsheng Li

机构 * CUHK MMLab（香港大学多模态实验室） ； Beihang University（北京航空航天大学） ； Krea AI（Krea人工智能） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； Hugging Face ； National University of Singapore（新加坡国立大学） ； ByteDance（字节跳动） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出了一种统一模型，通过整合视觉语言模型和FLUX.1 Kontext，提升结构化视觉生成与编辑的多模态理解与事实准确性。

Comments Accepted by ICLR 2026, Project page: https://structvisuals.github.io

Why 1 + 1 < 1 in Visual Token Pruning: Beyond Naive Integration via Multi-Objective Balanced Covering

为何1+1<1在视觉令牌修剪中：通过多目标平衡覆盖超越简单整合

Yangfu Li, Hongjian Zhan, Tianyi Chen, Qi Liu, Yue Lu

机构 * East China Normal University（华东师范大学） ； Shanghai Jiao Tong University（上海交通大学） ； Chongqing Institute of East China Normal University（华东师范大学重庆研究院） ； Shanghai University of Engineering Science（上海工程技术大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

AI总结 MoB通过多目标平衡覆盖方法，解决视觉令牌修剪中提示对齐与视觉保留的权衡问题，实现高效且高性能的修剪效果。

Comments 31 pages,9 figures,conference

Journal ref Advances in Neural Information Processing Systems 39 (NeurIPS 2025)

GENAI WORKBENCH: AI-Assisted Analysis and Synthesis of Engineering Systems from Multimodal Engineering Data

GenAI Workbench: 人工智能辅助从多模态工程数据中分析和合成工程系统

H. Sinan Bank, Daniel R. Herber

机构 * Colorado State University（科罗拉多州立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 GenAI Workbench通过整合AI技术，实现从多模态工程数据中辅助分析和合成工程系统，促进更集成和数据驱动的工程设计方法。

Comments 7 pages, 3 figures, accepted to be presented at IISE Annual Conference 2026

Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches

基于多模态大语言模型的实时游戏视频解说生成：暂停感知解码方法

Anum Afzal, Yuki Saito, Hiroya Takamura, Katsuhito Sudoh, Shinnosuke Takamichi, Graham Neubig, Florian Matthes, Tatsuya Ishigaki

机构 * School of CIT, Technical University of Munich（慕尼黑技术大学计算机信息学院） ； National Institute of Advanced Industrial Science（国家工业科学与技术研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出两种基于提示的解码方法，利用多模态大语言模型实现实时游戏视频解说生成，通过动态间隔调整提升时间相关性与内容准确性。

Comments Accepted at LREC2026

Reason Like a Radiologist: Chain-of-Thought and Reinforcement Learning for Verifiable Report Generation

像放射科医生一样推理：用于可验证报告生成的推理链和强化学习

Peiyuan Jing, Kinhei Lee, Zhenxuan Zhang, Huichi Zhou, Zhengqing Yuan, Zhifan Gao, Lei Zhu, Giorgos Papanastasiou, Yingying Fang, Guang Yang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 BoxMed-RL通过推理链和强化学习生成可验证的放射科报告，提升报告的准确性和可解释性。

Spotlight on Token Perception for Multimodal Reinforcement Learning

多模态强化学习中的token感知聚焦

Siyuan Huang, Xiaoye Qu, Yafu Li, Yun Luo, Zefeng He, Daizong Liu, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） ； Wuhan University（武汉大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VPPO算法，通过token感知优化提升多模态强化学习的视觉推理能力。

Comments Accepted by ICLR 2026, project page: https://github.com/huaixuheqing/VPPO-RL

NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code

NERFIFY：一个将NeRF论文转化为代码的多智能体框架

Seemandhar Jain, Keshav Gupta, Kunal Gupta, Manmohan Chandraker

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 NERFIFY通过多智能体框架将NeRF论文转化为可训练的代码，提升复现效率和质量。

Comments Accepted to CVPR 2026. Project page: https://seemandhar.github.io/NERFIFY/

SesaHand: Enhancing 3D Hand Reconstruction via Controllable Generation with Semantic and Structural Alignment

SesaHand: 通过语义和结构对齐可控生成增强3D手重建

Zhuoran Zhao, Xianghao Kong, Linlin Yang, Zheng Wei, Pan Hui, Anyi Rao

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Communication University of China（中国通信大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 SesaHand通过语义和结构对齐提升可控手部生成，优化3D手重建性能。

Footprint-Guided Exemplar-Free Continual Histopathology Report Generation

足迹引导的无示例持续病理报告生成

Pratibha Kumari, Daniel Reisenbüchler, Afshin Bozorgpour, yousef Sadegheih, Priyankar Choudhary, Dorit Merhof

机构 * Faculty of Informatics and Data Science, University of Regensburg, Germany（信息学与数据科学学院，雷根萨大学） ； Indian Institute of Information Technology Bhopal, India（比哈尔信息学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种无示例的持续学习框架，通过构建紧凑的领域足迹实现WSI到报告的生成，支持生成性重放并适应变化的临床报告规范。

Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities?

统一的生成与理解模型能否在不同输出模态间保持语义等价性？

Hongbo Jiang, Jie Li, Yunhang Shen, Pingyang Dai, Xing Sun, Haoyu Cao, Liujuan Cao

机构 * Tencent Youtu Lab（腾讯云图实验室） ； Xiamen University（厦门大学） ； Computing Lab, Department of Artificial Intelligence, School of Informatics（计算实验室，人工智能系，信息学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本研究探讨统一生成与理解模型在不同输出模态间保持语义等价性的能力，发现其在视觉回答任务中存在性能下降问题，原因在于跨模态语义对齐的失效。

Comments Equal contribution by Jie Li

SPATIALALIGN: Aligning Dynamic Spatial Relationships in Video Generation

SPATIALALIGN: 视频生成中动态空间关系的对齐

Fengming Liu, Tat-Jen Cham, Chuanxia Zheng

机构 * College of Computing（计算学院） ； Data Science, Nanyang Technological University, 50 Nanyang Avenue, Singapore 639798（数据科学，南洋理工大学，50 Nanyang Avenue，新加坡639798） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 SPATIALALIGN通过引入DSR-SCORE和DPO方法，提升文本到视频生成中动态空间关系的对齐能力。

Comments Project page: https://fengming001ntu.github.io/SpatialAlign/

Enhancing CLIP Robustness via Cross-Modality Alignment

通过跨模态对齐增强CLIP鲁棒性

Xingyu Zhu, Beier Zhu, Shuo Wang, Kesen Zhao, Hanwang Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 COLA通过跨模态对齐提升CLIP对抗鲁棒性，有效缓解对抗扰动导致的特征不一致问题，提升零样本分类性能。

Comments NeurIPS 2025 Spotlight

Sparsity Forcing: Reinforcing Token Sparsity of MLLMs

稀疏性强制：强化多模态大语言模型的token稀疏性

Feng Chen, Yefei He, Lequan Lin, Chenhui Gou, Jing Liu, Bohan Zhuang, Qi Wu

机构 * AIML, University of Adelaide, Australia（AIML，澳大利亚阿德莱德大学） ； ZIP Lab, Zhejiang University, China（浙江工业大学ZIP实验室） ； University of Sydney, Australia（悉尼大学） ； Monash University, Australia（墨尔本大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本文提出Sparsity Forcing方法，通过强化学习框架在多模态大语言模型中提升token稀疏性，实现75%的token减少与极小的精度损失。

Comments Accepted by ICLR 2026

Visual Instruction Pretraining for Domain-Specific Foundation Models

面向领域特定基础模型的视觉指令预训练

Yuxuan Li, Yicheng Zhang, Wenhao Tang, Yimian Dai, Ming-Ming Cheng, Xiang Li, Jian Yang

机构 * PCA Lab, VCIP, Computer Science, NKU, Tianjin, China（PCA实验室、VCIP、计算机科学、NKU、天津，中国） ； NKIARI, Futian, Shenzhen, China（NKIARI、福田、深圳，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ViTP，通过视觉指令预训练提升领域特定基础模型的感知与推理能力，在多个遥感和医学影像任务中取得新的最先进性能。

RAGdb: A Zero-Dependency, Embeddable Architecture for Multimodal Retrieval-Augmented Generation on the Edge

RAGdb: 一种无依赖、可嵌入的多模态检索增强生成边缘计算架构

Ahmed Bin Khalid

机构 * SKAS IT 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 RAGdb通过单文件SQLite容器实现多模态检索增强生成，无需GPU推理，提升边缘计算效率与数据主权

Comments 6 pages, 2 tables

TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation

TherA: 用于可控RGB到热红外转换的热感知视觉-语言提示

Dong-Guw Lee, Tai Hyoung Rhee, Hyunsoo Jang, Young-Sik Shin, Ukcheol Shin, Ayoung Kim

机构 * Seoul National University（首尔国立大学） ； Kyungpook National University（庆北国立大学） ； KENTECH 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 TherA通过热感知视觉-语言提示方法，实现了可控的RGB到热红外转换，提升了翻译性能和细粒度控制能力。