视觉大模型 / VLM

Stable-Layers: Fine-Tuning Image Layer Decomposition Models with VLM-Scored Reinforcement Learning

Stable-Layers: 使用VLM评分强化学习微调图像层分解模型

Ciara Rowles, Reshinth Adithyan, Nikhil Pinnaparaju, Vikram Voleti, Mark Boss

机构 * Stability AI 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出Stable-Layers框架，通过强化学习（Flow-GRPO）和视觉语言模型（VLM）评分，无需配对监督即可微调预训练层分解模型，解决评分信号方差不足问题，提升层分离质量和重建精度。

Comments 25 pages, 8 figures, 4 tables. Project page: https://stability-ai.github.io/stable-layers.github.io/

OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning

OccamToken: 无需训练且预算自适应的令牌剪枝实现高效VLM推理

Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

机构 * Nanyang Technological University (NTU)（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出OccamToken框架，通过寄存器锚定的相对证据测试替代绝对排名范式，实现无需训练、自适应预算的视觉令牌剪枝，在保持高精度的同时大幅压缩令牌数量。

Comments 26 pages,8 figures

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM：面向高效视觉-语言模型推理的非对称令牌剪枝

Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对视觉和文本令牌在预填充与解码阶段的不同特性，提出非对称剪枝方法AsymVLM，通过视觉令牌的激进剪枝和文本令牌的基于阈值的驱逐，实现高达54%的FLOPs节省并在文档和图表理解任务上提升2-3%的准确率。

Multi-Turn Adaptive Prompting Attack on Large Vision-Language Models

多轮自适应提示攻击对大型视觉-语言模型

In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

机构 * The University of Melbourne（墨尔本大学） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 提出多轮自适应提示攻击（MAPA），通过交替文本-视觉攻击动作和跨轮迭代调整攻击轨迹，显著提升对大型视觉-语言模型的多轮越狱攻击成功率。

The Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems

视觉虫洞：异构多智能体系统中的潜在空间通信

Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin Jung, Matt Fredrikson, Xiaoqian Wang, Jing Gao

机构 * Purdue University（普渡大学） ； Contextual AI（情境人工智能） ； Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出Vision Wormhole框架，通过通用视觉编解码器将推理轨迹映射到共享连续空间，实现异构VLM间的潜在状态传输，无需配对翻译器，降低对齐复杂度并提升效率。

Comments Preprint. Work in progress

Multimodal LLMs See Sentiment

多模态大语言模型感知情感

Neemias B. da Silva, John Harrison, Rodrigo Minetto, Myriam R. Delgado, Bogdan T. Nassu, Thiago H. Silva

机构 * Universidade Tecnológica Federal do Paraná（联邦技术大学帕拉纳州大学） ； University of Toronto（多伦多大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文通过系统评估研究，探讨多模态大语言模型在图像情感分析中的三种方法，发现基于MLLM描述的两阶段流水线在微调后性能显著优于传统基线。

Comments 24 pages, 7 figures

LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

LoMo: 局部模态替换以实现更深的视觉-语言融合

Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对视觉-语言模型在模态替换时性能下降的“载体敏感性”问题，提出局部模态替换（LoMo）数据策展范式，通过将文本片段动态渲染为图像来训练跨模态表示不变性，显著提升多模态推理与融合效果。

SAVAA: Mitigating Hallucinations in LVLMs via Step-wise Adaptive Visual Attention Amplification

SAVAA: 通过逐步自适应视觉注意力放大减轻LVLMs中的幻觉

Jiacheng Zhang, Feng Liu, Chao Du, Tianyu Pang

机构 * Sea AI Lab（海思人工智能实验室） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出SAVAA框架，通过视觉接地熵估计幻觉风险并自适应调整视觉注意力放大因子，在多个基准上显著减轻大型视觉语言模型的幻觉。

PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding

PARCEL: 基于池锚定的条件弹性查询重采样以实现高效视觉-语言理解

Selim Kuzucu, Alessio Tonioni, Vasile Lup, Bernt Schiele, Federico Tombari, Muhammad Ferjad Naeem

机构 * Max Planck Institute for Informatics（马克斯·普朗克研究所） ； Google（谷歌） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出PARCEL视觉分词架构，通过池锚定和条件弹性查询重采样解决视觉令牌压缩中的空间与查询表示冲突，在27个基准上提升性能-效率帕累托前沿。

Comments 33 pages, 4 figures

Modality Alignment across Trees on Heterogeneous Hyperbolic Manifolds

异质双曲流形上的树间模态对齐

Wei Wu, Xiaomeng Fan, Yuwei Wu, Zhi Gao, Pengxiang Li, Yunde Jia, Mehrtash Harandi

机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Electrical and Computer System Engineering, Monash University（电子与计算机系统工程系，墨尔本大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出一种在异质双曲流形上对齐图像和文本树状层次特征的方法，通过交叉注意力提取视觉层次特征、异质流形嵌入及KL距离度量学习中间流形，在开放集分类任务中优于基线。

Comments Published as a conference paper at ICLR 2026

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026), Rio de Janeiro, Brazil, 2026

EarlyTom: Early Token Compression Completes Fast Video Understanding

EarlyTom: 早期令牌压缩实现快速视频理解

Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 针对视频大语言模型中视觉编码阶段效率低下的问题，提出EarlyTom无训练令牌压缩框架，通过在视觉编码器内部进行早期压缩，显著降低首令牌延迟并提升吞吐量。

Comments Accepted by CVPR 2026. 16 pages, 8 figures, 8 tables. Project page: https://viridisgreen.github.io/EarlyTom

Improving CLIP Adaptation by Breaking Tail Alignment for Source-Free Cross-Domain Few-Shot Learning

通过打破尾部对齐改进CLIP适应：用于源无关跨域小样本学习

Shuai Yi, Yixiong Zou, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan, China（华中科技大学计算机科学与技术学院） ； Institute of Artificial Intelligence, Huazhong University of Science and Technology, Wuhan, China（华中科技大学人工智能研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对CLIP在跨域小样本学习中的性能下降问题，提出自适应尾头对齐策略（ATHA），通过有选择地削弱低相似度图像令牌的对齐来减少过拟合，在四个基准上取得最优结果。

Comments Accepted by ICML 2026

Source-Grounded Semantic Reinforcement Learning for Low-Resource Target-Language Generation

源语言锚定的语义强化学习用于低资源目标语言生成

Zeli Su, Ziyin Zhang, Zewei Pan, Zhou Liu, Dingcheng Huang, Dehan Li, Zhankai Xu, Longfei Zheng, Xiaolu Zhang, Jun Zhou, Wentao Zhang

机构 * Minzu University of China（中国民族大学） ； Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出源语言锚定的语义强化学习（SG-SRL），通过跨语言语义奖励模型利用源语言单语数据，结合轻量级恢复阶段解决奖励黑客问题，在低资源目标语言生成中提升语义锚定和事实覆盖。

EvoMD-LLM: Learning the Language of Species Evolution in Reactive Molecular Dynamics

EvoMD-LLM：学习反应分子动力学中物种进化的语言

Zhichen Tang, Zhengzheng Dang, Yulin Chen, Jixin Wu, Haiwen Li, Yanming Wang

机构 * Global College, Shanghai Jiao Tong University（上海交通大学全球学院） ； Global Institute of Future Technology, Shanghai Jiao Tong University（上海交通大学未来技术全球研究院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出EvoMD-LLM框架，将反应分子动力学轨迹离散化为符号时间序列，通过时间脚手架机制使自回归大语言模型学习物种组成演化，在多项时间预测任务上优于基线模型，并能生成可解释性预测。

Comments 17 pages, ACL Findings

BCER Agent: Reliable Long-Horizon MRI Workflow Execution via Compilation, Artifact Binding, and Bounded Local Recovery

BCER Agent: 通过编译、工件绑定和有界局部恢复实现可靠的长期MRI工作流执行

Ziyang Long, Xinqi Li, Junzhou Chen, Yifan Gao, Debiao Li, Hsin-Jung Yang

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 提出BCER控制器架构，通过解耦高层规划与执行、有界局部恢复机制，在长链MRI工作流上实现端到端执行一致改进，并保持输出与中间工件的可审计关联。

Comments Pre-review submitted version of a paper accepted to MICCAI 2026. The final authenticated version will be available on SpringerLink

The Incommensurability Principle in Biological Transport

生物输运中的不可公度性原理

Riccardo Marchesi

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文提出一个网络级最小最大原理，证明哺乳动物血管树的分支指数普适性源于结构异质性和拓扑刚性，并通过粘性-惯性能量划分的双阈值框架解释了其发育稳定性。

Comments 46 pages, 2 figures. Paper IV in a series on branching transport networks, Supplemental Material available; see also arXiv:2603.13687 (Paper I), arXiv:2603.14691 (Paper II), and arXiv:2604.10476 (Paper III). Zenodo: https://doi.org/10.5281/zenodo.20030962

Scaling Multi-agent Systems: A Smart Middleware for Improving Agent Interactions

扩展多智能体系统：一种用于改善智能体交互的智能中间件

Charles Fleming, Guillaume De Saint Marc, Ramana Kompella, Peter Bosch, Vijoy Pandey

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出认知织物节点（CFN）中间件，通过强化学习和优化算法动态管理智能体间通信，在HotPotQA和MuSiQue数据集上性能提升超过10%。