视觉大模型 / VLM

More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning

更多结构，而非更多容量：用于视觉运动模仿学习的以对象为中心的表示

Yi Li, Alexandre Chapin, Liming Chen, Jan Peters, Alap Kshirsagar

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 研究视觉运动模仿学习，对比全局场景嵌入等传统视觉模型，测试以对象为中心的插槽表示，发现其结构优势，如更高成功率，还通过故障分类法分析故障类型，指出遮挡是主要瓶颈，为视觉运动模仿学习提供新方法和见解。

OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing

OmniOPSD：面向情感计算的理性特权在线自蒸馏

Zebang Cheng, Shuimu Chen, Boxue Yang, Yuanshen Guan, Jingyi Chen, Zheng Lian, Xiaojiang Peng, Fei Ma, LaiZhong Cui, Qi Tian

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen Technology University（深圳技术大学） ； Tongji University（同济大学） ； Huawei（华为） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大模型在复杂推理任务中奖励稀疏的问题，提出OmniOPSD框架，利用前沿模型生成的理性作为教师特权证据而非学生模仿目标，通过在线自蒸馏提供密集令牌级监督，在MER-UniBench上取得84.19平均分的最优性能。

Creativity from Friction: Human-AI Interaction for Exploratory Structural Design

摩擦产生创造力：用于探索性结构设计的人机交互

Ricardo Maia Avelino, Rita Sevastjanova, Tom Van Mele, Philippe Block, Mennatallah El-Assady

机构 * Block Research Group, Department of Architecture, ETH Zurich（建筑系，苏黎世联邦理工学院） ； IVIA Lab, Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 探讨当前生成式AI目标与结构设计师等创作者需求的偏差，提出允许受限人机共同创作的系统设计维度，通过试点设计界面和专家研究，展示其对设计空间探索的支持及设计师看法。

Comments Accepted at ICML 2026, Workshop on Human-AI Co-Creativity

Ego-Human Motion Prediction with 3D-Aware LLM

基于3D感知语言模型的自我-人类运动预测

Yujin Bae, Jaewoo Jeong, Hyeonseong Kim, Kuk-Jin Yoon

机构 * Visual Intelligence Lab., KAIST（视觉智能实验室，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 研究从自我中心视角预测人类运动问题，提出Ego3DLM模型，基于准确运动预测需3D环境理解及姿势语言整体预测原则，通过三阶段训练，在相关任务中取得领先性能，实现跨模态和时间一致的运动预测。

Comments Accepted to ECCV 2026

Orthogonal Dendritic Intrinsic Networks: An Architecture for Significance-Ordered, Orthogonal Latent Spaces

正交树突内在网络：一种用于重要性排序、正交潜在空间的架构

Jeanie Schreiber, Tyrus Berry, Zeeshan Ahmed

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 研究旨在解决深度自动编码器架构中PCA属性难实现的问题，提出ODIN架构，通过纳入几何约束使潜在维度正交且按方差排序，兼具PCA可解释性与深度网络表达力，还给出理论依据及合成与真实数据集实证结果。

Separating Representation from Reconstruction Enables Scalable Text Encoders

将表示与重建分离可实现可扩展的文本编码器

Megi Dervishi, Mathurin Videau, Yann LeCun

机构 * FAIR Meta ； New York University（纽约大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 研究发现自BERT以来编码器变化小，通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建，能提高掩码率和梯度收集效率，在相关基准测试中表现优异。

Identifiability Without Gaussianity: Symbolic World Models and Near-Infinite Temporal Consistency

无高斯假设的可识别性：符号世界模型与近无限时间一致性

Seth Dobrin, Łukasz Chmiel

机构 * Department of Computer Science, Stanford University（1 计算机科学系，斯坦福大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出物理基础符号架构（PGSA），证明其在非高斯动态系统中实现精确线性可识别性和近无限时间一致性，克服了统计世界模型的高斯边界限制。

Comments Pre-print

DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction

DeepGaze3.5-VL: 通过自回归标记预测建模扫描路径

Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

机构 * IMPRS-IS 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 将扫描路径预测建模为离散序列任务，利用视觉语言模型的预训练表示，通过简单提示实现个性化偏置和任务特定目标，在MIT1003上信息增益达2.18比特，比DeepGaze III提升46%。

PARTREP: Learning What to Repeat for Decoder-only LLMs

PARTREP: 学习在仅解码器LLM中重复什么

Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee

机构 * Bandung Institute of Technology（万隆理工学院） ； Pohang University of Science and Technology（浦项科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 针对仅解码器LLM因果注意力导致的信息流不对称问题，提出PartRep方法，通过选择最不可预测的token进行重复，在保留大部分性能提升的同时显著降低KV缓存和预计算开销。

Comments 15 pages and 7 figures (including appendix)

Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning

增强视听视频字幕的时间与跨模态对齐

Chen Zhao, Jiajun Ma, Qilong Huang, Tiehan Fan, Hongyu Li, Zhuoliang Kang, Xiaoming Wei, Jian Yang, Ying Tai

机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。

Comments ECCV 2026

Structuring the Space of Sociotechnical Alignment

构建社会技术对齐的空间

Esra Dönmez, Agnieszka Falenska

机构 * Institute for Natural Language Processing, University of Stuttgart（语言处理研究所，斯图加特大学） ； Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart（智能系统反思论坛，斯图加特大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出一个以人为中心的社会技术对齐框架，通过社会科学视角系统定义、论证和评估AI行为的合意性，并基于系统文献综述揭示当前对齐规范中的概念模糊问题。

Comments Preprint

Language-Assisted Super-Resolution from Real-World Low-Resolution Patches

语言辅助的真实世界低分辨率图像超分辨率

Joonkyu Park, Kyoung Mu Lee

机构 * IPAI, Seoul National University（首尔大学IPAI） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出LA-SR框架，利用视觉语言模型在语言空间中对齐LR和HR图像，通过语言内容损失和语言质量损失实现无配对真实LR图像的超分辨率。

Comments 19 pages

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

醒来触摸！多模态大语言模型中的掩码隔离触觉对齐学习

Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

机构 * Division of Artificial Intelligence & Software（人工智能与软件系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出Splash框架，通过参数空间划分（休眠/关键子空间）实现非破坏性触觉模态扩展，在不增加推理开销下保持视觉语言能力，在触觉基准上达到SOTA。

Comments ECCV 2026, Project page: http://mmai.ewha.ac.kr/splash/

Prompt2Effect: Training-Free Image-to-Video Model Specialization via LoRA Generation

Prompt2Effect: 通过LoRA生成实现免训练图像到视频模型特化

Xiaomeng Yang, Yanyu Li, Gordon Guocheng Qian, Ivan Skorokhodov, Viacheslav Ivanov, Avalon Vinella, Xuan Zhang, Yanzhi Wang, Sergey Tulyakov, Anil Kag

机构 * Northeastern University（东北大学） ； Snap Inc.（Snap公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出Prompt2Effect，一种权重驱动超网络，通过单次前向传播直接合成效果特定的LoRA权重，无需训练，在保持视频质量的同时将计算成本从56 GPU小时降至3.3秒。

Comments Accepted to ECCV 2026, project page: https://xiaomeng-yang.github.io/Prompt2Effect

ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs

ERA：基于熵引导的视觉令牌剪枝与修正注意力机制的高效多模态大语言模型

Yuhao Wang, Mu Qiao, Haiwen Diao, Yunzhi Zhuge, Pingping Zhang, Xindong Zhang, Lei Zhang, Huchuan Lu

机构 * School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出ERA框架，通过熵引导的视觉令牌剪枝和修正注意力机制，解决令牌减少导致的注意力对数坍塌问题，实现高效多模态大语言模型推理加速。

Comments 17 pages, 7 figures

UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization

UniCoder: 通过符号奖励和参考引导代码优化的统一视觉到代码生成

Yaozhi Zheng, Yilei Jiang, Manyuan Zhang, Yuxuan Wan, Kaituo Feng, Tianshuo Peng, Bo Zhang, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出UniCoder框架，通过符号属性对齐实现密集元素级奖励，并利用参考引导代码优化策略克服探索停滞，在多个基准上达到与专有模型相当的性能。

AC3S: Adaptive Conditioning for 3D-Aware Synthetic Data Generation

AC3S: 面向3D感知合成数据生成的自适应条件控制

Eric Ji, Qiran Hu, Wufei Ma, Sarthak Jain, Yingying Li, Minh N. Do, Yaoyao Liu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Johns Hopkins University（约翰霍普金斯大学） ； College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 提出AC3S框架，通过自适应条件控制模块调节ControlNet强度，结合多智能体视觉语言模型生成3D感知提示，实现高质量、结构对齐的合成图像生成。

Comments Accepted by ECCV 2026. Project page: https://ac3s.cvmlgroup.web.illinois.edu/

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

AVOC：通过检索启发的令牌压缩增强全模态大语言模型中的小时级音视频理解

Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Huawei Inc.（华为技术有限公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出AVOC框架，通过检索启发的令牌压缩模块，将多模态令牌压缩视为top-K检索问题，结合相关性、重要性和多样性三个标准，实现长时音视频理解，在小时级基准上取得最优性能。

The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications

认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现

Austin Hamilton, Ryan Singh, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。

Comments 10 pages, 3 figures

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

Co-policy: 响应式人机音乐共创框架

Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。

G-IdiomAlign: A Gloss-Pivoted Benchmark for Cross-Lingual Idiom Alignment

G-IdiomAlign：基于释义的跨语言习语对齐基准

Fengying Ye, Yanming Sun, Runzhe Zhan, Zheqi Zhang, Lidia S. Chao, Derek F. Wong

机构 * NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（NLP 2 CT实验室，计算机与信息科学系，澳门大学） ； Faculty of Arts and Humanities, University of Macau（人文学院，澳门大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出G-IdiomAlign基准，通过维基词典释义锚定习语，构建高置信度对齐集，并设计多项选择等价测试和释义对比生成协议，揭示大语言模型在习语翻译中的字面翻译偏差。

Comments Accepted to ACL 2026

CAPRA: Scaling Feedback on Software Architecture Deliverables with a Multi-Agent LLM System

CAPRA: 使用多智能体LLM系统对软件架构交付物进行反馈扩展

Marco Becattini, Niccolò Caselli, Matteo Minin, Roberto Verdecchia, Enrico Vicario

机构 * Department of Information Engineering, University of Florence, Florence, Italy（信息工程系，佛罗伦萨大学，意大利佛罗伦萨） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出CAPRA多智能体LLM系统，通过多模态文档提取、确定性证据锚定和一致性管理，自动生成软件架构交付物的个性化LaTeX反馈，在10份学生报告中满足88.8%的评估标准。

Comments Accepted for publication at the 38th International Conference on Software Engineering Education and Training

SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data

SpecAlign: 通过合成数据实现高效的大语言模型规范对齐

Wenjie Wang, Yue Huang, Zhengqing Yuan, Han Bao, Shiyi Du, Yuchen Ma, Yue Zhao, Yanfang Ye, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； Carnegie Mellon University（卡内基梅隆大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出规范对齐新范式，通过从规范文档合成数据（SpecAlign框架），结合结构化规则标注、可控规范实例化和多智能体对抗数据合成，生成细粒度偏好对，提升规则遵守度且不损害通用能力。

Comments 58 pages

RAVA: Retrieval-Augmented Viewpoint Alignment for Subject-Driven Image Generation

RAVA: 检索增强的视角对齐用于主题驱动图像生成

Qiwei Yan, Zhiqiang Yuan, Chongyang Li, Jiapei Zhang, Ying Deng, Jinchao Zhang, Jie Zhou

机构 * WeChat AI, Tencent Inc.（腾讯微信人工智能实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出RAVA框架，通过检索增强提供几何证据，解决跨主体视角对齐中的视角漂移和结构不匹配问题，在保持身份的同时实现可靠视角控制。

Combining Retrieval-Augmented Text Generation with LLMs for Reading Content Recommendations

结合检索增强文本生成与大型语言模型的阅读内容推荐

Sooyeon Kim, Piotr S. Maciąg

机构 * Institute of Computer Science, Warsaw University of Technology（计算机科学学院，华沙技术大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出结合检索增强生成（RAG）与大型语言模型的系统，通过四个模块实现个性化阅读内容生成，实验表明RAG将相关性和接地性提升26-35个百分点。

Listening with Attention: Entropy-Guided Explainability for Transformer-Based Audio Models

基于注意力的听觉：面向Transformer音频模型的熵引导可解释性

Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出LEAF-X框架，通过熵引导注意力加权、多层注意力展开和因果消融，为Transformer语音识别模型生成稀疏的帧级归因，提升忠实度32%、局部性/稀疏性35-39%。

Comments 17 pages, 3 figures, and 9 tables. Accepted in Interspeech 2026 conference

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调进行类比推理学习

Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（莱斯大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出RA-RFT框架，通过黄金相关性蒸馏训练检索器，并结合强化微调利用类比推理轨迹，提升数学推理性能。

Kwai Keye-VL-2.0 Technical Report

Kwai Keye-VL-2.0 技术报告

Kwai Keye Team, Bin Wen, Changyi Liu, Chengru Song, Chongling Rao, Guowang Zhang, Han Li, Haonan Fan, Hengrui Ju, Jiankang Chen, Jiapeng Chen, Jiawei Yuan, Kaixuan Yang, Kaiyu Jiang, Kun Gai, Lingzhi Zhou, Na Nie, Sen Na, Tianke Zhang, Tingting Gao, Xuanyu Zheng, Yulong Chen, Fan Yang, Haixuan Gao, Lele Yang, Mingqiao Liu, Muxi Diao, Qi Zhang, Qile Su, Wei Chen, Wentao Hong, Xingyu Lu, Yancheng Long, Yankai Yang, Yingxin Li, Yiyang Fan, Yu Xia, Yuzhe Chen, Ziliang Lai, Chuan Yi, Haonan Jia, Tianming Liang, Weixin Xu, Xiaoxiao Ma, Yang Tian, Yufei Han, Feng Han, Hang Li, Jing Wang, Jinghui Jia, Junmin Chen, Junyu Shi, Ruilin Zhang

机构 * Kuaishou Group（快手集团） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出开源MoE多模态基础模型Keye-VL-2.0，首次将DeepSeek稀疏注意力适配到GQA架构，支持无损256K上下文处理，并通过跨模态多教师策略蒸馏和上下文/视频强化学习解决多任务对齐中的灾难性遗忘，在长视频理解和智能体任务上达到同类最优。

Comments 31 pages, 11 figures

PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping

PRPO: 通过令牌级动态优势重塑的感知强化策略优化

Qiming Li, Tianlun Li, Xiaolong Cheng, Hangyu Li, Ruiyan Gong, Kangning Niu, Kaitao Jiang, Mu Xu

机构 * Amap CV Lab, Alibaba Group（阿里巴巴集团高德地图计算机视觉实验室） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出令牌级强化学习框架PRPO，通过鲁棒视觉依赖（RVD）指标识别关键感知令牌，并利用感知优势重塑（PAR）技术增强其学习信号，在7个多模态推理基准上平均提升23.3%（3B模型）和21.1%（7B模型）。

Learnable Token Sparsification for Efficient Gigapixel Whole Slide Image Reasoning

可学习的令牌稀疏化用于高效十亿像素全切片图像推理

Jingzhi Chen, Landi He, Zhuo Chen, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 针对视觉语言模型中全切片图像令牌过多的问题，提出可学习的稀疏化方法，通过SparseLearn组件和可微分的Soft Top-K算子实现训练，推理时仅保留32个令牌，在SlideBench上达到73.32%准确率。