AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
通过视觉动作结果推理对齐实现物理推理与任务泛化的桥梁
机构 * National Taiwan University（国立台湾大学） ； The University of California, Merced（加州大学默塞德分校）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对视觉语言模型在物理推理中难以泛化的问题，提出VAORA奖励设计，包括视觉对齐奖励和视觉-动作对齐奖励，通过预训练专家估计概率实现平滑密集奖励，经实验验证可有效提升模型在新任务和未见环境中的物理推理性能。
Comments ICML'26 Workshop RLxF: Reinforcement Learning from World Feedback
BigMac: 打破多模态大语言模型训练中的计算与内存帕累托前沿
机构 * Peking University（北京大学） ； Independent Researcher（独立研究员） ； Xiaohongshu, Inc（小红书公司）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG
AI总结 提出BigMac训练流水线，通过嵌套编码器和生成器计算到LLM流水线中，同时优化计算效率和内存使用，打破帕累托前沿。
动态聚类数据采样用于高效且长尾感知的视觉-语言预训练
机构 * Institute for Computing and Information Sciences（计算与信息科学研究所）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 本文提出动态聚类采样方法DynamiCS，通过动态调整数据分布平衡语义长尾概念，降低训练成本并提升长尾概念表现。
Comments Accepted by ECCV 2026
DexTele：一种基于运动重定向和自适应力控制的双臂灵巧遥操作系统
机构 * School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（人工智能学院，香港中文大学（深圳）） ； School of Computing, University of Portsmouth（计算学院，朴茨茅斯大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)
AI总结 研究针对双臂灵巧遥操作中运动重定向和抓取的挑战，提出DexTele系统，通过视觉运动重定向模块和自适应抓取模块，结合运动图编码器、视觉语言模型等技术，实现多平台精确运动重定向与柔顺抓取。
正交树突内在网络：一种用于重要性排序、正交潜在空间的架构
机构 * George Mason University（乔治梅森大学）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG
AI总结 研究旨在解决深度自动编码器架构中PCA属性难实现的问题，提出ODIN架构，通过纳入几何约束使潜在维度正交且按方差排序，兼具PCA可解释性与深度网络表达力，还给出理论依据及合成与真实数据集实证结果。
嵌套情节状态拓扑（NEST）：认知状态的一种图论架构
机构 * Ishant（独立研究者）
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 研究提出NEST图论架构用于认知建模，将概念等表示为带类型加权图，通过多种运算符和工具包构成核心，还包括现象签名等实例化内容，为后续相关工作提供透明表示基础。
Nemotron-Labs-Diffusion：一种统一自回归、扩散和自推测解码的三模式语言模型
机构 * Nemotron-Labs（Nemotron实验室）
专题命中 VLM训练与架构 ：vision-language model(abstract)
AI总结 介绍了统一AR、扩散和自推测解码的三模式语言模型Nemotron-Labs-Diffusion，通过联合目标训练，能切换模式。研究表明其目标互补，自推测模式表现优，有长期潜力，该模型家族在精度和速度上优于现有开源模型。
解码多模态思维：通过多模态对齐和自适应路由实现可泛化的脑到文本翻译
机构 * State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） ； Department of Language Science and Technology, Hong Kong Polytechnic University（香港理工大学语言科学与技术系）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)
AI总结 该研究针对脑机接口从人脑解码语言的挑战，提出利用多模态大语言模型和路由模块的统一框架，通过多模态对齐和自适应路由将脑信号与多模态语义空间对齐，在fMRI等数据集实验中性能领先，还扩展到EEG和MEG数据，为现实应用提供灵活方案。
Comments Accepted to ACL 2026 Findings
CLAY：视觉相似性模拟能力在视觉-语言嵌入空间中的条件性
机构 * KAIST（韩国科学技术院）
专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 CLAY通过重构预训练视觉-语言模型的嵌入空间，实现基于文本条件的灵活相似性计算，提升多条件检索效率与准确性。
Comments CVPR 2026, Project page: https://sohwi-lim.github.io/CLAY
SparseCtrl-HOI：用于人机交互视频生成的稀疏时间控制
机构 * South China University of Technology（华南理工大学）
专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV
AI总结 研究针对人机交互视频生成中建模物理动力学及时空协调复杂、现有方法依赖密集指导成本高且影响多样性的问题，提出SparseCtrl-HOI框架，用关键帧结合新机制和模块控制，构建数据集，降低标注开销，提升直播电商视频质量。
Comments ECCV 2026, Project Page: https://mpi-lab.github.io/SparseCtrl-HOI
UniICL：通过能力导向的分类系统化统一多模态上下文学习
机构 * Zhejiang University（浙江大学） ； Shanghai Jiaotong University（上海交通大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学）
专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出能力导向的分类系统，通过构建UniICL-760K语料库和UniICL-Bench评估体系，提出Context-Adaptive Prototype Modulator模块，提升多模态少样本学习效果。
我关心的音乐：对（几乎）任何音乐的大语言模型音乐感知技能进行自动化多模态基准测试
机构 * Charles University（查尔斯大学） ； Brno University of Technology（布拉格技术大学）
专题命中 其他VLM ：multimodal large language model(abstract)
AI总结 针对当前音乐基准测试的局限，引入MusICA-MetaBench框架，利用结构化符号表示和预定义模板生成按需基准测试，通过ChoraleBricks数据集展示并确定规模，经与基线比较证明能测音乐感知，推动了大语言模型音乐感知跨模态评估。
Comments 9 pages, 4 figures, 4 tables
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈