AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
Vision-OPD：通过在线策略自蒸馏学习多模态大语言模型的精细细节
机构 * Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出Vision-OPD框架，通过在线策略自蒸馏将模型自身的局部区域感知能力迁移到全局图像策略，提升多模态大语言模型对细粒度视觉理解的准确性。
Comments Project page: https://github.com/VisionOPD/Vision-OPD
GLINT：面向细粒度放射学表征的稀疏门控视觉-语言对齐
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV、cs.LG
AI总结 针对放射学图像-报告全局对齐与局部病灶尺度不匹配的问题，提出GLINT框架，通过稀疏门控对齐和密集特征正则化实现零样本分类、定位和分割。
TextAlign: 基于层次化奖励的文本渲染偏好对齐
机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·穆萨大学人工智能学院） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） ； Northeastern University（东北大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出TextAlign框架，通过层次化视觉语言模型奖励将文本渲染错误分解为全局、单词和字形级别，并转化为标量偏好信号，利用GRPO或DPO进行后训练对齐，在不改变生成器架构下提升文本渲染准确性。
PAND：面向提示的邻域蒸馏用于轻量级细粒度视觉分类
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出PAND框架，通过提示感知语义校准和邻域感知结构蒸馏，将大型视觉语言模型知识迁移至轻量网络，在细粒度分类任务上超越现有方法。
Comments Accepted by ICIP2026
分解提示如何引导行为
机构 * Columbia University（哥伦比亚大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI
AI总结 提出嵌套几何分解框架，通过刺激不变映射分析提示如何重塑表示几何，揭示跨维度线性混合是提示引导行为的关键机制。
Comments 59 pages, 41 figures
ToolGate: 面向工具增强视觉语言智能体的令牌高效预调用控制
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University College London（伦敦大学学院） ； AI Lab, The Yangtze River Delta（长江三角洲人工智能实验室）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对工具增强视觉语言智能体中工具调用成本高且不必要的问题，提出轻量级外部控制器ToolGate，通过轨迹文本和结构特征预测执行/跳过决策，在降低令牌成本的同时保持或提升准确率。
UNISON: 通过深度LLM融合的统一声音生成与编辑框架
机构 * The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong Polytechnic University（香港理工大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tsinghua University（清华大学） ； Huawei Research Hong Kong（华为香港研究）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)
AI总结 提出UNISON，一个基于潜在扩散的统一框架，通过层间深度LLM融合和多任务架构，实现语音生成、声音生成和音频编辑，在多个任务上达到或超越专业模型性能，且参数量减少约4倍。
TriAlignGR：面向生成式推荐的多模态深度兴趣挖掘与三角多任务对齐
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)
AI总结 提出TriAlignGR统一多任务多模态框架，通过两阶段语义传播和三角多任务对齐，解决语义ID中的内容退化与语义不透明问题，实现生成式推荐。
CoMPAS3D: 一个用于交互动作的数据集和基准
机构 * School of Computing Science Simon Fraser University（计算科学学院西蒙弗雷泽大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出CoMPAS3D数据集和评估框架，通过动作可读性和熟练度适当性等客观指标，解决交互式动作生成中缺乏社交上下文评估的问题。
Comments https://rosielab.github.io/compas3d
超越编码器累加：衡量多编码器视觉语言模型中编码器的作用
机构 * Tsinghua University（清华大学） ； Tencent（腾讯） ； University of Macau（澳门大学） ； University of Science and Technology Beijing（北京科技大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 通过重新训练所有31个非空子集，提出容量-必要性分解和预投影器秩分析，揭示多编码器视觉语言模型中编码器角色并非简单累加，并给出最优配对原则。
当注意力崩溃时：从结构到语义的阶段性视觉令牌剪枝
机构 * Shandong University（山东大学） ； National University of Singapore (Suzhou) Research Institute（新加坡国立大学（苏州）研究院）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对视觉语言模型推理中视觉令牌剪枝因依赖单一注意力分数导致特征多样性下降的问题，提出两阶段剪枝框架STS，先通过排斥采样最大化结构多样性，再通过指令感知交叉注意力过滤语义无关令牌，从而提升保留令牌的结构多样性与细粒度任务对齐。
当图标记沉没：图语言模型的机制分析
机构 * University of Virginia（弗吉尼亚大学） ； Capital One
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG
AI总结 本文通过分析图语言模型中图标记的内部行为，发现激活层面的显著性与图信息利用之间存在解耦，揭示了现有图标记构建、放置和对齐机制的局限性。
Follow-Your-Preference++：重新思考图像修复中的偏好对齐
机构 * Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV
AI总结 本文从基本原理出发，通过直接偏好优化框架和公开奖励模型构建偏好数据，系统研究了图像修复中的偏好对齐问题，发现奖励模型存在偏差但可通过集成缓解，并在标准指标、大视觉语言模型评估和人类评估上显著超越先前最先进模型。
Comments 23 pages, 14 figures. arXiv admin note: substantial text overlap with arXiv:2509.23082
在历史文本上预训练语言模型
机构 * University of Waterloo（多伦多大学） ； Vector Institute（向量研究所） ； AIML, Adelaide University（AIML，阿德莱德大学） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Oxford Centre for Economic and Social History, University of Oxford（牛津大学经济与社会史中心） ； Department of Computer Science, University College London（伦敦大学学院计算机科学系）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI
AI总结 提出TypewriterLM，一个仅在1913年前英文文本上训练的7.24B历史语言模型，通过构建TypewriterCorpus语料库、引入词汇基础指令微调框架和History-Event基准套件，解决数据质量、时间泄漏、训练和评估等挑战。
面向细粒度概念瓶颈模型的概念级注意力机制
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV
AI总结 提出概念级注意力机制（CoAt-CBM），通过可学习概念视觉查询和概念对比优化，实现自适应细粒度图像-概念对齐，解决预训练偏差和概念互斥问题，显著提升性能。
Comments Withdrawn by authors for revision and improvement
通过协同注意力重建内容以提升多模态嵌入质量
机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Baidu Inc.（百度公司）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG
AI总结 提出CoCoA预训练范式，通过重构注意力流和基于EOS的重建任务，利用协同注意力优化多模态嵌入，使模型将输入语义压缩到<EOS>令牌中，从而提升嵌入质量。
CREward：一种类型特定的创造力奖励模型
机构 * Simon Fraser University（西蒙弗雷泽大学） ； Sogang University（首尔大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV
AI总结 提出首个类型特定的创造力奖励模型CREward，通过几何、材质和纹理三个轴评估创造力，并应用于创造力评估、可解释创造力及创意样本获取。
Comments Accepted to CVPR 2026
GeoAlign: VLA模型中的状态引导空间对齐超越语义
机构 * Tongji University（同济大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Jingdezhen Ceramic University（景德镇陶瓷大学） ； Tsinghua University（清华大学） ； HONOR（HONOR公司） ； University of Science and Technology of China（中国科学技术大学）
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 提出GeoAlign架构，通过RGB几何分支的后训练和机器人本体状态引导的几何特征查询，实现几何感知的空间对齐和动态可供性选择，在多个基准上取得高性能。
Comments 20 pages, 9 figures, 8 tables, including appendix
WebRISE: 面向MLLM生成Web工件的需求诱导状态评估
机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； East China Normal University（华东师范大学） ； Tongji University（同济大学） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
专题命中 其他VLM ：MLLM(title,title_cn)；分类 cs.AI
AI总结 提出WebRISE框架，通过交互契约图（ICG）将任务需求转化为可观察状态、用户意图转换和DOM/视觉断言，以评估MLLM生成的Web工件的功能正确性，实验表明ICG评分检测状态错误率是检查点评估的2-16倍。
多模态视频理解中的视觉状态追踪基准测试
机构 * New York University（纽约大学） ； KAIST（韩国科学技术院）
专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出VSTAT基准，通过需要连续感知和整合整个视频流的问题评估多模态大语言模型的视觉状态追踪能力，发现当前模型远低于人类表现，失败主要源于视觉感知而非文本推理。
Comments Website: https://vision-x-nyu.github.io/vstat-site/
Social Caption: 评估多模态模型的社会理解能力
机构 * School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG
AI总结 提出基于交互理论的SOCIAL CAPTION框架，从社会推理、整体社会分析和定向社会分析三个维度评估多模态大语言模型的社会理解能力，并分析影响性能的因素。
Comments 25 pages, 10 figures
超越压缩：量化视觉表示中的频谱可访问性
机构 * Fordham University（福特汉姆大学）
专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV
AI总结 通过残差频谱损失（RSL）测量线性可恢复的带限傅里叶能量，研究视觉语言模型中投影层对表示频谱结构的影响，发现CLIP和DINOv2中频谱可访问性随深度非单调变化，中间层峰值后下降，且CLIP的投影是频谱中性的，而DINOv2的[CLS]池化导致频谱结构损失。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈