AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
无推理多模态学习稀疏检索用于生产级视觉文档搜索
机构 * NAVER Corp.（NAVER公司） ； Seoul National University（首尔国立大学） ； Naver Labs Europe（Naver欧洲实验室）
专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV
AI总结 提出V-SPLADE，一种无需推理的稀疏检索器，通过标题门控令牌监督解决视觉稀疏表示中的词汇基础问题，在视觉文档检索中达到稠密级效果。
Comments 12 pages, 5 figures, 12 tables, preprint
GUI-C$^2$：基于难度感知强化学习的由粗到细GUI定位
机构 * The Hong Kong Polytechnic University（香港理工大学）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.CV
AI总结 提出GUI-C$^2$框架，通过难度感知数据筛选和由粗到细的强化学习机制，解决GUI定位中训练样本难度不均和视觉区域裁剪权衡问题，实现最先进性能。
MaskClaw: GUI代理的边端个性化隐私仲裁与行为驱动技能进化
机构 * Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)
AI总结 提出MaskClaw，一种在边端进行隐私仲裁的GUI代理框架，通过本地视觉证据提取、策略记忆检索和沙箱门控的技能进化，在截图离开信任环境前决定允许、遮蔽或询问，解决了静态PII检测和云端推理的隐私边界问题。
Comments Preprint. Submitted to EMNLP 2026. 21 pages, including appendices; 5 figures Under review. Yanqiu Zhao and Dongying Zheng contributed equally to this work
视觉信息在视觉-语言-动作模型驾驶行为中是否起决定性作用？
机构 * Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（科技与交通智能 thrust，香港科学与技术大学（广州））
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出结构化多级视觉扰动框架，系统分析VLA驾驶模型对视觉信息的依赖程度，揭示依赖模式随评估方式变化且在不同抽象层次上不均匀。
学习适应：通过认知感知探索实现自我改进的网络智能体
机构 * Zhejiang University（浙江大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 提出SCALE框架，利用选择器、预测器和评判器三个对抗角色，通过环境探索自主发现智能体局限性并扩展认知边界，结合SCALE-Hop图探索策略和SCALE-20k数据集，显著提升多模态大语言模型在多种网络环境中的性能和泛化能力。
Comments 24 pages
面向具身操作的高效视觉-语言-动作模型：系统综述
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； AiRiA ； Nanjing University of Information Science and Technology（南京信息科学技术大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG
AI总结 本文系统综述了通过模型架构、感知特征、动作生成和训练/推理策略四个维度降低视觉-语言-动作模型延迟、内存占用及计算成本的方法。
AnySlot: 用于零样本槽级放置的目标条件视觉-语言-动作策略
机构 * Stony Brook University（石溪大学） ； Carnegie Mellon University（卡内基梅隆大学） ； MBZUAI ； Peking University（北京大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 提出AnySlot框架，通过将语言指令转化为空间视觉目标，解耦高层槽选择与低层执行，实现零样本槽级精确放置。
从内部诊断到外部审计：一种VLM驱动的数据自由在线后门防御范式
机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； Sun Yat-sen University, China（中山大学） ； Zhejiang University, China（浙江大学）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.LG
AI总结 提出一种从内部诊断到外部语义审计的范式转变，利用通用视觉语言模型（VLM）作为外部语义门控，通过PRISM框架（原型精炼与统计监控检查）实现数据自由的在线后门防御，在17个数据集和11种攻击类型上达到最先进性能。
Comments 25 pages, 10 figures, 19 tables. To appear in the Proceedings of the 43 rd International Conference on Machine Learning (ICML '26)
面向VLM-as-a-Judge评估的视障辅助基准
机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；分类 cs.CV
AI总结 针对视障辅助任务中VLM-as-a-Judge评估的可靠性问题，提出VIABLE基准（含30万+样本、有效性-公正性-稳定性框架及12种失败模式分类），发现现有模型不可靠，并开发VIA-Judge-Agent方法提升诊断准确性和用户偏好。
捕捉注视转移以引导：跨模态融合增强用于VLM幻觉缓解
机构 * AWS AI Labs（AWS人工智能实验室）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV
AI总结 提出GIFT方法，通过预计算视觉显著性图并跟踪注视转移，在解码时增强对显著视觉信息和用户查询的注意力，以缓解视觉语言模型中的幻觉问题。
Comments ICML 2026
YARD: Y型架构寄存器解码用于大型视觉语言模型中的高效幻觉缓解
机构 * Guangdong University of Technology（广东工业大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen TENCLASS Technology Co., Ltd.（深圳TENCLASS科技有限公司）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV
AI总结 提出YARD框架，通过Y型架构共享浅层计算并在中间层分支，用寄存器令牌替换视觉令牌构建退化分支，实现无需训练的对比解码，有效缓解幻觉并降低推理延迟。
Comments 21 pages, 11 figures
图像辩论：检测多模态大语言模型中的欺骗行为
机构 * Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI
AI总结 本文提出 MM-DeceptionBench 基准和基于图像辩论的多智能体监控框架，系统揭示并量化多模态大语言模型中的欺骗风险，有效提升欺骗行为检测能力。
Comments 39 pages, 16 figures, camera ready version for ICML 2026
从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉
机构 * The Hong Kong University of Science（香港科学与技术大学） ； OPPO AI Center（OPPO AI中心）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。
Comments ICML 2026
什么使LVLMs更少产生幻觉？揭示影响幻觉鲁棒性的架构因素
机构 * School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University（计算机科学学院，机器学习与产业智能工程研究中心，四川大学） ； School of Computer and Information Engineering, Xiamen University of Technology（计算机与信息工程学院，厦门理工大学） ； Department of Electrical and Computer Engineering, University of Hong Kong（电气与计算机工程系，香港大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文通过将架构设计分解为语言基础、视觉表示和语义对齐三个维度，并引入CoSimUE基准，系统探索了架构因素对LVLMs幻觉鲁棒性的影响，发现模型参数扩展效果有限，而增强视觉编码器、语言基础和语义对齐能分别减少不同类型的幻觉。
推进大型多模态模型中的创造性物理智能
机构 * UIUC（伊利诺伊大学香槟分校） ； Amazon（亚马逊）
专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 针对大型多模态模型在开放式环境中缺乏基于视觉的创造性工具使用能力的问题，提出MM-CreativityBench基准和基于偏好学习的具身对齐方法，显著提升实体选择并减少幻觉。
Comments 51 Pages, 9 Figures, 7 Tables, Previous Work CreativityBench: arXiv:2605.02910
跨模态注意力校准用于LVLM幻觉缓解
机构 * Sun Yat-sen University（中山大学） ； The University of Hong Kong（香港大学） ； Meituan（美团） ； Inspur Database Technology（Inspur数据库技术） ； Guilin University of Electronic Technology（桂林电子科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出一种无需训练的跨模态注意力校准方法，通过设计模态间解码和位置校准模块，缓解大型视觉语言模型中的幻觉问题。
Comments CVPR2026
当英语重写地方知识：大语言模型中的全球叙事主导
机构 * University of Toronto（多伦多大学） ； BUET（巴特利特大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 幻觉与鲁棒性 ：grounding(abstract)
AI总结 本研究通过构建孟加拉语文化数据集CulturalNB，评估大语言模型在低资源文化背景下的跨语言知识一致性，发现英语提问会系统性地增加全球替代和制度框架，减少地方视角覆盖，表明文化失败不仅是知识缺失，更是根基和叙事优先级问题。
Comments Submitted to ARR
合成刺激，真实收益：通过完全受控的数据生成重新思考VLM微调
机构 * Signals and Interactive Systems Lab, University of Trento（信号与交互系统实验室，特伦托大学）
专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV
AI总结 本文提出一种完全受控的数据生成与标注流程，用于微调视觉语言模型（VLM），通过平衡分布和干净标注消除偏差，在空间推理任务上仅用130个样本即可实现均匀性能，并在真实世界数据上提升13%的性能。
VLM3：视觉语言模型是原生3D学习者
机构 * Meta ； Princeton University（普林斯顿大学）
专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出VLM3，通过焦距统一、文本像素参考和数据混合缩放，使标准视觉语言模型无需复杂架构或损失函数即可高效掌握多种3D任务。
视觉-语言模型在模糊输入下抑制女性表征
机构 * School of Engineering and Applied Sciences（工程与应用科学系） ； Department of Psychology（心理学系）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 本研究通过引入零样本度量LALS，发现视觉-语言模型在模糊输入下内部编码与输出存在系统性解耦，女性信号在生成前被抑制，揭示了模型对性别偏见的内部处理机制。
Comments 16 pages, 12 figures, 1 table
策展人引导的多语言艺术描述对盲人和低视力观众的小型视觉语言模型试点研究
机构 * Technical University of Munich（慕尼黑技术大学） ； Foundation for Research and Technology -- Hellas（希腊研究与技术基金会） ； National University of Science and Technology Politehnica Bucharest（布加勒斯特政治技术科学与技术国家大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 本研究使用小型视觉语言模型Qwen2.5-VL-3B-Instruct，通过策展人引导的方式为盲人和低视力观众生成德语、罗马尼亚语和塞尔维亚语的多语言艺术描述，发现语言特定适配器在控制性和视觉基础描述质量上优于多语言适配器。
Comments 7 pages, 2 figures, 3 tables. Preprint
遥感视觉语言模型的少样本适应基准
机构 * UCLouvain（乌尔特-洛文大学） ； UMons（蒙斯大学） ； Fonds de la Recherche Scientifique（科学基金组织）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 提出首个遥感视觉语言模型少样本适应基准，通过十个数据集和五种策略评估三个模型，发现零样本性能相似的模型在少样本适应下表现差异显著，需开发更鲁棒的方法。
面向长视频理解的线性缩放视频视觉语言模型
机构 * Stanford University（斯坦福大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出StateKV方法，通过固定容量的重要性驱动循环状态实现线性时间视频预填充，在保持接近全自注意力性能的同时显著降低计算成本。
语言训练深度伪造检测器的正则化能力
机构 * Computer Vision Lab, CAIDAS, University of Würzburg（计算机视觉实验室，CAIDAS，乌尔姆大学）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出利用多模态大语言模型的双编码器架构和两阶段训练，通过语言正则化缓解过拟合，提升深度伪造检测的泛化性和可解释性。
超越分类：面向持续多模态检索的动态适配器路由
机构 * NASK National Research Institute（NASK国家研究院） ； IDEAS Research Institute（IDEAS研究所） ； Warsaw University of Technology（华沙技术大学） ； Universitat Autonoma de Barcelona（巴塞罗那自治大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对持续多模态检索（CMR）任务，提出基于原型路由和模型合并的动态适配器路由（DAR）方法，在跨域评估中取得优于现有基线的性能。
变分适配器用于跨模态相似性表示
机构 * School of Remote Sensing and Information Engineering（遥感与信息工程学院） ； Wuhan University（武汉大学） ； School of Data Science and Engineering（数据科学与工程学院） ； East China Normal University（华东师范大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对跨模态匹配中细粒度标注稀缺导致二元分类边界压缩和假负样本问题，提出变分适配器VACSR，将匹配任务重构为变分推断问题，通过构建潜在相似性空间和正则化缓解过拟合，在图像-文本检索、域泛化和基类到新类泛化任务上验证了有效性。
Comments Accepted by the 43rd International Conference on Machine Learning (ICML 2026)
IsoCLIP: 分解CLIP投影器以实现高效的模态内对齐
机构 * Media Integration and Communication Center (MICC), University of Florence, Italy（意大利佛罗伦萨大学媒体集成与通信中心） ； Department of Computer Science, Universitat Autònoma de Barcelona, Spain（西班牙巴塞罗那自治大学计算机科学系） ； Computer Vision Center, Barcelona, Spain（西班牙巴塞罗那计算机视觉中心） ； IDEAS Research Institute, Warsaw, Poland（波兰华沙IDEAS研究所）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 本文通过分析CLIP投影器的谱特性，发现模态间对齐子空间和各向异性方向，提出无训练方法IsoCLIP去除各向异性方向以改善模态内对齐，在模态内检索和分类任务上降低延迟并超越现有方法。
Comments Accepted at CVPR2026
PRISM：免训练多模态数据选择的自剪枝内在选择方法
机构 * LMU Munich（慕尼黑大学） ； Munich Research Center, Huawei Technologies（慕尼黑研究中心，华为技术） ； METEOR ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型视觉指令数据冗余问题，提出一种免训练框架PRISM，通过隐式重中心化消除视觉特征各向异性导致的全局语义漂移，实现高效数据选择，在降低计算成本的同时提升模型性能。
Comments Accepted to ACL 2026 and selected for the Best Paper list; later desk-rejected due to an inadvertent manual bibliography-editing error. Previous versions are withdrawn due to an inadvertent manual bibliography-editing error; please refer to the latest corrected version
SPM-Bench：面向扫描探针显微镜的大型语言模型基准测试
机构 * Alibaba Group（阿里巴巴集团）
专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.AI
AI总结 提出SPM-Bench，一个全自动数据合成管道和严格评估指标（SIP-F1），用于测试LLMs在扫描探针显微镜领域的推理能力，并首次量化模型“个性”。
PEEK: 通过高效知识蒸馏提取关键帧
机构 * Télécom SudParis — SAMOVAR（Telecom SudParis — SAMOVAR） ； Institut Polytechnique de Paris（巴黎政治学院） ； Moments Lab
专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV
AI总结 提出PEEK方法，通过知识蒸馏将教师模型的帧相关性排名迁移至轻量级时序模型，实现高效动态帧采样，在低帧预算下显著提升视频字幕生成性能。
Comments Supplementary material at https://www.killian-steunou.com/peek/static/pdfs/peek_supplementary.pdf
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈