AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
揭示可见-红外VLMs中的漏洞：一种具有跨任务迁移性的统一几何对抗框架
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 本文针对可见-红外视觉语言模型在多模态任务中的对抗鲁棒性不足问题，提出了一种基于分形几何的对抗框架CFGPatch，通过引入曲边分形元素和Fraser螺旋渲染机制，有效攻击VLMs并展示出跨任务迁移能力。
频域正则化对抗对齐用于针对闭源大语言模型的可转移攻击
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出FRA-Attack，通过频域正则化方法解决对抗转移性问题，通过高通DCT目标和频率域梯度正则化提升跨模型的对抗转移能力。
AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。
Comments 27 pages
Ablate-to-Validate: 视觉语言模型真的在使用连续思维令牌吗？
机构 * University of Washington（华盛顿大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出了一种诊断原则Ablate-to-Validate，通过Token Replacement Test（TRT）测试视觉语言模型是否真正利用了连续令牌内容，发现模型性能提升可能并非源于令牌内容，而是令牌存在本身。
聚焦视觉关键点：通过视觉信息增益进行大视觉语言模型的定向训练
机构 * Department of Data Science, Seoul National University of Science and Technology（数据科学系，首尔科学技术大学）
专题命中 VLM训练与架构 ：vision language model(title,abstract)；grounding(abstract)；分类 cs.CV
AI总结 本文提出通过视觉信息增益（VIG）指标，对大视觉语言模型进行定向训练，以提升视觉基础性并减少语言偏见，通过优先选择高VIG样本和token来提高性能。
Comments Accepted at ICML 2026
将嵌入概念化：面向视觉-语言模型的稀疏解缠
机构 * Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院） ； Doctoral School of Exact and Natural Sciences, Jagiellonian University（雅盖隆大学精确与自然科学博士学校） ； Centre for Credible AI, Warsaw University of Technology（华沙技术大学可信人工智能中心）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
AI总结 本文提出CEDAR方法，通过稀疏解缠技术在不增加维度的情况下揭示预训练嵌入的组成结构，从而提升视觉-语言模型的可解释性和与人类感知的一致性。
基于视觉优势的在线策略蒸馏用于视觉-语言模型
机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（中国科学院大学(UCAS)先进交叉学科学院） ； Hello Group Inc.（Hello集团有限公司） ； Sun Yat-sen University（中山大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出了一种基于视觉优势的在线策略蒸馏方法，用于提升视觉-语言模型对视觉输入的依赖性，通过引入视觉优势指标来区分关键视觉token与语言token，从而提高蒸馏效果。
通过无训练空间-时间池化和栅格化增强视频大语言模型的视觉令牌表示
机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Xidian University（西安电子科技大学）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种无需训练的空间-时间池化和栅格化方法ST-GridPool，用于提升视频大语言模型的视觉令牌表示，通过多级时空交互和基于规范的空间池化技术，在不需重新训练的情况下提高性能。
Comments Accepted by ICLR 2026
模态迷失：评估基于文本的成员推断攻击在大型多模态模型中的有效性
机构 * Japan Advanced Institute of Science and Technology - Information Science（日本科学技术先进研究院-信息科学）
专题命中 VLM训练与架构 ：InternVL(abstract,abstract_cn)；分类 cs.AI
AI总结 本文评估了基于文本的成员推断攻击（MIAs）在多模态模型中的有效性，发现其在分布内设置中表现相似，而在分布外设置中视觉输入起到正则化作用，有效掩盖了成员信号。
Comments accepted by ESANN 2026
解耦端点与语义转换学习以实现零样本复合图像检索
机构 * Sun Yat-sen University（中山大学） ； Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing（机器智能与先进计算重点实验室）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种解耦端点与语义转换学习的方法DeCIR，用于零样本复合图像检索，通过构造配对的正向/反向编辑元组，训练独立的低秩文本适配器分支，并利用低秩方向合并（LRDM）将它们合并为一个可部署的适配器，从而提升了投影基于的零样本复合图像检索性能。
BEiTScore: 一种基于高效交叉编码器的无参考图像描述评估方法
机构 * Instituto Superior Técnico（里斯本大学理工学院） ； INESC-ID ； Instituto de Telecomunicações（电信机构）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出了一种无参考图像描述评估方法BEiTScore，通过高效的交叉编码器模型解决传统评估方法在计算成本和敏感性方面的不足，提出了一种新的评估指标，并在多种场景下验证了其优越的性能。
图中标签真的在说些什么？用于视觉语言预训练中组合数据选择的反事实短语干预
机构 * Soongsil University（顺斯尔大学）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV
AI总结 本文研究了在视觉语言预训练中如何通过反事实短语干预来改进组合数据选择，提出了CPI方法以解决现有方法中全局过滤信号失效的问题，从而提升模型在关系识别任务上的表现。
Comments 11 pages, 2 figures, 4 tables. Preprint
监督分类头作为语义原型：通过权重重用解锁视觉-语言对齐
机构 * Department of Computer Science and Artificial Intelligence, DaSCI Institute, University of Granada, Granada, Spain（计算机科学与人工智能系，DaSCI研究所，格拉纳达大学，格拉纳达，西班牙） ； Department of Mathematics ``Tullio Levi-Civita'', University of Padova, Padova, Italy（托里利-西维塔数学系，帕多瓦大学，帕多瓦，意大利）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV
AI总结 本文提出利用预训练视觉模型的分类头作为语义原型，通过权重重用实现视觉-语言对齐，提升跨模态检索、零样本和少样本分类任务的性能。
结构锚点剪枝：用于视觉文档检索的无训练多向量压缩
机构 * Aalto University（阿alto大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV
AI总结 本文提出结构锚点剪枝（SAP），一种无需训练的多向量压缩方法，通过保留评分、指导窗口选择和视觉入度中心性评分三个组件，在不进行模型参数调整的情况下，实现了超过90%的视觉token剪枝同时保持NDCG@5超过90%的性能。
Comments methodology revision and new title
PhysX-Omni: 为刚体、变形体和关节物体统一的模拟准备物理3D生成
机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室）
专题命中 其他VLM ：vision-language model(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出PhysX-Omni，一种统一的模拟准备物理3D生成框架，通过开发针对视觉-语言模型的高效几何表示和首个通用模拟准备3D数据集PhysXVerse，以及评估生成和理解能力的PhysX-Bench，显著提升了生成和理解性能，推动下游应用如具身AI和物理模拟的发展。
Comments Project page: https://physx-omni.github.io/
AtelierEval: 人类与LLM作为文本到图像提示器的代理评估
机构 * New York University Abu Dhabi（纽约大学阿布扎克校区） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI
AI总结 本文提出AtelierEval，首个统一基准，通过360个专家设计的任务量化提示能力，引入技能基于的记忆增强代理评估器，实现与人类专家的高相关性，验证了提示器在图像增强方向的优越性。
Comments Accepted by ICML 2026
FashionLens：通过任务自适应学习实现多功能时尚图像检索
机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） ； Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） ； School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出FashionLens框架，通过任务自适应学习实现多功能时尚图像检索，解决现有方法无法处理多样检索需求的问题。
AgroTools: 一个用于农业中增强工具的多模态代理基准
机构 * Sun Yat-Sen University（中山大学） ； Southwest University（西南大学） ； Northeastern University（东北大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； Southwest Jiaotong University（西南交通大学） ； China Agricultural University（中国农业大学） ； Tsinghua University（清华大学）
专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出AgroTools基准，用于评估农业中增强工具的多模态代理，通过539个问题-答案实例和1097张异构农业图像，评估模型在工具使用中的执行质量和任务成功率。
视觉工具使用强化学习究竟在学习什么？解构工具诱导效应与内在效应以实现作物和缩放
机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV
AI总结 本文研究了视觉工具使用强化学习在作物和缩放任务中的学习机制，通过引入MED框架解耦内在能力变化与工具诱导效应，发现改进主要由内在学习驱动，而工具使用强化学习主要减少工具诱导的负面影响，而非掌握工具。
Comments ICML 2026 camera ready. Code: https://github.com/GAIR-NLP/Med
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈