多模态大模型

Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization

提示优化器是盲目运行的吗？用于自动提示优化的跨模态视觉反馈

Haoyue Liu, Xiaoyu Ma, Ye Chen, Yuexian Zou, Xiaoying Tang

专题命中 图文多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 研究多模态任务中自动提示优化的盲目性问题，提出跨模态视觉反馈方法，含故障条件视觉诊断和错误感知聚合阶段，在多个VQA数据集和目标VLM上效果显著，能提升分数且优化器可跨模型转移。

LEGO Co-builder: Exploring Fine-Grained Vision-Language Modeling for Multimodal LEGO Assembly Assistants

乐高协同构建器：探索用于多模态乐高组装助手的细粒度视觉语言建模

Haochen Huang, Yue Su, Xin Sun, Moonisa Ahsan, Mohammad Aliannejadi, Irene Viola, Zhaochun Ren, Chuang Yu, Aneta Lisowska, Artem Belopolsky, Koen Hindriks, Pablo Cesar, Junxiao Wang, Jiahuan Pei

机构 * Vrije University of Amsterdam University of Amsterdam Centrum Wiskunde \& Informatic ； University of Amsterdam National Institute of Informatics Centrum Wiskunde \& Informatic ； Centrum Wiskunde \& Informatic Leiden University University College London ； Vrije University of Amsterdam ； Centrum Wiskunde \& Informatica Technische Universiteit Delft Guangzhou University ； Vrije University of Amsterdam Centrum Wiskunde \& Informatic 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对视觉语言模型理解多模态组装指令的挑战，提出乐高协同构建器基准，引入统一框架评估多个VLMs及推理模型，发现物体检测性能高但细粒度场景理解和状态检测有挑战，还发布相关资源助力未来研究。

Comments This version has been accepted by ICMI 2026 Conference

Multimodal Semantic-Probabilistic Objectness for Open World Object Detection

用于开放世界目标检测的多模态语义概率目标性

Weijun Tian, Rui Liu

机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 研究开放世界目标检测问题，提出MSPO轻量级语义校准框架，通过融合已知类别语言语义与视觉目标性来校准预测，在实验中改进了PROB基线，提升了主要指标及PASCAL VOC最终mAP，证明已知类别语义可有效校准概率目标性。

Comments 16 pages, 3 figures, 4 tables

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

用于微调CLIP的移位感知校准：利用图像-文本对齐

Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

专题命中 图文多模态 ：image-text(title)；分类 cs.CV

AI总结 研究针对微调CLIP时预测置信度与准确性不一致问题，提出无需训练的移位感知校准（SAC）方法，利用原始与微调CLIP输出对数差异作校准信号，经实验验证该方法在多数据集和微调方法上提升了校准效果。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

Explaining BiomedCLIP with Weighted Banzhaf Interactions Supported by Tree-Gram Parsing

用基于树图解析支持的加权班扎夫交互解释生物医学CLIP

Jakub Rymarski, Adam Rempała, Bartłomiej Sobieski, Przemysław Biecek

机构 * University of Warsaw（华沙大学） ； Centre for Credible AI, Warsaw University of Technology（华沙理工大学可信人工智能中心） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对视觉语言模型在医学任务中解释难的问题，引入ParseFIxLIP方法，将树图解析融入班扎夫交互博弈，通过smart_depth分组策略减轻概念碎片化，提升跨模态交互可解释性，为VLM决策提供医学领域相关见解。

Comments 12 pages, 13 figures. Accepted at EXPLIMED 2026 (Third Workshop on Explainable Artificial Intelligence for the medical domain), IJCAI-ECAI 2026

ERUnderstand: Evaluating Vision-Language Models on Structured ER Diagrams

ERUnderstand：在结构化实体关系图上评估视觉语言模型

Ali Ansari, Yasmin Mohammadi, Farnoush Nili, Parsa Esmaeilkhani, Longin Jan Latecki, Eduard Dragut

机构 * Temple University（天普大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对实体关系图仅为图像限制AI辅助数据库工程的问题，引入ERUnderstand基准测试。通过对2960个图表及标准化表示评估视觉语言模型，发现常见元素恢复良好，但特定元素性能差，推理增强模型可提升性能，为评估多模态理解提供基准。

Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

无坐标或区域标签的视觉文档理解中的证据归因

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿尔托大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究视觉文档理解中无坐标或区域标签时的证据归因问题，通过对比坐标与语言接口，发现语言接口能提升证据召回率、降低幻觉率。基于此用引述和检索管道作训练框架，引入GRPO方法，提高了模型严格归因准确率，找到改善归因的实用路径。

DeCoRAG: Cognitive Decoupling and Semantic-Aware Cropping for Complex Document Understanding

DeCoRAG：用于复杂文档理解的认知解耦和语义感知裁剪

Shuo Wang, Kai Zhang, Wenyuan Huang, Yizheng Yu, Xia Liao, Junming Su, Qing Wang, Fang Xi

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对复杂文档理解中多模态检索增强生成的难题，提出DeCoRAG方法，通过认知解耦、建立语义锚及区域感知裁剪机制，提升语义通过率，减少提示令牌，在复杂文档基准测试中取得良好效果。

Comments 11 pages, 4 figures, 8 tables

Face Age Verification Vulnerabilities Under Simple Appearance Manipulations

简单外观操纵下的面部年龄验证漏洞

Ioannis Sarridis, Ioannis Kompatsiaris, Symeon Papadopoulos

机构 * Information Technologies Institute, Centre for Research and Technology Hellas（信息技术研究所，希腊研究与技术中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究简单外观操纵下面部年龄验证的漏洞，评估七个模型在三个数据集及四种操纵类型下的情况，发现胡茬操纵影响大，不同人口统计特征受影响有差异，还探索了用偏差缓解方法减轻偏差。

To Erase, or Not to Erase: Robust Training-Free Concept Erasure with Preservation aware Adaptive Ranked Subspace Expansion

擦除还是不擦除：基于保留感知自适应排序子空间扩展的无训练鲁棒概念擦除

Shaswati Saha, Rajasekhar Anguluri, Manas Gaur

机构 * University of Maryland Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 研究针对文本到图像扩散模型的概念擦除技术面临的鲁棒性与效用权衡问题，提出无训练框架PARSE，通过自适应发现擦除与保留概念、编辑交叉注意力值空间及迭代搜索触发因素来实现鲁棒概念擦除，引入BEUS评估，实验证明其有效性。

UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

UltraViT：用于大型视觉语言模型的延迟优化设备端视觉编码器

Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, Georgios Tzimiropoulos

机构 * Samsung AI Cambridge（三星人工智能剑桥实验室） ； Technical University of Iasi（雅西技术大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型在设备端部署受限问题，提出UltraViT视觉编码器，通过考虑设备延迟设计金字塔架构，并采用两阶段生成式预训练策略，有效提升编码效率，优于现有基线。

Comments Accepted at ECCV 2026

How Well Can AI Generate Backlogs from App Mockups?

人工智能从应用程序原型生成待办事项列表的效果如何？

Andrea Lezcano Airaldi, Lourdes Romera, Walid Maalej

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究人工智能从应用程序原型生成待办事项列表的效果，提出多模态方法，评估三种提示策略，发现结合架构上下文的混合提示有帮助，结果因项目类型而异，还提出新度量，强调开发人员监督必要。

Comments Accepted at the AIRE Workshop, IEEE 34th International Requirements Engineering Conference (RE) 2026

Personalize Your Large Vision-language Models With In-context Prompt Tuning

用上下文提示调优个性化你的大型视觉语言模型

Yanshu Li, Jiaqian Li, Kuai Yu, Xi Xiao, Dongfang Liu, Tianyang Wang, Ruixiang Tang

机构 * Brown University（布朗大学） ； Columbia University（哥伦比亚大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出上下文提示调优（ICPT）方法，通过轻量投影模块从多参考图像中提取细粒度视觉语义并转化为连续提示，结合几何正则化解决环境偏差和跨概念干扰，实现高效个性化。

Comments Accepted at ECCV 2026, 27 pages, 10 figures, 5 tables

LanteRn: Latent Visual Structured Reasoning

LanteRn：潜在视觉结构推理

André G. Viveiros, Nuno Gonçalves, Matthias Lindemann, André Martins

机构 * Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出LanteRn框架，通过将语言与紧凑的潜在视觉表示结合，使大多模态模型能在潜在空间中进行视觉推理，提升视觉理解和细粒度推理能力。

Separating Clicks from Baits: Using Large Language Models to Detect Misleading YouTube Thumbnails

从诱饵中分离点击：使用大语言模型检测误导性的YouTube缩略图

Wajiha Naveed, Muhammad Muneeb Pervez, Zaeem Mohtashim Khan, Zafar Ayyub Qazi, Zartash Afzal Uzmi

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 研究针对YouTube等平台误导性缩略图问题，提出用大语言模型的多模态检测管道，构建数据集并评估多个模型，发现Claude 3.5 Sonnet性能突出，通过失败分析为视频平台发展提供方向。

Comments Accepted to the 21st International AAAI Conference on Web and Social Media (ICWSM 2027)

Journal ref Proceedings of the International AAAI Conference on Web and Social Media, 2027