视觉大模型 / VLM

Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models

问两次，看两次：提示回声解决视觉语言模型中的问题优先悖论

Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究视觉语言模型中问题优先提示的悖论，发现问题前置虽能引导感知但后续答案生成阶段难关注到问题。提出问题回声方法，即在图像两侧重复问题，解决了悖论，在多基准测试中表现出色且无需训练等。

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

视觉语言模型如何失败？组合式视觉问答中的视觉-操作不对齐

Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

机构 * Singapore Institute of Technology（新加坡科技学院） ； NVIDIA（英伟达） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 研究组合式视觉问答中视觉语言模型失败的机制，引入以操作为中心的框架分解失败模式，揭示四种失败模式及传播路径，表明不同失败类型需不同纠正策略，为提升模型可靠性提供基础。

Comments Accepted at ACM Multimedia 2026

Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA

将视频搜索为树：用于有基础的长视频问答的自校正智能体

Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Sony（索尼） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 研究有基础的长视频问答问题，提出VideoTreeSearch框架，通过构建自适应时间树及可学习的离散操作让智能体导航，经监督微调与强化学习训练，在多个基准测试中表现出色，证明自校正分层搜索是关键机制。

Knowing the Self, Understanding the World: A Dual-Cognition Benchmark for UAV Spatio-temporal Reasoning with MLLMs

认识自我，理解世界：用于基于多模态大语言模型的无人机时空推理的双认知基准测试

Like Liu, Zhengzheng Xu, Haitao He, Hongzhe Li, Shuchang Zhang, Dian Shao

机构 * Northwestern Polytechnical University（西北工业大学） ； China University of Petroleum（中国石油大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对多模态大语言模型在无人机场景双认知能力评估不足的问题，提出UAV-DualCog基准测试，涵盖图像和视频任务，通过自动化管道构建数据，评估发现现有模型存在瓶颈，该基准测试有价值。

Comments 11 pages, 4 figures, 7 tables. Project website: https://uav-dualcog.lozumi.com

An Exam for Active Observers

主动观察者的测试

Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger

机构 * University of Southern California（南加州大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究多模态大语言模型是否具备主动观察能力，引入ActiveVision基准测试，发现前沿模型表现不佳，即便能编写视觉代码差距仍存，表明当前模型缺乏主动视觉观察，呼吁构建闭合感知 - 推理循环的架构和训练目标。

Comments 17 pages, 8 figures, 4 tables. Project page: https://activevision.dev

DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings

DrawingVQA：建筑图纸上多深度视觉文本推理的真实世界基准测试

Yoonhwa Jung, Junryu Fu, Mani Golparvar-Fard

机构 * Louisiana State University（路易斯安那州立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 DrawingVQA针对建筑图纸多深度视觉文本推理设计基准测试，利用图纸与问答对，提出双分类框架评估模型，揭示模型与专家表现差距，为领域特定多模态推理及AI与工程工作流程整合奠定基础。

Comments CVPR 2026 Findings accepted paper

Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos

视听火烈鸟：用于长而复杂视频的开放视听智能

Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit Anand, Siddharth Gururani, Hanrong Ye, Pritam Biswas, Yuanhang Su, Ehsan Hosseini-Asl, Sang-gil Lee, Zhifeng Kong, Jaehyeon Kim, Sungwon Kim, S Sakshi, Ramani Duraiswami, Dinesh Manocha, Andrew Tao, Mohammad Shoeybi, Bryan Catanzaro, Ming-Yu Liu, Wei Ping

机构 * NVIDIA, USA（美国NVIDIA公司） ； University of Maryland, USA（美国马里兰大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV

AI总结 研究提出视听火烈鸟，用于长复杂视频的联合理解与推理。贡献包括构建大规模视频集、设计三阶段课程及推理框架。实验显示其在多基准测试中表现优异，超越同类开放模型，在长复杂视听理解推理任务中竞争力强，有现实应用价值和泛化能力。

Comments Project Page: https://avflamingo.pages.dev/

Vision-Language Assistant for Emotional Reactions to Risky Driving

用于对危险驾驶产生情感反应的视觉语言助手

Harine Choi, Eun Hak Lee, Zhengzhong Tu

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对现有自动驾驶视觉语言模型忽视情感维度与用户体验的问题，提出KYA系统。它由视觉模块（用YOLOv8变体检测危险行为并提取指标生成日志）和语言模块（依情感基调设置生成回应）组成，经实验评估表现良好，为车载人工智能带来新范式。

Comments Transportation Research Record. Advance online publication (2026)

IMBench: A Benchmark for Intuitive Robotic Manipulation

IMBench：直观机器人操作的基准测试

Anurag Maurya, Sukhvansh Jain, Prajwal Avhad, Gautham Balachandran, Ziyi Zhou, Atharva Kshirsagar, Satyam Singh, Bowen Li. Rishabh Mukund, Ritul Singh, Jatin Vira, Suvonil Chatterjee, Devesh K. Jha

专题命中 视觉推理 ：vision language model(abstract)；分类 cs.AI

AI总结 IMBench旨在评估直观机器人操作这一综合能力，其任务含物理结构推断与动作序列生成。通过35个任务等进行实验，发现视觉语言模型和视觉 - 语言 - 动作模型的不足，为评估和发展物理智能提供基准。

Comments Accepted to SemRob Workshop, RSS 2026. Project Website: https://imbench.org/

AEGIS: Assay-Aware Protocol Validation and Runtime Monitoring for Open-Source Liquid Handling Robots

AEGIS：用于开源液体处理机器人的检测感知协议验证和运行时监测

Priyanka V. Setty, Arvind Ramanathan, Ian Foster, Rick Stevens

机构 * Data Science and Learning Division, Argonne National Laboratory（阿贡国家实验室数据科学与学习部） ； Department of Computer Science, University of Chicago（芝加哥大学计算机科学系） 纠错

专题命中 视觉推理 ：VLM(abstract)；分类 cs.AI

AI总结 研究开源液体处理机器人运行问题，提出AEGIS两层防护系统。一层结合检测规则库与大语言模型验证协议，二层用主成分分析模型监测运行轨迹，经实验验证有效，统一了检测感知验证与视觉监测，且开源。

Beyond a Joke: Multi-Angle Reasoning for Detecting and Explaining Harmful Humor in Memes

超越玩笑：用于检测和解释表情包中有害幽默的多角度推理

Shanhong Liu, Pai Chet Ng, De Wen Soh, Malika Meghjani, Konstantinos N. Plataniotis

专题命中 视觉推理 ：vision language model(abstract)；分类 cs.AI

AI总结 研究如何检测和解释表情包中有害幽默，提出MAR-12框架，利用视觉语言模型，从十二个角度解读表情包，经注意力机制和原型分类器预测，在多数据集上准确率超现有方法，且能给出有说服力的解释。

Comments Accepted for Publication at AAAI-ICWSM 2027

SLAPBench: Benchmarking Multimodal Large Language Models for Four-Finger SLAP Fingerprint Verification

SLAPBench：用于四指SLAP指纹验证的多模态大语言模型基准测试

Bibesh Pyakurel, M. G. Sarwar Murshed

机构 * University of Wisconsin–Green Bay（威斯康星大学格林湾分校） 纠错

专题命中 视觉定位与Grounding ：MLLM(summary_cn,abstract)；multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究四指SLAP指纹验证，介绍SLAPBench基准，评估多个MLLM在不同提示下的表现，发现提示控制崩溃，模型能力控制歧视，建立了特定于SLAP的MLLM基线，揭示了模型在指纹验证中的能力差距和公平性问题。

Comments 19 pages, 6 figures, 2 tables. Includes appendix with supporting figures and per-subgroup fairness detail. Code and data: https://github.com/bibeshpyakurel/SLAPBench

More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe

以少胜多：一种简单方法构建的大规模遥感视觉语言模型

Stefan Maria Ailuro, Mario Markov, Mohammad Mahdi, Luc Van Gool, Danda Pani Paudel

机构 * INSAIT, Sofia University “St. Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德斯基”信息与自动化研究所） 纠错

专题命中 视觉定位与Grounding ：VLM(title)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 研究针对遥感视觉语言模型，质疑架构专业化必要性，提出通用模型经大规模跨数据和任务训练可获好性能。核心方法是用单一语言策略及多任务强化学习框架训练。主要贡献是在多基准测试中取得竞争力结果，证明数据规模更关键。

Reasoning-Guided Part-Level Visual Grounding via Reinforcement Learning

通过强化学习进行推理引导的部件级视觉定位

Kazi Sajeed Mehrab, Hani Alomari, Najibul Haque Sarker, Chia-Wei Tang, Zaber Ibn Abdul Hakim, Anuj Karpatne, Chris Thomas

专题命中 视觉定位与Grounding ：grounding(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 研究部件级视觉定位难题，提出OP - HRG粗到细推理引导定位策略，先定位父物体再定位部件，经自我检查反思结果，引入部件感知GRPO框架训练，训练的4B模型性能优异且可迁移到推理分割。

Comments ECCV 2026

When Can Test-Time Adaptation Help Zero-Shot CT Vision-Language Models?

测试时自适应何时能帮助零样本CT视觉语言模型？

Ailar Mahdizadeh, Puria Azadi Moghadam, Xiangteng He, Leonid Sigal

机构 * University of British Columbia（英属哥伦比亚大学） ； Vector Institute（向量研究所） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究零样本3D CT视觉语言模型中测试时自适应（TTA）的作用，通过控制诊断分析表明其具有条件性，引入CARVE方法，在基础模型有判别力时能带来一致改进，确立多标签TTA问题及CARVE为基数感知解决方案。

Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding

用于多事件长视频理解的模块化动态粒度视频语言模型

Wei Feng, Xin Wang, Yu-Wei Zhan, Yuwei Zhou, Wenwu Zhu

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 针对长视频理解中视觉令牌预算与多事件捕捉的矛盾问题，提出MoD-VLLM框架，含正-负视频片段定位和模块化动态粒度反射模块，结合动态粒度强化学习策略，在多事件长视频基准测试中显著优于现有基线。

Comments Accepted by 2026 IEEE International Conference on Multimedia and Expo (ICME 2026)

CAMMAR: Culture-Aware Matryoshka for Metaphorical Arabic Representations

CAMMAR：用于隐喻阿拉伯语表示的文化感知套娃

Suzan Awinat, Alfonso Ortega del Puente

机构 * Autonomous University of Madrid (UAM)（马德里自治大学） ； IE University（IE大学） ； Oviedo University（奥维耶多大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 研究针对阿拉伯语语言模型语义模糊问题，提出CAMMAR框架，通过分阶段语义课程组织意义到嵌套子空间，基于词汇与隐喻表示距离产生隐喻性几何度量，在新数据集上评估，有监督时检测隐喻效果好，还发现基于形态学词根有提升。

Comments 14 pages, 5 figures

Per-Stroke Temporal Control for Text-to-Motion via Action Units and Action-Detection Guidance

通过动作单元和动作检测引导实现文本到运动的逐笔画时间控制

Euijun Jung, Youngki Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 研究文本到运动模型中笔画落点时间不可靠问题，引入动作单元，通过轻量级门控适配器构建主干并利用无训练分类器梯度消除误差，在StrokeBench上测量，提高了正确放置单个笔画比率，核心帧成为可控轴。

Region-Grounded Vision-Language Learning for Detection-Guided Mammographic Lesion Classification

用于检测引导的乳腺钼靶病变分类的区域基础视觉语言学习

Zhengbo Zhou, Jiren Li, Dooman Arefan, Margarita Zuley, Shandong Wu

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 针对乳腺钼靶病变分类，提出区域基础视觉语言学习方法，先通过区域-文本对比预训练对齐特征，引入多组件目标减轻偏差，再联合优化辅助病变检测头，实验表明该方法在多设置下性能优于相关方法。

Training-Free Open-Vocabulary 3D Point-Cloud Segmentation on the Generalized Few-Shot Benchmark

广义少样本基准上的无训练开放词汇3D点云分割

Silas kwabla Gah, Ebenezer Owusu

机构 * University of Ghana（加纳大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 研究广义少样本3D点云分割问题，提出无训练方法，用冻结的3D视觉语言模型与概念分割器，通过跨视图一致性协调，在ScanNet200和ScanNet++基准上提升新类mIoU，且无需少样本支持，效果优于现有方法。

TARS: A Theory-of-Mind Agent for Personalized In-IDE Code Comprehension

TARS：用于个性化IDE内代码理解的心理理论智能体

Leopoldo Todisco, Antonio Della Porta, Stefano Lambiase, Fabio Palomba

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究针对代码理解中LLM助手的不足，提出TARS智能体，基于心理理论范式，剖析开发者特点并调整解释，通过检索增强生成联系项目文档。实验表明它能提升效率、降低认知负荷，解释更适配开发者。

Comments Accepted at ICSME 2026, Tool Demonstration and Data Showcase Track

Physiological Prior-Driven Label Enhancement for Cross-Subject EEG Emotion Recognition

用于跨主体脑电情感识别的生理先验驱动标签增强

Hongyu Zhu, Lin Chen, Yuming Fu, Mounim A. El-Yacoubi, Mingsheng Shang

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 针对跨主体脑电情感识别中标签噪声问题，提出PhyDA框架，通过生理噪声量化器和数据自适应标签细化器，统一神经生理先验与数据驱动的标签细化，实验证明该方法显著优于基线，具有可解释性和鲁棒性。

Comments Submitted; 11 pages

EpiNarrate: Agentic Generation of Grounded Narratives from Epidemiological Scenario Projections

EpiNarrate：基于流行病学情景预测的有智能体的叙事生成

Rituparna Datta, Srini Venkatramanan, Bryan L. Lewis, Yiqi Su, Harry Hochheiser, Lucie Contamin, Parantapa Bhattacharya, Naren Ramakrishnan, Anil Vullikanti

机构 * University of Virginia（弗吉尼亚大学） ； Biocomplexity Institute（生物复杂性研究所） ； Virginia Tech（弗吉尼亚理工大学） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究旨在生成公共卫生叙事，提出EpiNarrate框架，将数值推理与自然语言生成分离，通过提取情景轴、构建数据集等步骤，经实验验证该模型能生成事实依据更充分、覆盖范围更广且风格类似专家报告的叙事。

Symbolic Predicate-Guided Language Agents for Inverse Design of Perovskite Oxides

用于钙钛矿氧化物逆设计的符号谓词引导语言智能体

Dong Hyeon Mok, Seoin Back, Victor Fung, Guoxiang Hu

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究钙钛矿氧化物逆设计，引入 DSL 引导策略，将自然语言规则转化为符号谓词，开发 ORCHESTRA 框架。该策略能增强 LLM 智能体推理能力，无需大量特定任务数据集或额外训练，提升材料设计性能。

ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning

ToolSciVer：基于视觉工具增强强化学习的多模态科学声明验证

Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 文档图表理解 ：VLM(abstract)；InternVL(abstract)；分类 cs.AI

AI总结 研究多模态科学声明验证问题，提出ToolSciVer框架，为视觉语言模型配备三种类型感知视觉工具，用组相对策略优化训练策略，实验证明该方法在多模型上性能优于竞争基线。

SkillNav: Score-Level Skill Intervention for Zero-Shot Object Goal Navigation

SkillNav：用于零样本对象目标导航的分数级技能干预

Ruijie Sang, Yiqun Duan, Pinhan Fu, Ruilin Wang, Wei Sui, Xianda Guo

机构 * D-Robotics（D-机器人公司） ； HAI Center, University of Technology Sydney（悉尼科技大学HAI中心） ； School of Computer Science, Wuhan University（武汉大学计算机科学学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 研究针对VLM智能体零样本对象目标导航存在的问题，提出SkillNav框架，通过分层技能设计及双表示设计，无需训练，在多个数据集上提升成功率，建立新最优成绩。

AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning

AC-VLA：通过组合学习实现稳健的分布外动作执行

Xiaojiang Peng, Kai Peng, Jie Lu, Zheng Lian, Zitong YU, Xiaobo Wang

机构 * Shenzhen Technology University（深圳技术大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tongji University（同济大学） ； Great Bay University（大湾区大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 研究VLA模型在分布外泛化的问题，提出AC-VLA框架，含组合学习模块和状态条件不对称掩码策略，无需修改架构可集成到VLA主干，在LIBERO和LIBERO-OOD基准测试中，该框架在组合OOD任务上有显著改进，分布内性能良好。

Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents

智能体是否会梦到虚假记忆？对多模态人工智能智能体长期记忆的黑盒视觉攻击

Halima Bouzidi, Mboutidem Ekemini Mkpong, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。

Comments 34 pages, 5 figures, 15 tables

EduGuard: A Safe RAG-Based LLM Tutor for Programming Education

EduGuard：一种用于编程教育的基于安全检索增强生成的语言模型导师

S M Asif Hossain, Ruksat Khan Shayoni, M. F. Mridha, Jungpil Shin

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 研究针对学生使用GenAI进行编程学习时的问题，提出EduGuard安全RAG辅导框架，集成多种功能。通过构建基准测试并与强基线比较，在正确性、基础等方面表现最佳，能提升准确率并降低过度依赖，证明安全GenAI辅导需多方面保障。

MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts for Multimodal Knowledge Graph Completion

MGDT：具有关系自适应专家混合的MLLM引导扩散变压器用于多模态知识图谱补全

Xu Hou, Meiyu Liang, Wei Huang, Yawen Li, Zhe Xue, Wu Liu, Guanhua Ye, Lei Shi, Kangkang Lu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Communication University of China（中国传媒大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 研究多模态知识图谱补全问题，提出MGDT框架，先通过RASR-MoE模块选路径、抑干扰，再用MLLM对齐表示，最后KGDT去噪生成，实验证明该框架在三个基准数据集上性能优于基线。

Comments 8pages, 6 figures