视觉大模型 / VLM

Pix2Fact: When Vision Is Not Enough -- Benchmarking Fine-Grained VQA with Web Verification on High-Resolution Real-World Scenes

Pix2Fact: 当视觉不够时——基于网络验证的细粒度VQA基准测试

Yifan Jiang, Cong Zhang, Bofei Zhang, Qiaofeng Zheng, Yifan Yang, Bingzhang Wang, Yew-Soon Ong

机构 * GADE Union (Global AI Data Experts Union)（GADE联盟（全球人工智能数据专家联盟）） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； New York University（纽约大学） ； Cambridge University（剑桥大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Pix2Fact基准测试，通过高分辨率真实场景中的网络验证，评估细粒度视觉问答中的专家级视觉感知和知识搜索能力，发现现有模型在复杂任务中存在显著不足。

MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft

MineExplorer: 评估MLLM智能体在Minecraft中的开放世界探索能力

Tianjie Ju, Yueqing Sun, Zheng Wu, Wei Zhang, Yaqi Huo, Xi Su, Qi Gu, Xunliang Cai, Gongshen Liu, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） 纠错

专题命中 视觉推理 ：MLLM(title,title_cn)；multimodal large language model(abstract)

AI总结 提出MineExplorer基准，通过多智能体合成工作流构建隐式多跳任务，评估多模态大语言模型在Minecraft中的开放世界探索能力，发现长轨迹协调仍是挑战。

Comments Working in progress

COGNITION: From Evaluation to Defense against Multimodal LLM CAPTCHA Solvers

认知：从评估到对抗多模态大语言模型CAPTCHA求解器

Junyu Wang, Changjia Zhu, Yuanbo Zhou, Lingyao Li, Xu He, Mingkui Wei, Junjie Xiong

机构 * Missouri University of Science and Technology（密苏里科技大学） ； University of South Florida（佛罗里达州立大学） ； Visa Inc.（Visa公司） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文研究多模态大语言模型如何削弱视觉CAPTCHA的安全性，评估7种主流MLLM在18种CAPTCHA任务中的表现，揭示其解决能力及防御策略。

Comments Accepted by USENIX Sec'26

PRISM: Perception Reasoning Interleaved for Sequential Decision Making

PRISM: 感知与推理交错用于序列决策

Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

机构 * Institut National de la Recherche Scientifique (INRS)（国家科学研究院） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 提出PRISM框架，通过动态问答流水线紧密耦合视觉语言模型（VLM）和语言模型（LLM），实现任务驱动的感知，在ALFWorld和R2R基准上显著超越现有图像模型。

Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems

数字孪生驱动的自动化分拣系统中的纺织品分类与异物识别

Serkan Ergun, Tobias Mitterer, Hubert Zangl

机构 * Institute of Smart Systems Technologies（智能系统技术研究所） ； University of Klagenfurt（克雷格弗特大学） ； AAU SAL USE Laboratory（AAU SAL USE实验室） ； Silicon Austria Labs（硅 Austria 实验室） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；visual language model(abstract)；分类 cs.CV

AI总结 提出一种数字孪生驱动的机器人分拣系统，结合抓取预测、多模态感知和视觉语言模型，实现纺织品分类与异物检测，Qwen模型准确率达87.9%。

Comments 10 pages,single column, 5 figures, preprint for Photomet Edumet 2026 (Klagenfurt, Austria)

MET-Bench: Multimodal Entity Tracking for Evaluating the Limitations of Vision-Language and Reasoning Models

MET-Bench：用于评估视觉语言与推理模型局限性的多模态实体追踪

Vanya Cohen, Raymond Mooney

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)

AI总结 提出MET-Bench多模态实体追踪基准，发现视觉语言模型在图像实体追踪上显著弱于文本，主要源于视觉推理缺陷，强化学习可提升模态内性能但跨模态迁移不足。

Comments ICML 2026

From Training to Generalization: Improving Moral Reasoning Through Pragmatic Inference

道德推理习得的语用推理：通过元语用链接实现泛化

Guangliang Liu, Xi Chen, Bocheng Chen, Han Zi, Xitong Zhang, Kristen Johnson

机构 * Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） ； Nanyang Technological University（南洋理工大学） ； University of Mississippi（密苏里大学） ； Northeastern University（东北大学） ； Qualcomm（高通公司） ； Michigan State University（密歇根州立大学） 纠错

专题命中 视觉推理 ：grounding(abstract)

AI总结 针对大语言模型在道德推理中泛化能力不足的问题，提出基于元语用链接和道德基础理论的语用推理方法，使模型获取道德推理目标与社会变量间的元语用链接，在三个任务上验证了其适应性和泛化性。

UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse Modalities and Granularities

UniversalRAG: 在多样模态和粒度的语料库上实现检索增强生成

Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出UniversalRAG，一种能够处理多种模态和粒度的检索增强生成框架，通过动态路由机制和多粒度组织，提升跨模态知识检索的有效性，实验表明其在多个模态基准上的优越性。

Comments ACL 2026. Project page : https://universalrag.github.io

LiAuto-GeoX: Efficient Grounded Driving Transformer

LiAuto-GeoX: 高效接地驾驶Transformer

Jiawei Lian, Haoyi Sun, Yang Wu, Lifu Mu, Siyuan Wang, Le Hui, Ning Mao, Tao Wei, Pan Zhou, Kun Zhan, Jian Yang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Li Auto Inc.（Li Auto公司） ； Northwestern Polytechnical University（西北工业大学） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 提出LiAuto-GeoX，通过稀疏激光雷达先验和几何保持蒸馏框架，实现高效、实时的自车中心密集3D重建，并显著提升下游自动驾驶任务性能。

Causal Mirage Equilibrium in Agentic Machine Intelligence

生成式机器智能中的因果幻象均衡

Hamidou Tembine

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 针对生成式机器智能中语义表征与物理现实脱钩的问题，提出风险敏感平均场型因果幻象均衡（CME），证明其存在性并揭示内生强化主导时非因果状态的稳定分岔。

Comments 10 pages, 1 figure. References double-checked manually

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

通过细化文本嵌入缓解大型视觉语言模型中的幻觉

Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

机构 * University of Maryland（马里兰大学） ； Dolby Laboratories（杜比实验室） ； Capital One 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对大型视觉语言模型因过度依赖文本先验而忽视视觉线索导致的幻觉问题，提出一种简单有效的视觉特征融入方法，通过学习视觉信息化的文本嵌入来平衡注意力分布，显著降低幻觉并提升多模态推理能力。

Comments Accepted at The 64th Annual Meeting of the Association for Computational Linguistics

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models

MirrorCheck: 视觉-语言模型的高效对抗防御

Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Ivan Laptev, Karthik Nandakumar

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能大学） ； NVIDIA ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Michigan State University（密歇根州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出MirrorCheck框架，利用文本到图像模型和随机化策略检测并防御针对视觉-语言模型的自适应对抗攻击。

SARSteer: Safeguarding Large Audio-Language Models via Safe-Ablated Refusal Steering

SARSteer: 通过安全消融拒绝引导保护大型音频语言模型

Weilin Lin, Jianze Li, Hui Xiong, Li Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)

AI总结 提出SARSteer，首个针对大型音频语言模型的推理时防御框架，通过文本衍生的拒绝引导和分解安全空间消融，有效提升有害查询拒绝率并减少良性查询的过度拒绝。

Sub-Token Routing for KV Cache Compression

子令牌路由用于KV缓存压缩

Wei Jiang, Wei Wang

机构 * Futurewei Technologies（未来智科） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.LG

AI总结 提出子令牌路由方法，在保留令牌内对值向量分组并选择性保留，与令牌级压缩互补，在LLM和VLM中提升压缩性能。

Comments 17 pages, 8 tables, 2 figures

3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding

3D-RFT：基于视频的3D场景理解的强化微调

Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。

Comments Accepted at ICML 2026. Project page: https://3d-rft.github.io/

Semantic Communication for the Internet of Underwater Things: Architectures, Applications, Challenges, and Future Directions

水下物联网的语义通信：架构、应用、挑战与未来方向

Ruhul Amin Khalil, Asiya Jehangir, Hanane Lamaazi, Saddaf Rubab, Nasir Saeed

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 本文综述了语义通信在水下物联网中的应用，探讨了其架构、学习驱动方法及代表性应用，并指出了关键研究方向，旨在提升资源受限水下网络的通信效率。

Comments 33 pages, 10 figures, and 9 tables. The paper is submitted to IEEE for Possible Publication