视觉大模型 / VLM

How Many Heads Make an SSM? A Unified Framework for Attention and State Space Models

多少个头才能构成一个SSM？一种统一的注意力和状态空间模型框架

Ali Ghodsi

机构 * Ali Ghodsi 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种统一框架，通过输入依赖的有效交互操作符，分析了注意力和状态空间模型的表达性和可训练性权衡，并推导了三个理论结果。

Evaluating Large Language Models on Multimodal Chemistry Olympiad Exams

评估大型语言模型在多模态化学奥林匹克考试中的表现

Yiming Cui, Xin Yao, Yuxuan Qin, Xin Li, Shijin Wang, Guoping Hu

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； iFLYTEK AI Research（iFLYTEK人工智能研究院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文评估了多种多模态LLM在化学奥林匹克考试中的表现，发现其在多模态融合和科学推理方面存在显著局限，提出通过链式思维提示提升模型性能的方法。

Comments Published at Communications Chemistry

Journal ref Commun. Chem. 8 (2025)

TalkVerse: Democratizing Minute-Long Audio-Driven Video Generation

TalkVerse：民主化分钟级音频驱动视频生成

Zhenzhi Wang, Jian Wang, Ke Ma, Dahua Lin, Bing Zhou

机构 * The Chinese University of Hong Kong（香港中文大学） ； Snap Inc.（Snap公司） 纠错

专题命中 视觉定位与Grounding ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 TalkVerse通过大规模开放数据和高效模型，实现了分钟级音频驱动视频生成，降低研究门槛，提升生成质量与效率。

Comments open-sourced single-person full-body talking video generation dataset, training code and checkpoints

The Eminence in Shadow: Exploiting Feature Boundary Ambiguity for Robust Backdoor Attacks

阴影中的卓越：利用特征边界模糊性实现稳健的后门攻击

Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuwen Pu, Tianyu Du, Jinbao Li, Jianhai Chen, Shouling Ji

机构 * Zhejiang University（浙江大学） ； Chongqing University（重庆大学） ； Qilu University of Technology (Shandong Academy of Science)（青岛科技大学（山东科学院）） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 Eminence通过利用特征边界模糊性，实现稳健且隐蔽的后门攻击，以极低的毒化率有效提升攻击效果。

Comments Accepted by KDD2026 Cycle 1 Research Track

MADTempo: An Interactive System for Multi-Event Temporal Video Retrieval with Query Augmentation

MADTempo: 多事件时间视频检索的交互系统与查询增强

Huu-An Vu, Van-Khanh Mai, Trong-Tam Nguyen, Quang-Duc Dam, Tien-Huy Nguyen, Thanh-Huong Le

机构 * Hanoi University of Science and Technology（河内科技大学） ； The University of Danang - University of Science and Technology（丹江-科技大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 MADTempo通过结合时序搜索与网络视觉定位，提升多事件视频检索的时序推理和泛化能力，增强对罕见视觉概念的检索鲁棒性。

MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence

MMSI-Video-Bench: 一个面向视频基于空间智能的综合基准

Jingli Lin, Runsen Xu, Shaohao Zhu, Sihan Yang, Peizhou Cao, Yunlong Ran, Miao Hu, Chenming Zhu, Yiman Xie, Yilin Long, Wenbo Hu, Dahua Lin, Tai Wang, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 MMSI-Video-Bench是一个综合评估视频基于空间智能的基准，通过多任务和多数据集评估25个MLLMs，揭示了人机推理差距和模型泛化不足的问题。

Video4Spatial: Towards Visuospatial Intelligence with Context-Guided Video Generation

Video4Spatial: 通过基于场景的视频生成实现视觉空间智能

Zeqi Xiao, Yiwei Zhao, Lingxiao Li, Yushi Lan, Ning Yu, Rahul Garg, Roshni Cooper, Mohammad H. Taghavi, Xingang Pan

机构 * Netflix ； Nanyang Technological University（南洋理工大学） ； University of Oxford（牛津大学） ； Eyeline Studios 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 Video4Spatial通过仅使用视频数据训练的生成模型，实现了复杂空间任务的视觉空间智能，展示了视频生成模型在空间推理中的潜力。

Comments Project page at https://xizaoqu.github.io/video4spatial/

Embodied Tree of Thoughts: Deliberate Manipulation Planning with Embodied World Model

具身思维树：基于具身世界模型的 deliberative 操控规划

Wenjiang Xu, Cindy Wang, Rui Fang, Mingkang Zhang, Lusong Li, Jing Xu, Jiayuan Gu, Zecui Zeng, Rui Chen

机构 * University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Tsinghua University（清华大学） ； JD Explore Academy（京东探索学院） ； ShanghaiTech University（上海科技大学） ； Nanjing University（南京大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 EToT通过基于物理的交互数字双胞胎实现具身世界模型，结合先验分支和反思分支机制，提升机器人操控规划的物理一致性和鲁棒性。

Comments Website at https://embodied-tree-of-thoughts.github.io

Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation

基于区域邻接图的结构感知特征校正用于无训练开放词汇语义分割

Qiming Huang, Hao Ai, Jianbo Jiao

机构 * The MIx Group, School of Computer Science University of Birmingham（米克集团，计算机科学学院，伯明翰大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于区域邻接图的结构感知特征校正方法，通过增强局部辨别能力来提升开放词汇语义分割的性能。

Comments Accepted to WACV2026

Subgoal Graph-Augmented Planning for LLM-Guided Open-World Reinforcement Learning

子目标图增强的规划用于LLM引导的开放世界强化学习

Shanwei Fan, Bin Zhang, Zhiwei Xu, Yingxuan Teng, Siqi Dai, Lin Cheng, Guoliang Fan

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SGA-ACR框架，通过整合环境特定的子目标图和多LLM规划流程，解决LLM在开放世界强化学习中的规划-执行对齐问题，提升子目标的可行性和可验证性。

The SAM2-to-SAM3 Gap in the Segment Anything Model Family: Why Prompt-Based Expertise Fails in Concept-Driven Image Segmentation

在Segment Anything模型家族中SAM2到SAM3之间的鸿沟：基于提示的专家知识为何在概念驱动的图像分割中失效

Ranjan Sapkota, Konstantinos I. Roumeliotis, Manoj Karkee

机构 * Cornell University（康奈尔大学） ； University of the Peloponnese（希腊皮洛斯大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文分析了SAM2到SAM3在分割模型中的断层，指出基于提示的分割方法在概念驱动分割中失效的原因，并探讨了SAM3的多模态架构与评估方法。

Can VLMs Detect and Localize Fine-Grained AI-Edited Images?

视觉语言模型能否检测并定位细粒度的人工智能编辑图像？

Zhen Sun, Ziyi Zhang, Zeren Luo, Zhiyuan Zhong, Zeyang Sha, Tianshuo Cong, Zheng Li, Shiwen Cui, Weiqiang Wang, Jiaheng Wei, Xinlei He, Qi Li, Qian Wang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Shandong University（山东大学） ； Wuhan University（武汉大学） 纠错

专题命中 视觉定位与Grounding ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FragFake基准，首次系统研究VLMs在编辑图像分类和定位中的应用，发现微调模型在准确性上表现优异，同时探索了基于GRPO的RLVR训练方法。

Comments 14pages,19 figures

Self-Improving AI Agents through Self-Play

通过自play实现自我改进的AI代理

Przemyslaw Chojecki

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种通过自play实现自我改进的AI代理框架，通过GVU算子和方差不等式理论，统一了语言自play、自我修正和合成数据 bootstrap 的研究。

Learning Egocentric In-Hand Object Segmentation through Weak Supervision from Human Narrations

通过人类叙述的弱监督学习进行视角注视手部物体分割

Nicola Messina, Rosario Leonardi, Luca Ciampi, Fabio Carrara, Giovanni Maria Farinella, Fabrizio Falchi, Antonino Furnari

机构 * Institute of Information Science and Technologies - National Research Council（信息科学与技术研究所-国家研究理事会） ； University of Catania（卡塔尼亚大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出WISH模型，通过人类叙述的弱监督学习实现手部物体分割，无需精细像素标注即可超越基线方法。

Comments Under consideration at Pattern Recognition Letters

Guided Self-Evolving LLMs with Minimal Human Supervision

受最小人类监督引导的自演化大语言模型

Wenhao Yu, Zhenwen Liang, Chengsong Huang, Kishan Panaganti, Tianqing Fang, Haitao Mi, Dong Yu

机构 * Tencent AI Lab in Seattle（西雅图腾讯AI实验室） ； Washington University in St. Louis（斯托克维尔华盛顿大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 R-Few通过引入轻量级人类监督，实现稳定可控的自演化大语言模型，提升数学推理性能并减少对大量人类数据的依赖。

Describe Anything Anywhere At Any Moment

在任何地方、任何时间描述任何事物

Nicolas Gorlo, Lukas Schmid, Luca Carlone

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 DAAAM是一种用于大规模实时4D场景理解的空间时间记忆框架，通过优化前端和分层4D场景图实现高效语义描述与实时性能的平衡。

Comments 14 pages, 5 figures, 6 tables

Multigranular Evaluation for Brain Visual Decoding

多粒度评估用于脑视觉解码

Weihao Xia, Cengiz Oztireli

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出BASIC框架，通过多粒度评估方法提升脑视觉解码的评估精度与解释性。

Comments AAAI 2026 (Oral). Code: https://github.com/weihaox/BASIC

A Neurosymbolic Framework for Interpretable Cognitive Attack Detection in Augmented Reality

面向增强现实的认知攻击检测的神经符号框架

Rongqian Chen, Allison Andreyev, Yanming Xiu, Joshua Chilukuri, Shunav Sen, Mahdi Imani, Bin Li, Maria Gorlatova, Gang Tan, Tian Lan

机构 * George Washington University（乔治华盛顿大学） ； Duke University（杜克大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Northeastern University（东北大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CADAR框架，结合神经网络与符号推理，用于增强现实中的认知攻击检测，通过多模态表示和统计推理提升检测的可解释性和鲁棒性。

Hybrid SIFT-SNN for Efficient Anomaly Detection of Traffic Flow-Control Infrastructure

混合SIFT-SNN用于交通流控制基础设施异常检测的高效方法

Munish Rathee, Boris Bačić, Maryam Doborjeh

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出混合SIFT-SNN框架，通过空间特征编码与低延迟脉冲神经网络实现交通基础设施异常检测的高效实时处理。

Comments 8 pages, 6 figures. This is a preprint of a paper accepted for presentation at the 2025 International Conference on Image and Vision Computing New Zealand (IVCNZ). The final version will appear in IEEE Xplore

Knowledge Completes the Vision: A Multimodal Entity-aware Retrieval-Augmented Generation Framework for News Image Captioning

知识完善视觉：一种多模态实体感知检索增强生成框架用于新闻图像描述

Xiaoxing You, Qiang Huang, Lingyu Li, Chi Zhang, Xiaopeng Liu, Min Zhang, Jun Yu

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 MERGE提出了一种多模态实体感知检索增强生成框架，通过构建实体中心知识库和改进跨模态对齐，提升新闻图像描述质量和命名实体识别性能。

Comments Accepted to AAAI 2026

Data Valuation by Fusing Global and Local Statistical Information

通过融合全局和局部统计信息进行数据估值

Xiaoling Zhou, Ou Wu, Michael K. Ng, Hao Jiang

机构 * Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hong Kong Baptist University（香港 Baptist大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出融合全局和局部统计信息的增强数据估值方法，通过正则化项优化Shapley值估计，并引入动态数据估值技术提升计算效率。

Comments 35 pages, 9 figures

From Pixels to Posts: Retrieval-Augmented Fashion Captioning and Hashtag Generation

从像素到帖子：基于检索的时尚描述与标签生成

Moazzam Umer Gondal, Hamad Ul Qudous, Daniya Siddiqui, Asma Ahmad Farhan

机构 * organization= School of Computing, National University of Computer \& Emerging Sciences (FAST) , city= Lahore , postcode= 54000 , country= Pakistan 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于检索的时尚描述与标签生成方法，结合多件服装检测、属性推理和大语言模型，提升描述准确性和标签生成的视觉相关性。

Comments Submitted to Expert Systems with Applications

MedSAM3: Delving into Segment Anything with Medical Concepts

MedSAM3：深入探索医学概念中的分割任务

Anglin Liu, Rundong Xue, Xu R. Cao, Yifan Shen, Yi Lu, Xiang Li, Qianqian Chen, Jintai Chen

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MedSAM3通过引入可文本提示的医学分割模型，实现了基于开放词汇文本描述的精准解剖结构分割，显著优于现有方法。

The SA-FARI Dataset: Segment Anything in Footage of Animals for Recognition and Identification

SA-FARI数据集：用于识别和鉴定的动物视频中的片段任何事物

Dante Francisco Wasmuht, Otto Brookes, Maximillian Schall, Pablo Palencia, Chris Beirne, Tilo Burghardt, Majid Mirmehdi, Hjalmar Kühl, Mimi Arandjelovic, Sam Pottie, Peter Bermant, Brandon Asheim, Yi Jin Toh, Adam Elzinga, Jason Holmberg, Andrew Whitworth, Eleanor Flatt, Laura Gustafson, Chaitanya Ryali, Yuan-Ting Hu, Baishan Guo, Andrew Westbury, Kate Saenko, Didac Suris

机构 * Conservation X Labs (CXL)（Conservation X Labs） ； Meta ； University of Bristol（布里斯托大学） ； Hasso Plattner Institute（哈索罗滕堡研究所） ； University of Oviedo（奥维多大学） ； Osa Conservation（Osa保护） ； Senckenberg Museum of Natural History（Senckenberg自然史博物馆） ； Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所） ； Climate Corridors（气候走廊） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SA-FARI数据集通过高物种多样性、多地区覆盖和高质量时空标注，为野生动物多动物跟踪提供了新的研究基础。

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

VideoLights: 用于联合视频亮点检测和时刻检索的特征细化与跨任务对齐变换器

Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

机构 * North South University（北南大学） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制，提升视频亮点检测与时刻检索的性能。

Weakly-supervised Latent Models for Task-specific Visual-Language Control

弱监督潜在模型用于任务特定的视觉语言控制

Xian Yeow Lee, Lasitha Vidyaratne, Gregory Sin, Ahmed Farahat, Chetan Gupta

机构 * Industrial AI Lab, Hitachi America, Ltd.（日立美国有限公司工业人工智能实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种任务特定的潜在动态模型，利用目标状态监督学习动作诱导位移，以提高空间定位任务中的视觉语言控制性能。

Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story

Vladislav Pedashenko, Laida Kushnareva, Yana Khassan Nibal, Eduard Tulchinskii, Kristian Kuznetsov, Vladislav Zharchinskii, Yury Maximov, Irina Piontkovskaya

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

Multi-Agent VLMs Guided Self-Training with PNU Loss for Low-Resource Offensive Content Detection

Han Wang, Deyi Ji, Junyu Lu, Lanyun Zhu, Hailong Zhang, Haiyang Wu, Liqun Liu, Peng Shu, Roy Ka-Wei Lee

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 4 figures, Fortieth AAAI Conference on Artificial Intelligence (AAAI-26)

Training-Free Multi-View Extension of IC-Light for Textual Position-Aware Scene Relighting

Jiangnan Ye, Jiedong Zhuang, Lianrui Mu, Wenjie Zheng, Jiaqi Hu, Xingze Zou, Jing Wang, Haoji Hu

机构 * College of Information Science（信息科学学院） ； Electronic Engineering, Zhejiang University, Hangzhou, 310027, Zhejiang, China（电子工程系，浙江大学，杭州，310027，浙江，中国） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments Submitting for Neurocomputing

Rethinking Whole-Body CT Image Interpretation: An Abnormality-Centric Approach

Ziheng Zhao, Lisong Dai, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Department of Radiology, Renmin Hospital of Wuhan University（武汉大学仁医院放射科） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

Comments 40 pages