arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

视觉大模型 / VLM

视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。

2026-05-15 至 2026-05-15 共收录 24 信号源:cs.CV, cs.AI, cs.LG

1. 视觉定位与Grounding 24 篇

2602.03417 2026-05-15 cs.CL 89%

FactNet: A Billion-Scale Knowledge Graph for Multilingual Factual Grounding

FactNet:一个十亿级的知识图谱用于多语言事实 grounding

Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

机构 * Tsinghua University(清华大学) Technical University of Munich(慕尼黑技术大学) ModelBest Inc.(ModelBest公司) Minzu University of China(民族大学)

专题命中 视觉定位与Grounding :grounding(title,title_cn)

AI总结 FactNet通过结合17亿条维基数据语句和301亿条证据指针,构建了一个十亿级多语言知识图谱,提供事实 grounding 的评估框架,并验证了跨语言结构的知识迁移能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.11809 2026-05-15 cs.CV 85%

From Street View to Visual Network: Mapping the Visibility of Urban Landmarks with Vision-Language Models

从街景到视觉网络:利用视觉语言模型映射城市地标可见性

Zicheng Fan, Kunihiko Fujiwara, Pengyuan Liu, Fan Zhang, Filip Biljecki

机构 * organization= Department of Architecture, National University of Singapore , country= Singapore organization= Research \& Development Institute, Takenaka Corporation , country= Japan organization= Urban Analytics Subject Group, Urban Studies \& Social Policy Division, University of Glasgow , country= United Kingdom organization= Institute of Remote Sensing GIS, Peking University , country= China organization= Department of Real Estate, National University of Singapore , country= Singapore

专题命中 视觉定位与Grounding :vision-language model(title);VLM(abstract,abstract_cn);vision language model(abstract);分类 cs.CV

AI总结 本文提出利用视觉语言模型将地标可见性分析转化为图像空间中的视觉搜索问题,通过街景图像实现高效可见性评估,构建异构可见性图以表示地标、街景位置及城市空间之间的视觉连接,实验表明方法在数据受限情况下具有较高准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.05008 2026-05-15 cs.CV 84%

Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation

多模态因果驱动表示学习用于通用化医学图像分割

Xusheng Liang, Lihua Zhou, Nianxin Li, Miao Xu, Ziyang Song, Dong Yi, Jinlin Wu, Jiawei Ma, Hongbin Liu, Zhen Lei, Jiebo Luo

机构 * City University of Hong Kong(香港城市大学) Shenzhen Loop Area Institute(深圳河套学院) CAIR, HKISI, Chinese Academy of Sciences(中国科学院计算智能研究所) UESTC(电子科技大学) MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)

专题命中 视觉定位与Grounding :VLM(summary_cn,abstract);vision-language model(abstract);分类 cs.CV

AI总结 本文提出MCDRL框架,结合因果推理与VLM解决医学图像分割的领域泛化问题,通过文本提示识别病变区域并消除领域特定影响,提升分割准确性与泛化能力。

Comments Accepted by CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14906 2026-05-15 cs.CV 83%

MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models

MemLens:大型视觉-语言模型多模态长期记忆的基准测试

Xiyu Ren, Zhaowei Wang, Yiming Du, Zhongwei Xie, Chi Liu, Xinlin Yang, Haoyue Feng, Wenjun Pan, Tianshi Zheng, Baixuan Xu, Zhengnan Li, Yangqiu Song, Ginny Wong, Simon See

机构 * CSE Deparment, HKUST(香港科技大学计算机科学与工程系) CUHK(香港大学) OmniMemory (Shenzhen) Intelligent Technology Co., Ltd.(深圳奥米克记忆科技有限公司) NVIDIA AI Technology Center (NVAITC), NVIDIA, Santa Clara, USA(英伟达AI技术中心(NVAITC),英伟达,美国圣克拉拉)

专题命中 视觉定位与Grounding :vision-language model(title,abstract);grounding(abstract);分类 cs.CV

AI总结 MemLens基准测试评估大型视觉-语言模型在多模态多会话对话中的长期记忆能力,通过789个问题测试五种记忆能力,揭示长上下文模型和记忆增强代理的优缺点,推动混合架构发展。

Comments Work in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14742 2026-05-15 cs.CV cs.RO 83%

EARL: Towards a Unified Analysis-Guided Reinforcement Learning Framework for Egocentric Interaction Reasoning and Pixel Grounding

EARL:一种统一的分析引导强化学习框架,用于第一人称交互推理与像素定位

Yuejiao Su, Xinshen Zhang, Zhen Ye, Lei Yao, Lap-Pui Chau, Yi Wang

机构 * Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University, Hong Kong SAR(香港理工大学电子与电气工程系) Division of Emerging Interdisciplinary Areas (EMIA), The Hong Kong University of Science and Technology, Hong Kong SAR(香港理工大学新兴跨学科领域研究中心)

专题命中 视觉定位与Grounding :grounding(title,abstract);multimodal large language model(abstract);分类 cs.CV

AI总结 本文提出EARL框架,通过分析引导特征合成器提升第一人称交互推理与像素定位的准确性,实验显示在Ego-IRGBench上像素定位达到65.48% cIoU,优于现有方法。

Comments Accepted at ICML 2026. Project page: https://github.com/yuggiehk/EARL

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14733 2026-05-15 cs.CV 81%

Video-Zero: Self-Evolution Video Understanding

Video-Zero: 自主进化视频理解

Ruixu Zhang, Deyi Ji, Lanyun Zhu, Xuanyi Liu, Yuxin Meng, Ruihang Chu, Yujiu Yang

机构 * Tsinghua University(清华大学) Tencent(腾讯) Tongji University(同济大学) Peking University(北京大学)

专题命中 视觉定位与Grounding :VLM(abstract,abstract_cn);grounding(abstract,abstract_cn);分类 cs.CV

AI总结 本文提出Video-Zero框架,通过无标注的Questioner-Solver共进化机制,聚焦时间局部证据,提升视频理解的自进化能力,验证了证据中心自进化方法的有效性与迁移性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.13016 2026-05-15 cs.CV 79%

SVAG-Bench: A Large-Scale Benchmark for Multi-Instance Spatio-temporal Video Action Grounding

SVAG-Bench:多实例时空视频动作定位的大规模基准

Tanveer Hannan, Shuaicong Wu, Mark Weber, Suprosanna Shit, Jindong Gu, Rajat Koner, Aljoša Ošep, Laura Leal-Taixé, Thomas Seidl

机构 * LMU Munich(慕尼黑大学) MCML Technical University of Munich(慕尼黑技术大学) University of Zurich(苏黎世大学) University of Oxford(牛津大学) Amazon(亚马逊) NVIDIA(英伟达)

专题命中 视觉定位与Grounding :grounding(title,abstract);分类 cs.CV

AI总结 SVAG-Bench通过多实例整合任务,评估模型在复杂场景中对动作的时空定位能力,包含688个视频和19590个注释,支持细粒度评估多主体歧义消除和动作组合性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15167 2026-05-15 cs.CV 77%

Does Synthetic Layered Design Data Benefit Layered Design Decomposition?

合成分层设计数据是否有助于分层设计分解?

Kam Man Wu, Haolin Yang, Qingyu Chen, Yihu Tang, Jingye Chen, Qifeng Chen

机构 * HKUST(香港理工大学) Webank(网商银行)

专题命中 视觉定位与Grounding :VLM(abstract,abstract_cn);vision language model(abstract);分类 cs.CV

AI总结 本文研究合成分层数据对图形设计分解的影响,发现纯合成数据能有效替代传统方法,且训练数据规模增加时性能提升,但5万样本后趋于饱和。

Comments 22 pages, 10 figures. Code is available at https://github.com/YangHaolin0526/SynLayers

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14923 2026-05-15 cs.CV 77%

SceneParser: Hierarchical Scene Parsing for Visual Semantics Understanding

SceneParser: 用于视觉语义理解的分层场景解析

Pengxin Xu, Xincheng Lin, Luping Xiao, Qing Jiang, Meishan Zhang, Hao Fei, Shanghang Zhang, Xingyu Chen

机构 * Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)) Zhongguancun Academy(中关村学院) Huazhong University of Science and Technology(华中科技大学) Beijing University of Posts and Telecommunications(北京邮电大学) South China University of Technology(华南理工大学) University of Oxford(牛津大学) Peking University(北京大学)

专题命中 视觉定位与Grounding :VLM(abstract,abstract_cn);grounding(abstract);分类 cs.CV

AI总结 本文提出SceneParser,通过分层解析任务构建场景-对象-部件-功能的层次结构,利用结构完成伪标签和课程学习提升结构感知能力,实验表明其在复杂场景理解中表现更优。

Comments Preprint. Code, models, and dataset are provided in the manuscript

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14210 2026-05-15 cs.LG cs.AI 73%

Towards Fine-Grained and Verifiable Concept Bottleneck Models

面向细粒度和可验证的概念瓶颈模型

Yingying Fang, Haijie Xu, Shuang Wu, Mariathasan Anish, Guang Yang

机构 * Bioengineering Department(生物工程部门) Imperial-X, Imperial College London, London, UK(帝国理工学院伦敦校区) Thoughtworks AI Labs, Singapore(Thoughtworks AI实验室,新加坡)

专题命中 视觉定位与Grounding :grounding(summary_cn);分类 cs.AI、cs.LG

AI总结 本文提出细粒度概念瓶颈模型框架,通过局部视觉证据 grounding 每个概念,提升模型透明度与可验证性,实验显示其概念空间信息完整且预测性能优异。

Comments 10 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15054 2026-05-15 cs.CV 70%

LATERN: Test-Time Context-Aware Explainable Video Anomaly Detection

LATERN:测试时上下文感知的可解释视频异常检测

Mitchell Piehl, Muchao Ye

机构 * The University of Iowa(爱荷华大学)

专题命中 视觉定位与Grounding :vision-language model(abstract);visual reasoning(abstract);分类 cs.CV

AI总结 本文提出LATERN框架,通过上下文感知模块和递归证据聚合模块提升视频异常检测的准确性和解释一致性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14908 2026-05-15 cs.CV 70%

SteerSeg: Attention Steering for Reasoning Video Segmentation

SteerSeg: 基于注意力引导的视频分割

Ali Cheraghian, Hamidreza Dastmalchi, Abdelwahed Khamis, Morteza Saberi, Aijun An, Lars Petersson

机构 * Macquarie University(麦考瑞大学) York University(约克大学) CSIRO Data61(CSIRO数据61) UTS(UTS大学)

专题命中 视觉定位与Grounding :vision-language model(abstract);grounding(abstract);分类 cs.CV

AI总结 SteerSeg通过输入级条件引导解决注意力对齐问题,结合可学习软提示和推理引导的CoT提示,提升视频分割的时空定位能力。

Comments Project page: https://steerseg.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14192 2026-05-15 cs.CL cs.AI 70%

Why Retrieval-Augmented Generation Fails: A Graph Perspective

为何检索增强生成失败:一种图视角

Kai Guo, Xinnan Dai, Zhibo Zhang, Nuohan Lin, Shenglai Zeng, Jie Ren, Haoyu Han, Jiliang Tang

机构 * Michigan State University(密歇根州立大学) Massachusetts Institute of Technology(麻省理工学院)

专题命中 视觉定位与Grounding :grounding(abstract,abstract_cn);分类 cs.AI

AI总结 本文从图视角分析检索增强生成失败原因,发现正确回答具有更深层推理路径和更分布的证据流,而失败回答则表现出碎片化和集中化的证据流。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.03532 2026-05-15 cs.CV 70%

OpenTrack3D: Towards Accurate and Generalizable Open-Vocabulary 3D Instance Segmentation

OpenTrack3D: 向准确且通用的开放词汇3D实例分割迈进

Zhishan Zhou, Siyuan Wei, Zengran Wang, Chunjie Wang, Xiaosheng Yan, Xiao Liu

机构 * PICO, ByteDance, Beijing(字节跳动北京研究院)

专题命中 视觉定位与Grounding :MLLM(abstract,abstract_cn);分类 cs.CV

AI总结 本文提出OpenTrack3D框架,通过在线构建跨视角一致的对象提案和多模态大语言模型提升开放词汇3D实例分割的准确性和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14600 2026-05-15 cs.CL 67%

SciPaths: Forecasting Pathways to Scientific Discovery

SciPaths: 预测科学发现的路径

Eric Chamoun, Yizhou Chi, Yulong Chen, Rui Cao, Zifeng Ding, Michalis Korakakis, Andreas Vlachos

机构 * University of Cambridge(剑桥大学) The Alan Turing Institute(艾伦·图灵研究所) Singapore University of Technology and Design(新加坡科技设计大学)

专题命中 视觉定位与Grounding :grounding(abstract,abstract_cn)

AI总结 本文提出SciPaths基准,通过专家标注的262条金路径和2444条银路径,评估科学发现路径预测任务,发现核心方法依赖最难恢复,需改进分解质量以提升端到端路径恢复能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14966 2026-05-15 cs.CV cs.AI 62%

MHSA: A Lightweight Framework for Mitigating Hallucinations via Steered Attention in LVLMs

MHSA:一种轻量级框架,通过引导注意力缓解LVLMs中的幻觉

Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

机构 * Tsinghua University(清华大学) Tsinghua University, Tencent(清华大学腾讯) Tencent(腾讯) University of Science and Technology Beijing(北京科技大学) University of Macau(澳门大学)

专题命中 视觉定位与Grounding :vision-language model(abstract);分类 cs.CV、cs.AI

AI总结 本文提出MHSA框架,通过学习修正跨模态注意力模式来缓解LVLMs中的幻觉,采用简单三层MLP生成器和DHCP判别器信号指导训练,无需修改模型参数即可在多种数据集和模型上有效减少判别和生成幻觉。

Comments 19 pages, 17 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14413 2026-05-15 cs.LG cs.AI 62%

MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

MahaVar: 通过神经崩溃下类内马哈拉诺斯距离方差实现分布外检测

Donghwan Kim, Hyunsoo Yoon

机构 * Department of Industrial Engineering(工业工程系) Yonsei University(延世大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI、cs.LG

AI总结 本文提出MahaVar方法,利用类内马哈拉诺斯距离方差作为分布外检测指标,在CIFAR-100和ImageNet上取得最佳性能。

Comments 29 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14389 2026-05-15 cs.AI cs.CL cs.LG 62%

Nexus : An Agentic Framework for Time Series Forecasting

Nexus:一个用于时间序列预测的代理框架

Sarkar Snigdha Sarathi Das, Palash Goyal, Mihir Parmar, Nanyun Peng, Vishy Tirumalashetty, Chun-Liang Li, Rui Zhang, Jinsung Yoon, Tomas Pfister

机构 * Google(谷歌) Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI、cs.LG

AI总结 Nexus框架通过分解预测任务,整合上下文信息,提升时间序列预测的准确性与可解释性,超越传统模型和LLM的局限。

Comments 30 Pages, 3 figures, 5 Tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15109 2026-05-15 cs.AI cs.IR 57%

Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG

为什么社区重要:代理图RAG中的遍历上下文与溯源

Riccardo Terrenzi, Maximilian von Zastrow, Serkan Ayvaz

机构 * Centre for Industrial Software, University of Southern Denmark, Alsion 2, 6400 Sønderborg, Denmark(丹麦南部大学工业软件中心)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 本文探讨了代理图RAG中引用忠实性的轨迹层面问题,通过实验表明引用证据和遍历上下文都对答案准确性有影响。

Comments 7 pages, 2 figures, Submitted at IJCAI-ECAI 2026 Joint Workshop on GENAIK and NORA

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14607 2026-05-15 cs.CV cs.CY 57%

ViMU: Benchmarking Video Metaphorical Understanding

ViMU:视频隐喻理解基准测试

Qi Li, Xinchao Wang

机构 * National University of Singapore(新加坡国立大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.CV

AI总结 ViMU旨在评估视频理解模型对隐含意义的识别能力,通过多模态证据推理,解决现有模型对隐喻、讽刺和社会意义理解不足的问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.19973 2026-05-15 cs.NI cs.AI 57%

A Tutorial on Cognitive Biases in Agentic AI-Driven 6G Autonomous Networks

面向6G自主网络的智能偏差教程

Hatim Chergui, Farhad Rezazadeh, Merouane Debbah, Christos Verikoukis

机构 * i2CAT Foundation(i2CAT基金会) Hostelworld Group(Hostelworld集团) Technical University of Catalonia (UPC)(技术大学(加泰罗尼亚)) Khalifa University of Science and Technology(卡里玛大学) ISI/ATH University of Patras(帕特拉大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 本文探讨了在6G自主网络中因人类设计引入的认知偏差问题,通过两个案例展示如何利用智能体AI缓解锚定偏差和时间偏差,提升网络管理和边缘计算的效率与节能效果。

Comments 26 pages, 18 figures, 4 tables, link to source code available. Accepted at IEEE OJCOMS

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.13884 2026-05-15 q-bio.NC cs.AI 57%

Consciousness as Uncommon Self-Knowledge: A Synergistic Information Framework

意识作为罕见的自我知识:一种协同信息框架

Krti Tallam

机构 * Stanford University(斯坦福大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 本文提出罕见自我知识作为意识的标准,通过协同信息框架区分意识与元认知,解决IIT等理论的反例,并提供可操作的实证预测。

Comments Conceptual and formal paper on consciousness as uncommon self-knowledge, 8 pages, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15019 2026-05-15 cs.CL 50%

From Scenes to Elements: Multi-Granularity Evidence Retrieval for Verifiable Multimodal RAG

从场景到元素:面向可验证多模态RAG的多粒度证据检索

Guanhua Chen, Chuyue Huang, Yutong Yao, Shudong Liu, Xueqing Song, Lidia S. Chao, Derek F. Wong

机构 * NLP 2 CT Lab, Department of Computer and Information Science, University of Macau(NLP2CT实验室,计算机与信息科学系,澳门大学)

专题命中 视觉定位与Grounding :grounding(abstract)

AI总结 本文提出GranuRAG框架,通过多粒度跨模态对齐和元素级检索,解决多模态RAG中粗粒度证据与细粒度查询不匹配的问题,提升可验证性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14169 2026-05-15 cs.CL 50%

BOOKMARKS: Efficient Active Storyline Memory for Role-playing

BOOKMARKS: 为角色扮演高效主动故事线记忆

Letian Peng, Ziche Liu, Yiming Huang, Longfei Yun, Kun Zhou, Yupeng Hou, Jingbo Shang

机构 * University of California, San Diego(加州大学圣地亚哥分校)

专题命中 视觉定位与Grounding :grounding(abstract)

AI总结 BOOKMARKS通过主动初始化和维护任务相关书签,提升角色扮演代理的长期一致性,有效避免信息丢失。

详情

展开后加载摘要…

URL PDF HTML 收藏