arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

视觉大模型 / VLM

视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。

2026-06-03 至 2026-06-03 共收录 17 信号源:cs.CV, cs.AI, cs.LG

1. 视觉定位与Grounding 17 篇

2605.20306 2026-06-03 cs.CV cs.LG 92%

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China(电子科技大学) National University of Singapore(新加坡国立大学) De Artificial Intelligence Lab(德人工智能实验室) The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) University of Science and Technology of China(中国科学技术大学)

专题命中 视觉定位与Grounding :VLM(summary_cn,abstract);vision-language model(title,abstract);grounding(title,abstract);分类 cs.CV、cs.LG

AI总结 提出WildRoadBench基准,通过VLM直接定位和LLM驱动智能体自主研究两种协议,评估模型在航拍道路损伤定位上的性能,发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02994 2026-06-03 cs.CV 86%

Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation

Video-OPD:通过在线策略蒸馏实现多模态大语言模型在时序视频定位中的高效后训练

Jiaze Li, Hao Yin, Haoran Xu, Boshen Xu, Wenhui Tan, Zewen He, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Nanyang Technological University(南洋理工大学)

专题命中 视觉定位与Grounding :grounding(title,abstract);multimodal large language model(title);分类 cs.CV

AI总结 提出Video-OPD框架,利用在线策略蒸馏和教师验证分歧聚焦课程,以高效后训练多模态大语言模型进行时序视频定位,克服稀疏奖励和高计算开销问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02962 2026-06-03 cs.CV cs.AI cs.HC eess.IV 81%

Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

面向自我中心自然语言查询定位的手部轨迹融合

Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

机构 * Grupo de Tratamiento de Imágenes (GTI), Information Processing and Telecommunications Center , ETSI Telecomunicación, Universidad Politécnica de Madrid, Spain(图像处理小组(GTI)、信息处理与电信中心、电信工程学院、马德里理工大学、西班牙)

专题命中 视觉定位与Grounding :grounding(title,abstract);分类 cs.CV、cs.AI

AI总结 针对自我中心视频中的自然语言查询定位任务,提出手部轨迹编码器与自适应门控交叉注意力融合方法,利用手部运动信息提升查询定位性能。

Comments Accepted for the poster session at the Egocentric Vision (EgoVis) Workshop in Conjunction with CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03539 2026-06-03 cs.CV 79%

Knowledge-Preserved Model Tuning in Null-Space for Robust Spatio-Temporal Video Grounding

零空间中知识保留的模型调优用于鲁棒的时空视频定位

Haoxuan Chen, Xianqin Liu, Jian-Fang Hu

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院) National Information Center of GACC (Guangdong), GuangZhou, China(广东省GACC国家信息中心) Guangdong Province Key Laboratory of Information Security Technology, China(广东省信息安全技术重点实验室) Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部机器智能与高级计算重点实验室)

专题命中 视觉定位与Grounding :grounding(title,abstract);分类 cs.CV

AI总结 针对低质量视频导致预训练知识被破坏的问题,提出零空间调优(NST)框架,通过将可学习残差限制在冻结权重的零空间内来保留预训练知识,同时利用质量自适应单元和双空间重参数化合成残差,在混合质量基准上达到最优性能。

Comments Accepted by ICME 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03080 2026-06-03 cs.CL cs.AI 74%

Regret Pre-training: Bridging Prior and Posterior Views for Enhanced Knowledge Grounding

遗憾预训练:桥接先验与后验视角以增强知识基础

Mingkuan Zhao, Xiayu Sun, Wentao Hu, Suquan Chen, Jiaxuan Li, Xiaoyan Zhu, Xin Lai, Jiayin Wang

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 视觉定位与Grounding :grounding(title);分类 cs.AI

AI总结 提出遗憾预训练框架,通过双视角架构利用未来信息增强因果语言模型,在OLMoE-1B-7B架构上平均准确率提升至33.9%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.20142 2026-06-03 cs.LG 74%

Grounding Functional Similarity by Invariance-Aware Model Stitching

通过不变性感知模型拼接实现功能相似性评估

Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

机构 * Ioannis Athanasiadis Anmar Karmush Michael Felsberg

专题命中 视觉定位与Grounding :grounding(title);分类 cs.LG

AI总结 针对标准模型拼接忽略不变性导致功能相似性误判的问题,提出前向-后向兼容性要求下的不变性感知模型拼接方法,揭示隐藏的功能差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02661 2026-06-03 eess.IV cs.AI cs.LG 62%

Learning to Refine: Spectral-Decoupled Iterative Refinement Framework for Precipitation Nowcasting

学习细化:用于降水临近预报的频谱解耦迭代细化框架

Yunlong Zhou, Chen Zhao, Danyang Peng, Fanfan Ji, Xiao-Tong Yuan

机构 * National University of Singapore(新加坡国立大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI、cs.LG

AI总结 提出频谱解耦迭代细化框架(SDIR),通过双路径设计(SFG-Former和FR-Refiner)和物理一致功率谱密度损失,在确定性框架中实现降水临近预报的渐进频率解耦细化,消除模糊和幻觉,在空间精度和频谱保真度上超越现有方法。

Comments 21 pages, 10 figures, accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03453 2026-06-03 cs.CR cs.AI cs.MA 57%

FORGE: Multi-Agent Graduated Exploitation and Detection Engineering

FORGE:多智能体渐进式利用与检测工程

Farooq Shaikh

机构 * Dynatrace

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 提出多智能体系统FORGE,通过渐进式利用深度桥接漏洞利用生成、优先级排序和检测规则工程三个孤立领域,在603个CVE上实现67.8%的端到端L1+利用,并生成低误报的Sigma和Snort检测规则。

Comments 18 pages, 4 figures, 3 tables. Accepted at the AgentCy Workshop at the 21st International Conference on Availability, Reliability and Security (ARES 2026). Keywords: Vulnerability assessment, Multi-agent systems, Exploit generation, Detection engineering, Risk prioritization

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02866 2026-06-03 cs.AI cs.CL cs.MA 57%

When Helping Hurts and How to Fix It: Multi-Agent Debate for Data Cleaning

当帮助有害时以及如何修复:多智能体辩论用于数据清洗

Chirag Parmar, Akshat Mehta, Henglin Wu, Jagadish Ramamurthy, Shweta Medhekar

机构 * Meta Platforms, Inc.(Meta公司)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 研究多智能体辩论在数据清洗中的效果,发现其会降低生成性能但提升错误检测,通过推导辩论收益条件并采用对抗性分离的辩论配置,首次在生成任务上显著超越单智能体。

Comments 27 pages, 4 figures, 12 tables. Includes appendix with full experimental results, prompt templates, and dataset statistics

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02745 2026-06-03 cs.RO cs.LG 57%

SeeTraceAct: Visibility-Aware Latent Planning from Cross-Embodiment Demonstration Videos

SeeTraceAct: 跨具身演示视频中的可见性感知潜在规划

Jaehyeon Son, Junhyun Kim, Kyle Kam, Jeremiah Coholich, Seok Joon Kim, Jinhoo Kim, Chris Dongjoo Kim, Jaemin Cho, Dieter Fox, Zsolt Kira

机构 * Georgia Institute of Technology(佐治亚理工学院) Allen Institute for AI(Allen人工智能研究所) Johns Hopkins University(约翰霍普金斯大学) University of Washington(华盛顿大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.LG

AI总结 提出SeeTraceAct框架,通过可见性感知的未来末端执行器轨迹预测增强空间定位,实现基于单次跨具身演示视频的机器人策略泛化,在模拟和真实场景中取得最优成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02584 2026-06-03 cs.CL cs.AI cs.IR 57%

IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation

IdiomX:习语理解、检索和解释的多语言基准

Ayman Ali Sharara

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 提出IdiomX,一个大规模多语言习语基准,通过可复现的多阶段流水线构建,涵盖190K+上下文示例和12K+习语,定义四项任务(检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释),实验表明上下文Transformer模型提升检测,混合检索重排序增强单语和跨语言检索,习语解释可建模为语义检索任务。

Comments 12 pages, 21 figures. Includes dataset and code. Resources available on HuggingFace, Kaggle, and GitHub

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02581 2026-06-03 cs.IR cs.AI 57%

Cost-Aware Query Routing in RAG: Empirical Analysis of Retrieval Depth Tradeoffs

RAG中的成本感知查询路由:检索深度权衡的实证分析

Sanjay Mishra

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 提出CA-RAG框架,通过为每个查询选择最优的检索深度和生成配置组合,在保证答案质量的同时减少令牌成本和延迟。

Comments 13 pages , 18 figures , 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08767 2026-06-03 cs.AI 57%

From Holo Pockets to Electron Density: GPT-style Drug Design with Density

从全息口袋到电子密度:基于密度的GPT式药物设计

Jiahao Chen, Letian Gao, Yanhao Zhu, Wenbiao Zhou, Bing Su, Zhi John Lu, Bo Huang

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI

AI总结 提出EDMolGPT,一种利用低分辨率电子密度作为物理条件进行从头药物设计的自回归框架,通过密度点云生成分子,减轻结构偏差并产生3D构象。

Comments Published as a conference paper in ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.15851 2026-06-03 cs.CV 57%

ResCLIP: Residual Attention for Training-free Dense Vision-language Inference

ResCLIP: 用于无训练密集视觉-语言推理的残差注意力

Yuhang Yang, Jinhong Deng, Wen Li, Lixin Duan

机构 * University of Electronic Science and Technology of China(电子科学与技术大学)

专题命中 视觉定位与Grounding :vision-language model(abstract);分类 cs.CV

AI总结 提出残差交叉相关自注意力模块和语义反馈精炼模块,利用中间层交叉相关注意力重组空间信息,提升CLIP在密集预测任务中的性能。

Journal ref Proceedings of the Computer Vision and Pattern Recognition Conference. 2025: 29968-29978

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03247 2026-06-03 cs.CL cs.IR 50%

Structures Facilitate Retrieve, Rerank, and Generate

结构促进检索、重排序和生成

Yeqin Zhang, Haomin Fu, Xujie Zhang, Cam-Tu Nguyen

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国) School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国)

专题命中 视觉定位与Grounding :grounding(abstract)

AI总结 提出SF-Re2G方法,通过利用文档结构信息改进段落表示、构建结构增强的重排序器并融入子图上下文,以提升文档对话系统的检索、重排序和生成性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03132 2026-06-03 cs.CL 50%

DMT-CBT: Longitudinal Therapeutic State Modeling for CBT Counseling

DMT-CBT:面向CBT咨询的纵向治疗状态建模

Chang Liu, Shuyi Zhang, Changsheng Ma, Yongfeng Tao, Minqiang Yang, Bin Hu

机构 * School of Information Science and Engineering, Lanzhou University(信息科学与工程学院,兰州大学)

专题命中 视觉定位与Grounding :grounding(abstract)

AI总结 提出DMT-CBT框架,通过跨会话结构化治疗状态、多模态行为基础与工具增强干预,解决现有方法将CBT咨询简化为局部回复生成的问题,实现纵向治疗状态动态建模。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.12574 2026-06-03 cs.IR 50%

Uncovering Competing Poisoning Attacks in Retrieval-Augmented Generation

揭示检索增强生成中的竞争性投毒攻击

Liuji Chen, Xiaofang Yang, Yuanzhuo Lu, Jinghao Zhang, Xin Sun, Qiang Liu, Shu Wu, Jing Dong, Liang Wang

专题命中 视觉定位与Grounding :grounding(abstract)

AI总结 针对检索增强生成系统,研究多个攻击者同时投毒以争夺同一查询目标的问题,提出竞争有效性指标和PoisonArena框架。

Comments Accepted by KDD 2026. Project page: https://poison-arena.github.io/

Journal ref KDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏