AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
CaST-Bench：面向视频问答的因果链时空推理基准
机构 * Woven by Toyota（丰田公司） ； The University of Tokyo（东京大学）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV
AI总结 提出CaST-Bench基准，通过构建包含因果链时空标注的数据集和评估指标，系统评测视觉语言模型在视频因果推理中的细粒度证据定位能力。
Comments CVPR 2026
SEPS：面向细粒度跨模态对齐的语义增强补丁精简框架
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出SEPS框架，通过两阶段机制整合稠密与稀疏文本语义，识别显著视觉补丁，并利用相关性感知选择与均值计算突出关键补丁-词对应，提升跨模态相似度评估，在Flickr30K和MS-COCO上rSum提升23%-86%。
Wiki-R1: 通过数据和采样课程激励基于知识的多模态推理用于VQA
机构 * ShanghaiTech University（上海科技大学） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） ； Lingang Laboratory（临港实验室）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出Wiki-R1框架，通过可控课程数据生成和课程采样策略，结合强化学习激励MLLMs在KB-VQA中的推理能力，在Encyclopedic VQA和InfoSeek上取得新SOTA。
Comments Accepted by ICLR 26, code and weights are publicly available
ForeSea：面向视频监控的多模态查询AI取证搜索
机构 * Qualcomm AI Research（高通人工智能研究）
专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV
AI总结 针对监控视频中多模态查询与时间定位难题，提出ForeSea系统，采用三阶段即插即用流程，结合跟踪、多模态嵌入和视频LLM，在ForeSeaQA基准上准确率提升3.1%，时间IoU提升10.1%。
Comments ECCV2026
关于视觉-语言模型的测试时扩展
机构 * ETRO Department, Vrije Universiteit Brussel（布鲁塞尔自由大学ETRO部门） ； imec
专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文系统研究了视觉-语言模型（LVLM）的测试时扩展方法，发现小型高性能模型受益最大，性能提升可达30%，并揭示了视觉信息在推理链早期编码后图像令牌贡献显著下降。
Comments ECCV 2026
在思考之前，先学会决策：面向高效视觉推理的主动路由
机构 * Xi’an Jiaotong University（西安交通大学） ； ARC Lab, Tencent IEG（腾讯IEG ARC实验室） ； City University of Hong Kong（香港城市大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Harvard University（哈佛大学） ； Nanjing University（南京大学）
专题命中 视觉推理 ：visual reasoning(title)
AI总结 提出主动路由范式PRP，通过联合评估草稿模型和目标模型的能力，实现早期决策，加速多模态推理而不牺牲性能。
Comments 36 pages, 20 figures
TimeChat-Captioner: 用时间感知和结构化的音视频字幕脚本化多场景视频
机构 * South China University of Technology（华南理工大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队）
专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；分类 cs.CV
AI总结 提出Omni密集描述任务，通过六维结构模式生成带时间戳的类脚本描述，构建OmniDCBench基准和SodaM评估指标，训练TimeChat-Captioner-7B模型，在音视频推理和时间定位任务上超越Gemini-2.5-Pro。
Omni-DuplexEval: 评估实时双工全模交互
机构 * Tsinghua University（清华大学） ； Tongji University（同济大学） ； ModelBest Inc.（ModelBest公司）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出Omni-DuplexEval基准，用于系统评估实时双工交互能力，通过两个互补场景评估模型生成连续响应和主动提醒的能力，并揭示现有模型在平衡响应及时性和内容连贯性方面的局限性。
Comments 21 pages, 6 figures
Ophiuchus: 激励工具增强的“图像思考”用于联合医学分割、理解与推理
机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Information Hub, HKUST (Guangzhou)（信息枢纽，香港科技大学（广州））
专题命中 视觉定位与Grounding ：MLLM(summary_cn,abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出Ophiuchus框架，通过三阶段训练策略（冷启动SFT、自反思微调、工具强化学习）使MLLM动态聚焦细粒度视觉区域，实现精准医学分割与诊断。
跨文化价值观意识在大型视觉-语言模型中的体现
机构 * Thoughtworks ； University of Ottawa（渥太华大学）
专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文研究了图像中文化背景如何影响大型视觉-语言模型对人物道德、伦理和政治价值观的判断，通过多维分析揭示模型对文化价值观差异的认知。
恢复VLA模型中的语言基础：无需训练的注意力重校准方法
机构 * Tsinghua University（清华大学） ； Singapore Management University（新加坡管理学院） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室）
专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.CV、cs.AI
AI总结 针对VLA模型在分布外指令下出现“语言盲视”问题，提出无需训练的注意力重校准方法IGAR，通过调整注意力分布恢复语言指令影响，在LIBERO基准和真实机器人上有效减少错误执行。
CaP-X: 用于基准测试和改进机器人操作编码智能体的框架
机构 * nvidia ； stanford（斯坦福大学） ； cmu（卡内基梅隆大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI
AI总结 提出CaP-X框架，通过CaP-Gym交互环境和CaP-Bench评估，发现编码智能体依赖人工抽象，但通过扩展测试时计算可提升鲁棒性，并推出无需训练的CaP-Agent0和强化学习CaP-RL。
BRIDGE: 从模型性能预测人类任务完成时间
机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； Periodic Labs（Periodic实验室） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； ServiceNow Research（ServiceNow研究）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出BRIDGE框架，利用项目反应理论从模型性能中学习潜在任务难度，并将其与人类任务完成时间对齐，从而仅凭模型性能预测新基准上的人类任务完成时间。
Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)
BLAgent: 一种面向文件级Bug定位的代理RAG
机构 * University of Calgary（卡尔加里大学） ； York University（约克大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 本文提出BLAgent，一种新型代理RAG框架，用于文件级Bug定位，通过结合代码结构感知的仓库编码、双视角查询转换和两阶段代理重排序，提高了Bug定位的准确性和效率。
Comments Accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM)
基于渐进调优的缺陷感知混合提示优化用于零样本多类型异常检测与分割
机构 * Corporate Research, Robert Bosch GmbH（罗伯特·博世集团企业研究部） ； Otto-von-Guericke-University（奥托·冯·格里克大学） ； Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所） ； Faculty of Computer Science, UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学系） ； University of Southampton（南安普顿大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 提出DAPO框架，通过混合提示机制结合可读缺陷描述与可学习嵌入，对齐异常视觉特征与文本语义，在零样本多类型异常检测与分割任务中平均提升AUROC 3.6%和5.2%。
Journal ref European Conference on Computer Vision (ECCV 2026)
Aria: 基于依赖图的检索与迭代自动形式化智能体
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 提出Aria系统，通过两阶段思维图过程递归分解定理陈述为依赖图并构建形式化，结合AriaScorer验证语义正确性，在ProofNet、FATE-X和同调猜想数据集上显著超越现有方法。
学习多任务机器人操作的语义原子技能
机构 * ShanghaiTech University（上海科技大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)
AI总结 提出AtomSkill框架，通过语义对比对齐和关键姿态想象，从演示中学习可重用原子技能，实现多任务机器人操作，优于现有方法。
PPTArena: 一个用于PowerPoint编辑的基准测试
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出PPTArena基准，包含2125张幻灯片的1300+人工编辑任务，并设计PPTPilot智能体通过结构感知的规划-编辑-验证循环，在复合、布局敏感和跨幻灯片编辑上超越强基线10个百分点以上。
Comments ECCV 2026
MedRepBench：医学报告解读的综合基准
机构 * Baidu Inc.（百度公司）
专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。
Comments ECCV 2026 (main conference)
Sim2Real-AD：一种模块化的仿真到现实框架，用于在现实世界自动驾驶中部署基于VLM的强化学习
机构 * Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Google（谷歌）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；分类 cs.CV、cs.AI
AI总结 本文提出Sim2Real-AD框架，实现无需真实世界强化学习数据将CARLA训练的VLM引导强化学习策略零样本迁移到全尺寸车辆。框架包含几何观察桥、物理感知动作映射、两阶段渐进训练和实时部署流水线。
Comments 33 pages, 16 figures
SCLARO：面向场景级场景理解的数据集及用于基准测试的ScenarioCLIP
机构 * Machine Intelligence Group, Department of CS&IS, Birla Institute of Technology and Science, Pilani – Hyderabad Campus（人工智能组，计算机科学与信息系，比拉理工学院和科学学院，比拉-海得拉巴校区）
专题命中 GUI与屏幕智能体 ：visual language model(title)；分类 cs.CV
AI总结 提出SCLARO数据集（615,805张图像，含动作、对象和关系标注）及ScenarioCLIP模型，通过解耦编码器和知识蒸馏联合编码场景上下文、对象和关系，在零样本检索等任务上优于先前方法。
CLIP-AUTT: 基于动作单元提示的测试时个性化方法用于细粒度视频情绪识别
机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal（LIVIA, ILLS, 系统工程学院, 蒙特利尔高等技术学院） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal（LIVIA, 软件与IT工程学院, 蒙特利尔高等技术学院） ； Dept. of Computer Science, École Polytechnique（计算机科学系, 巴黎综合理工学院）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV
AI总结 本文提出CLIP-AUTT，通过动作单元提示实现测试时个性化，提升细粒度视频情绪识别的鲁棒性和个性化能力。
Comments ECCV, 2026
为Android应用程序自动生成高质量的缺陷报告
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 本文提出通过提供具体应用相关信息帮助LLM自动生成清晰详细的缺陷报告，提出BugScribe方法，通过评估显示其生成的报告质量更高且更准确。
Comments 12 pages, 6 figures
DriveVLM-RL：受神经科学启发的强化学习与视觉语言模型用于安全可部署的自动驾驶
机构 * Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Lyles School of Civil and Construction Engineering, Purdue University（普渡大学莱尔斯土木与建设工程学院） ； Department of Civil Engineering, McGill University（麦吉尔大学土木工程系）
专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出DriveVLM-RL框架，通过双通路架构将VLM集成到RL中，实现安全可部署的自动驾驶，在CARLA中显著优于基线。
Comments 33 pages, 16 figures
跟随我的眼睛：基于VLM的扫视路径预测的后门攻击
专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)
AI总结 本文首次研究了针对基于VLM的扫视路径预测的后门攻击，通过设计两种可变输出攻击方法，展示了如何在不同触发模式下绕过检测，验证了边缘部署系统的实际威胁。
从一对一到多对多：面向深度视觉-语言融合的动态跨层注入
机构 * Tongji University（同济大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院） ； Independent Researcher（独立研究者）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出跨层注入框架，通过自适应多投影模块和自适应门控融合机制实现视觉层与LLM的动态多对多连接，显著提升多模态理解性能。
NEARL: 基于正交正则化的交互式查询自适应用于医学视觉-语言理解
机构 * MoE Key Lab of Artificial Intelligence（人工智能MOE实验室） ； AI Institute（人工智能研究院） ； School of Computer Science（计算机科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； Department of Radiology（放射科） ； The First Affiliated Hospital（第一附属医院） ； School of Medicine（医学院） ； Zhejiang University（浙江大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； State Key Laboratory of Infrared Physics（红外物理国家重点实验室） ； Shanghai Institute of Technical Physics（上海技术物理研究所） ； Chinese Academy of Science（中国科学院）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出NEARL框架，通过统一协同嵌入变换器（USEformer）和正交交叉注意力适配器（OCA）实现双向跨模态交互，仅引入1.46M参数，在三个医学影像数据集上取得最先进性能。
对比语言-彩色点图预训练用于统一3D场景理解
机构 * Imperial College London（帝国理工学院伦敦分校）
专题命中 VLM训练与架构 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.LG
AI总结 提出UniScene3D，一种基于Transformer的编码器，通过多视图彩色点图联合建模外观和几何，并引入跨视图几何对齐和接地视图对齐，在少样本和任务特定微调中达到SOTA。
Comments 19 Pages, ECCV 2026 Accepted
谱不平衡导致低秩持续适应中的遗忘
专题命中 其他VLM ：vision-language model(abstract)；分类 cs.LG
AI总结 本文从知识分解角度发现低秩适应存在奇异值谱不平衡，导致遗忘，并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法，有效缓解前后向遗忘。
Comments 21 pages, 7 figures
迈向交互式全球地理定位助手
机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences (UCAS)（中国科学院大学先进交叉学科学院） ； School of Electronic, Electrical and Communication Engineering, UCAS（中国科学院大学电子、电气与通信工程学院） ； School of Computer Science and Technology, UCAS（中国科学院大学计算机科学与技术学院）
专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV
AI总结 提出基于大型视觉语言模型的交互式全球地理定位助手GaGA，通过挖掘图像地理线索并结合世界知识进行定位，支持用户交互，在GWS15k数据集上达到最优性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈