AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
显式逻辑通道用于验证和增强用于零样本任务的前沿多模态大语言模型
机构 * Institute for Infocomm Research (I$^2$R)（信息通信研究所） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） ； Singapore（新加坡）
专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI
AI总结 本文提出显式逻辑通道用于验证和增强多模态大语言模型在零样本任务中的性能，通过显式逻辑推理提高模型的可解释性和可信度。
Comments Accepted to ECCV 2026
SpatialMosaic：一个多视角VLM数据集用于部分可见性
机构 * Seoul National University（首尔大学） ； University College London（伦敦大学学院） ； Kyung Hee University（庆熙大学） ； POSTECH（浦项科技大学）
专题命中 视觉推理 ：VLM(title,title_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 本文提出SpatialMosaic数据集，通过多视角图像生成2M问答对，引入SpatialMosaic-Bench基准测试，结合3D重建模型的混合框架提升空间推理能力。
重新思考视觉隐私：一种用于严重性评估的组合隐私风险框架与VLM
机构 * University of Southern California（南加州大学） ； Meta Superintelligence Labs（Meta超级智能实验室） ； Amazon AGI（亚马逊AGI）
专题命中 视觉推理 ：VLM(title_cn,summary_cn)；分类 cs.CV
AI总结 提出组合隐私风险分类法（CPRT），将视觉属性按独立可识别性和组合危害潜力分级，并构建6.7K图像数据集，评估VLM在组合隐私风险评估中的表现。
VisReason: 面向视觉思维链推理的大规模数据集
机构 * Stony Brook University（石溪大学） ； Boston University（波士顿大学） ； MMLab, The Chinese University of Hong Kong（香港中文大学多媒体实验室）
专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG
AI总结 为解决多模态大模型缺乏大规模视觉思维链数据的问题，构建包含48.9万样本的VisReason数据集及专家级子集VisReason-Pro，通过微调Qwen2.5-VL模型显著提升逐步视觉推理准确性与泛化能力。
Comments ECCV Camera Ready, project page: https://y-research-sbu.github.io/VisReason/
规则导向的视觉语言导航：通过语义推理和几何校正弥合感知与合规性
机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Beijing Normal University（北京师范大学） ； Guangzhou University（广州大学）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出Rule-VLN，首个大规模城市规则合规导航基准，通过语义推理和几何校正模块提升导航安全性，实验表明该模块显著提升导航能力。
RoadBench: 在城市道路场景下对多模态大语言模型进行细粒度空间理解与推理的基准测试
机构 * Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系、北京信息科学与技术国家研究中心） ； Zhongguancun Academy（中关村学院） ； Amap, Alibaba Group（阿里巴巴集团高德地图）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 针对城市复杂场景中多模态大语言模型在细粒度空间理解与推理能力上的不足，提出RoadBench基准，包含8个任务、3040个测试用例，通过鸟瞰图和第一人称视角图像评估模型性能，揭示现有模型在此类任务上的显著缺陷。
Comments Accepted by ECCV 2026, the code and data are publicly available at: https://github.com/tsinghua-fib-lab/RoadBench
PanoGrounder: 利用全景场景表示桥接2D和3D，实现基于VLM的3D视觉定位
机构 * Seoul National University（首尔大学） ； Robotics Lab, Hyundai Motor Company（现代汽车公司机器人实验室） ； Pohang University of Science and Technology (POSTECH)（浦项科技大学）
专题命中 视觉定位与Grounding ：VLM(title,title_cn)；grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 提出PanoGrounder框架，通过多模态全景表示与预训练2D VLM结合，实现强泛化能力的3D视觉定位，在ScanRefer和Nr3D上取得最优结果。
Comments ECCV 2026
Affogato: 基于大规模自动数据生成的开词汇可操作区域定位
机构 * Pohang University of Science and Engineering (POSTECH)（浦项科技大学） ； SqueezeBits ； RLWLRD
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV
AI总结 提出Affogato框架，通过自动化流程生成750K 3D可操作区域热力图与自然语言查询对，解决数据瓶颈，实现开词汇可操作区域定位，并验证其跨架构迁移能力。
Comments ECCV 2026, Project page: https://junha-l.github.io/affogato/
EgoSim：用于具身交互生成的视角世界模拟器
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The University of Hong Kong（香港大学）
专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 EgoSim通过建模可更新的世界状态，解决现有视角模拟器在3D grounding和动态更新上的不足，生成空间一致的交互视频并支持跨具身迁移。
Comments Project Page: egosimulator.github.io
拖拽、推断、重投影：通过空间交互为图像聚类的LLM基础
专题命中 视觉定位与Grounding ：grounding(title,abstract)
AI总结 提出CriterionSI方法，利用大语言模型从用户拖拽交互中推断聚类标准，并引导重投影，实现渐进式标准对齐的图像聚类布局。
SOCO: 视觉基础模型中语义对象对应关系的基准测试
机构 * Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所） ； Saarland Informatics Campus（萨尔州信息学校园） ； CISPA Helmholtz Center for Information Security（信息安全霍夫曼中心） ； University of Freiburg（弗赖堡大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 提出SOCO基准，通过引入对应类型分类法和100个类别上超过100万对功能上有意义的关键点注释，系统评估视觉基础模型中的语义对应能力，并揭示模型在跨类别迁移、语言引导定位与视觉对应之间的差距。
Comments Project page: https://genintel.github.io/SOCO/
面向网络安全专家的小型语言模型
机构 * IBM Research（IBM研究院）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 针对网络安全领域缺乏高质量领域模型和训练数据的问题，提出CyberPal 2.0系列小型语言模型（4B-20B参数），通过SecKnowledge 2.0管道生成增强的思维链指令数据集，在多项网络安全基准测试中超越基线并匹配或超越前沿模型。
OpenReward: 通过强化学习学习奖励长形式智能体任务
机构 * Leiden University（莱顿大学） ； Shandong University（山东大学） ； Tsinghua University（清华大学）
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 提出OpenRM，一种工具增强的长形式奖励模型，通过GRPO训练联合监督工具使用和结果准确性，在长形式任务中显著优于现有方法。
SlowBA：针对基于VLM的GUI代理的高效后门攻击
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院）
专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；分类 cs.CV
AI总结 提出SlowBA后门攻击，通过强化学习注入触发模式，诱导VLM-based GUI代理产生冗长推理链，显著增加响应延迟，同时保持任务准确性。
Comments Accepted by ECCV 2026. Codes and supplementary materials are in https://github.com/tu-tuing/SlowBA
训练具有密集具身思维链监督的视觉-语言-动作模型
机构 * Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 提出ZR-0模型，通过密集具身思维链监督对齐跨具身表示，采用双流架构（VLM生成结构化推理，扩散Transformer生成动作），在多个仿真和真实平台实现强性能。
GUI-Perturbed：领域随机化揭示GUI接地模型的系统性脆弱性
机构 * Fig 2 Manifold Research（图2曼尼福德研究）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG
AI总结 GUI接地模型在标准基准上准确率超过85%，但在需要空间推理而非直接元素命名时下降27-56个百分点。GUI-Perturbed框架通过独立变化视觉场景和指令来评估接地鲁棒性，发现关系指令导致所有模型准确性崩溃，70%浏览器缩放显著降级，且增强数据训练反而降低性能。
Comments 26 Pages, 17 Figures, 9 Tables
从单实例RGB演示中学习类别级最后米导航
机构 * University of Minnesota, Twin Cities（明尼苏达大学 Twin Cities 分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 提出面向对象的模仿学习框架，利用RGB观测实现四足移动机械臂在最后米阶段的精确导航，无需深度或地图先验，在类别级泛化中达到高成功率。
病理学组合检索的组织病理学多模态嵌入
机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出HOMIE框架，将生成式多模态大语言模型适配为病理检索专家，解决组合查询中的架构、任务和领域不匹配问题，在病理组合检索基准上显著优于现有方法。
Comments Accepted by ECCV 2026
IRIS：从单目视频进行物理动态系统逆恢复与识别的真实世界基准
机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学）
专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 提出IRIS基准，包含240个4K/60fps真实视频，覆盖单体和多体动力学，提供真实参数和不确定度，定义标准化评估协议，评估多种基线方法，揭示系统失败模式。
ManimAgent: 用于视觉教育的自进化多模态智能体
机构 * University of Alberta（阿尔伯塔大学） ； Southeast University（东南大学） ； Virginia Tech（弗吉尼亚理工学院） ； Xidian University（西安电子科技大学） ； Vivavia Inc（Vivavia公司）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI
AI总结 提出ManimAgent，通过双通道情节记忆库跨任务传递反思经验，无需权重更新或人工种子，在代码生成任务中提升通过率并减少反思轮次。
Comments Project page: https://manimagent.github.io/. Code: https://github.com/jwj1342/Paper2Manim
UniDrive-WM：面向自动驾驶的统一理解、规划和生成世界模型
机构 * Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)（博世北美研究院与博世人工智能中心） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Arizona State University（亚利桑那州立大学） ； Case Western Reserve University（凯斯西储大学）
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 提出UniDrive-WM，一个基于VLM的统一世界模型，联合执行场景理解、轨迹规划和未来图像生成，在Bench2Drive上轨迹误差降低7.3%，碰撞率降低10.4%。
Comments Accepted to ECCV 2026. Project Page: https://unidrive-wm.github.io/UniDrive-WM
Interact3D: 交互式物体的组合3D生成
机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Westlake University（西湖大学） ； Adobe ； Fudan University（复旦大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出Interact3D框架，通过统一3D引导场景、两阶段组合流水线（全局到局部几何对齐和基于SDF的优化）以及闭环智能体修正策略，从单张图像生成物理合理的交互式3D组合物体，解决遮挡和空间关系保持问题。
Comments Accepted to ECCV 2026
基于AI基础模型的多模态与多尺度时空语义搜索与推荐
机构 * School of Geographical Sciences and Urban Planning, Arizona State University（地理科学与城市规划学院，亚利桑那州立大学） ； Alaska Native Tribal Health Consortium（阿拉斯加原住民部落健康联盟） ； Woodwell Climate Research Center（伍德沃德气候研究中心） ； School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 提出融合大语言模型和视觉-语言模型的框架，通过CAMERA算法融合文本与视觉信息生成更丰富嵌入，以及ASTRA算法结合尺度依赖的时空相关性与语义相似性进行重排序，在环境事件文档检索中优于单模态方法。
Comments 17 pages, accepted for publication in the ACM Transactions on Spatial Algorithms and Systems
Magic-MM-Embedding: 面向视觉令牌高效的多模态大语言模型通用嵌入
机构 * Honor Device Co., Ltd., China（荣耀终端有限公司，中国）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 提出Magic-MM-Embedding，通过视觉令牌压缩架构和多阶段渐进训练策略，在通用多模态嵌入中实现高效率和最先进性能。
Comments Accepted by ECCV 2026
面向长视频混合视觉语言模型的有状态令牌缩减
机构 * NVIDIA（英伟达）
专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 针对混合Mamba-Transformer视觉语言模型，提出有状态令牌缩减方法，利用Mamba层的状态保持特性实现压缩而非剪枝，在25%令牌预算下实现3.8-4.2倍预填充加速，同时保持基线精度。
MMLoP: 多模态低秩提示用于高效视觉-语言适配
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 提出MMLoP框架，通过低秩分解参数化视觉和文本提示，仅用11.5K可训练参数实现深度多模态提示，并引入自调节一致性损失、均匀漂移校正和共享上投影三个组件，在11个数据集上达到79.70%的基类到新类泛化调和平均。
利用辅助AudioSet语义增强音频描述生成
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 提出一种资源高效的自动音频描述生成框架，通过ConvNeXt编码器提取帧级声学表示并融合AudioSet关键词语义，使用紧凑的六层BART解码器生成描述，在Clotho V2和AudioCaps上取得竞争性性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈