视觉大模型 / VLM

Harnessing Generative Image Models for Training-Free Primitive Shape Abstraction

利用生成式图像模型进行无训练的原始形状抽象

Gregor Kobsik, Tim Elsner, Leif Kobbelt

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究如何利用生成式图像模型进行无训练的原始形状抽象，通过渲染多视图图像、分析语义部分、绘制分割掩码、重新投影和拟合超二次基元的流程，实现与类别无关且方向不变，在相关数据集上Chamfer距离最低。

Comments 13 pages, 9 figures, 3 tables

Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

回归基础：通过SMILES-图翻译提升大语言模型中的分子理解

Wenda Wang, Jinjia Feng, Zhewei Wei

机构 * Gaoling School of Artificial Intelligence（中关村人工智能学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对分子大语言模型缺乏可靠结构基础的问题，提出MolBasic框架，通过SMILES-图翻译加强结构理解，用多级结构感知基准和渐进学习方案，提升了结构理解及下游任务表现。

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

用于全模态密集视频字幕的并行自回归解码

Wenzheng Zeng, Siyi Jiao, Chen Gao, Hwee Tou Ng, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。

Comments ECCV 2026. Project website: https://github.com/showlab/PadCaptioner

S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval

S-EMBER：用于流式自我中心记忆检索的大规模基准测试

Xiaodong Wang, Xuanyi Zhao, Pedro Rodriguez, Devendra Singh Sachan, Barlas Oguz, Seungwhan Moon, Shang-Wen Li, Gargi Ghosh, Xin Dong, Wen-Tau Yih

机构 * FAIR, Meta（公平研究院，元公司） ； Reality Labs, Meta（现实实验室，元公司） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对可穿戴设备连续第一人称记录下AI助手的情景记忆问题，引入S-EMBER基准测试，通过视频及问答对模拟真实交互，发现前沿模型存在定位矛盾，为可穿戴AI代理情景记忆发展奠定基础。

H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation

H-OPD：置信感知异构多教师多模态在线策略蒸馏

Qixiang Yin, Huanjin Yao, Yuchen Cai, Jianghao Chen, Ziyi Wang, Min Yang, Fei Su, Zhicheng Zhao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； ByteDance（字节跳动） ； USTC（中国科学技术大学） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） ； Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部互动技术与体验系统重点实验室） ； Zhongguancun Academy（中关村科学城） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 研究多模态推理的在线策略蒸馏问题，提出H-OPD框架，通过验证异构教师互补性，以令牌级教师仲裁取代任务或样本级路由，结合视觉与文本教师，在多基准测试中性能优越。

Comments Technical report(work-in-progress). Code will be available at \url{https://github.com/buptyqx/H-OPD}

DramaDirector: Geometry-Guided Short Drama Generation

DramaDirector: 几何引导的短剧生成

Hengji Zhou, Sijie Liu, Jianrun Chen, Xingchen Zou, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology（华南理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出几何引导框架DramaDirector，通过检索真实短剧的深度-姿态参考，结合模式约束SFT和GRPO训练规划器，实现从情节到多镜头短剧的生成，在忠实度、一致性和可控性上优于基线。

Comments 20 pages, 17 figures, 6 tables. Code is available at https://github.com/iLearn-Lab/DramaDirector

A Unified Causal-Origin Taxonomy of Distributional Shifts in Reinforcement Learning

强化学习中分布偏移的统一因果起源分类法

Ardianto Wibowo, Paulo E Santos, Amer Baghdadi, Matthew Stephenson, Karl Sammut, Jean-Philippe Diguet

机构 * IMT Atlantique（IMT大西洋） ； Flinders University（弗林德斯大学） ； IRL Crossing ； Priori Analytica ； CNRS（法国国家科学研究中心） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种统一因果起源分类法，将强化学习中的分布偏移按因果来源（内部/外部）和时间边界（显式/隐式/混合）分类，统一了分布内/外泛化与非平稳性分析。

Comments The paper is currently under review

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

组合泛化要求视觉嵌入模型具有线性、正交表示

Arnas Uselis, Andrea Dittadi, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。

Comments ICML 2026

BRIDGE: Predicting Human Task Completion Time From Model Performance

BRIDGE: 从模型性能预测人类任务完成时间

Fengyuan Liu, Jay Gala, Nilaksh, Dzmitry Bahdanau, Siva Reddy, Hugo Larochelle

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； Periodic Labs（Periodic实验室） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； ServiceNow Research（ServiceNow研究） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出BRIDGE框架，利用项目反应理论从模型性能中学习潜在任务难度，并将其与人类任务完成时间对齐，从而仅凭模型性能预测新基准上的人类任务完成时间。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

MVP-Nav: Multi-layer Value Map Planner Navigator

MVP-Nav: 多层价值地图规划导航器

Wenyuan Xie, Shaokai Wu, Yijin Zhou, Yanbiao Ji, Guodong Zhang, Bayram Bayramli, Qiuchang Li, Xunchu Zhou, Yue Ding, Hongtao Lu

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 针对零样本目标导航中缺乏深度信息导致的物理不确定性，提出MVP-Nav框架，通过3D基础模型重建物理占用并构建多层价值地图，实现语义与物理约束的统一规划，达到最先进性能。

Knowledge Graphs as the Missing Data Layer for LLM-Based Industrial Asset Operations

知识图谱：基于LLM的工业资产运营中缺失的数据层

Madhulatha Mandarapu, Sandeep Kunkunuru

机构 * VaidhyaMegha Private Limited, India（印度VaidhyaMegha私人有限公司） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过类型化知识图谱作为数据层，将GPT-4在工业维护场景中的准确率从65%提升至99%，并引入生成增强知识（GAK）处理缺失数据，实现81.8%的场景可回答性。

Comments v4: Accepted at Agents+Graph (AG2026) @ VLDB 2026. Corrects claims to reproduced ground truth: base graph 9 labels/5 edge types/12,647 nodes (extended schema 14/21); GAK materializes 106 failure-mode nodes; FailureSensorIQ noted as a separate IBM benchmark; 467 FMSR overlap with GAK disclosed. 20 pages, 4 figures. Code: github.com/samyama-ai/assetops-kg

Event-Driven Video Generation

事件驱动视频生成

Chika Maduabuchi, Jindong Wang

机构 * William & Mary（威廉与玛丽学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 提出事件驱动视频生成（EVD），通过轻量级头部预测令牌级事件活动，并利用事件门控采样在交互区域集中更新，以修正对象交互错误，提升状态持久性、空间准确性和接触稳定性。

Comments Accepted to ECCV 2026. Project webpage: https://evd-project-website.pages.dev

Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

统计不可区分，操作上截然不同：表格基础模型的形式化障碍

Tassilo Klein, Johannes Hoffart

机构 * SAP SE（SAP公司） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出操作图灵测试，证明仅基于值的表格模型无法区分合法与违规数据库状态，而操作审计特征可突破该障碍，揭示可识别性而非模型容量是根本限制。

Comments Accepted at the 2nd ICML Workshop on Foundation Models for Structured Data, 2026

A Task-Driven and Quality-Assured Agent Framework for SAR Data Generation

面向SAR数据生成的任务驱动与质量保障智能体框架

Xuanting Wu, Fan Zhanga, Fei Ma, Ling Guan, Guochun Ma, Yongsheng Zhou

机构 * College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院） ； Science and Technology on Electromagnetic Scattering Laboratory, Beijing Institute of Environmental Features（北京环境特征研究院电磁散射实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出SAGA框架，通过模式约束规划与多维度评估器，实现面向任务的SAR数据增强，提升可靠性、可复现性及下游任务效用。

Steerable Visual Representations

可操控的视觉表示

Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

机构 * University of Technology Nuremberg（纽伦堡工业大学） ； Carnegie Mellon University（卡内基梅隆大学） ； International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出可操控的视觉表示，通过自然语言指导视觉特征，提升视觉任务的灵活性和泛化能力。

Comments Accepted to ECCV 2026

DMV-Bench: Diagnosing Long-Horizon Multimodal Agents' Visual Memory with Incidental Cue Injection

DMV-Bench: 通过偶然线索注入诊断长程多模态智能体的视觉记忆

Yujin Tang, Chenming Shang, Ruize Xu, Nikhil Singh

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出首个交互式多模态智能体视觉记忆基准DMV-Bench，基于双编码理论设计DualMem架构，在长链任务中优于现有方法。

Comments 16 pages

Look-Before-Move: Narrative-Grounded World Visual Attention in Dynamic 3D Story Worlds

Look-Before-Move：动态3D故事世界中的叙事驱动世界视觉注意力

Jiaming Bian, Bingliang Li, Yuehao Wu, Pichao Wang, Zhi Wang, Hailan Ma, Huadong Mo, Zhenhong Sun

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出Look-Before-Move框架，通过语义观察合约、蒙特卡洛视点搜索和语义轨迹接地，在动态3D故事世界中实现叙事驱动的视觉注意力规划，提升主体感知、意图一致性和轨迹质量。

Comments 25 pages, 17 figures

Confidence-Aware Tool Orchestration for Robust Video Understanding

置信度感知的工具编排用于鲁棒视频理解

Yangfan He, Yujin Choi, Jaehong Yoon

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频推理模型盲目信任所有帧的问题，提出Robust-TO框架，通过每帧可信度评分、统一证据接口和三阶段合成机制，在八项任务上实现56.4%准确率，超越最强开源基线10.6%，并在五种真实扰动下保持54.3%准确率。

Comments Project page: https://rova-v2.github.io/

Agentic evolution of physically constrained foundation models

物理约束基础模型的智能体演化

Jiangwei Zhang, Wen Sun, Chong Wang, Shiyao Li, Cheng Che, Chunjing Han, Dan Meng, Jian Yang, Yu Wang, Rui Hou

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于演化知识图谱的多智能体发现引擎，自动设计硬件兼容计算系统，在基础模型部署中演化出超越人工的压缩方法，实现大规模模型高效部署。

Comments 29 pages, 5 main figures and 4 extended data figures

Social Structure Matters in 3D Human-Human Interaction Generation

社会结构在三维人-人交互生成中的重要性

Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

机构 * University of New South Wales（新南威尔士大学） ； National University of Singapore（新加坡国立大学） ； NVIDIA（英伟达） ； Nanjing University（南京大学） ； University of Technology Sydney（悉尼科技大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出Solo-to-Social框架，利用LLM规划社会结构（阶段分解、角色分配）并指导运动执行器生成协调的双人3D运动，解决文本驱动的人-人交互生成问题。

Critique of Agent Model

智能体模型批判

Eric Xing, Mingkai Deng, Jinyu Hou

机构 * Institute of Foundation Models, Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学基础模型研究所） ； School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文区分了自动化与智能体，提出真正智能体需内化目标、身份、决策、自我调节和学习等结构，并设计了GIC通用智能体架构。

A DVDrive Approach for doScenes Instructed Driving Challenge

一种面向 doScenes 指令驾驶挑战的 DVDrive 方法

Zijian Fu, Xiangyang Chu, Mengshi Qi, Huadong Ma, Guanghao Zhang, Wei Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Xiaomi EV（小米汽车） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出基于 OmniDrive 的指令条件轨迹预测方法，引入 DVPE 分视角感知模块减少跨视角干扰，提升多视角视觉定位与语言指令对齐能力。

CourseBlueprint: A Structured Pipeline for Adaptive Pedagogical Video Generation Grounded in Course Corpora

CourseBlueprint：基于课程语料库的自适应教学视频生成的结构化流程

Md Zabirul Islam, Md Motaleb Hossen Manik, Ge Wang

机构 * Department of Computer Science, Rensselaer Polytechnic Institute（计算机科学系，拉特格斯理工学院） ； Department of Biomedical Engineering, Rensselaer Polytechnic Institute（生物医学工程系，拉特格斯理工学院） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出CourseBlueprint流程，通过结构化教学蓝图（含先决条件图、自适应控制、参与合约）从课程语料库生成自适应教学视频，实验证明显式教学合约比表面流畅性更关键。

Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis

奖励科学过程：面向代理数据分析的过程级奖励建模

Zhisong Qiu, Shuofei Qiao, Kewei Xu, Yuqi Zhu, Lun Du, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DataPRM，一种环境感知的生成过程奖励模型，通过主动验证和反思意识的三元奖励策略，提升动态数据分析任务中代理的性能，实验表明其在多个基准测试中表现优异。

Comments KDD 2026

HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation

HumaniBench: 一种以人为中心的大型多模态模型评估框架

Shaina Raza, Aravind Narayanan, Vahid Reza Khazaie, Ashmal Vayani, Ahmed Y. Radwan, Mukund S. Chettiar, Amandeep Singh, Mubarak Shah, Deval Pandya

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究院） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HumaniBench框架，通过32000个专家验证的图像-问题对评估大型多模态模型在公平性、伦理、包容性等人类中心原则上的对齐情况，揭示了不同模型在伦理、推理和共情方面的权衡。

EgoExo-Con: Exploring View-Invariant Video Temporal Understanding

EgoExo-Con: 探索视角不变视频时间理解

Minjoon Jung, Junbin Xiao, Junghyun Kim, Byoung-Tak Zhang, Angela Yao

机构 * Seoul National University（首尔国立大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出EgoExo-Con基准测试，评估视频大模型在不同视角下的时间理解一致性，并设计View-GRPO强化学习框架提升跨视角一致性。

Comments Accepted to ECCV 2026; project page at https://minjoong507.github.io/projects/EgoExo-Con/

AI Economist Agent: An Agentic Framework for Model-Grounded Economic Analysis with RAG, Knowledge Graphs, and Large Language Models

AI经济学家代理：一种基于模型的经济分析代理框架，结合RAG、知识图谱和大语言模型

Masahiro Kato

机构 * Mizuho-DL Financial Technology, Co., Ltd.（Mizuho-DL金融科技有限公司） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于RAG的AI经济学家代理框架，利用知识图谱和大语言模型进行经济情景分析，通过代理规划、检索证据、选择模型并生成报告，提高经济叙事的连贯性和可追溯性。

Agentic Framework for Deep Learning workload migration via In-Context Learning

基于上下文学习的深度学习工作负载迁移智能体框架

Qiyue Liang, Steven Ingram, George Vanica, Andi Gavrilescu, Newfel Harrat, Hassan Sipra, Sethuraman Sankaran

机构 * Google（谷歌） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出结合上下文学习与Oracle驱动的自调试的自主系统，实现从PyTorch到JAX的深度学习模型自动迁移，在神经模块上达到91%数值等价性。

Sub-Semantic Image Segmentation

子语义图像分割

Aviad Cohen Zada, Nadav Orenstein, Shai Avidan, Gal Oren

机构 * Tel Aviv University（特拉维夫大学） ； Stanford University（斯坦福大学） ； Technion（以色列理工学院） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出子语义图像分割，通过耦合视觉-语言模型与SAM，并引入DETECTURE解决语言泄漏、提示竞争和语义失真问题，在自建数据集TextureADE上取得最优性能。

Comments 23 pages. Code: https://github.com/Scientific-Computing-Lab/TextureDetecture

Human Cognition in Machines: A Unified Perspective of World Models

机器中的人类认知：世界模型的统一视角

Timothy Rupprecht, Pu Zhao, Amir Taherin, Arash Akbari, Arman Akbari, Yumei He, Tooba Imtiaz, Sean Duffy, Juyi Lin, Yixiao Chen, Rahul Chowdhury, Enfu Nan, Yixin Shen, Yifan Cao, Haochen Zeng, Weiwei Chen, Geng Yuan, Jennifer Dy, Sarah Ostadabbas, Xuan Zhang, David Kaeli, Edmund Yeh, Yanzhi Wang

机构 * Northeastern University（东北大学） ； EmbodyX Inc.（EmbodyX公司） ； Tulane University（路易斯安那州立大学） ； Cornell University（康奈尔大学） ； University of Georgia（佐治亚大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出统一框架整合记忆、感知等认知功能，指出动机和元认知研究不足，并引入认知世界模型新类别。