多模态大模型

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

检索前先思考：多模态检索增强生成的智能体规划

Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

机构 * Bosch AI Research Center（博世人工智能研究中心） ； University of Notre Dame（圣母大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态Agent ：multi-modal(title)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态检索增强生成问题，提出MM-R2框架，通过建模检索内容和位置在检索前推理，构建意图基础检索状态，在结构化知识图谱检索，还构建相关数据集并采用两阶段后训练策略，实验证明其在答案准确性等方面表现出色。

EmoAgent-R1: Towards Multimodal Emotion Understanding with Reinforcement Learning-based Dynamic Agent Specialization

EmoAgent-R1：基于强化学习的动态智能体专业化实现多模态情感理解

Lihuang Fang, Yuchen Zou, kebing Jin, Jinghui Qin

机构 * Guangdong University of Technology（广东工业大学） ； Southern University of Science and Technology（南方科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Guizhou Provincial Laboratory of Big Data, State Key Laboratory of Public Big Data, Guizhou University（贵州大学大数据省级重点实验室、公共大数据国家重点实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现有多模态情感识别方法忽视情感源动态性和复杂性的问题，提出基于强化学习的动态智能体专业化框架EmoAgent-R1，采用冷启动策略和两步智能体工作流程训练，并用P-GRPO优化，实验证明其在情感推理性能和优化稳定性上更优。

JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

JarvisHub：用于原生画布多模态创意智能体的开放框架

Yunlong Lin, Zixu Lin, Zhaohu Xing, Biqiang Li, Chenxin Li, Haonan Wang, Haitao Wu, Hengyu Liu, Jianghai Chen, Kaituo Feng, Kaixin Li, Shawn Chen, Shijue Huang, Sixiang Chen, Tsung-Yi Ho, Wenxuan Huang, Xiangyan Liu, Xiaomeng Hu, Xuanhua He, Yan Sun, Yunqing Zhao, Zhiqin Yang, Zehan Wang, Zhengyang Tang, Tianyu Pang, Xiangyu Yue

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对创意人工智能从单步到多模态创作转变中现有系统不足的问题，引入JarvisHub框架，以可编辑画布为核心，通过三层架构让智能体实现持续、人工可控的创意自动化创作。

Comments 15 pages, 9 figures. Project page: https://www.jarvishub.site/ Code github: https://github.com/LYL1015/JarvisHub

Energy Constrained Hierarchical Underwater Monitoring via Local Multi-Agent RAG

通过局部多智能体RAG实现能量受限的分层水下监测

Mohamed Amine Janati, Laurent Gautier, Stéphane Barbot

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 针对海洋生物监测受能量等限制的问题，提出结合边缘传感与局部推理的低功耗水下监测架构，采用分层设计，利用特定嵌入、识别层及多智能体框架，经案例研究评估，实现低功耗连续传感与局部多模态智能结合，减少能耗与通信开销。

Comments Contains 25 pages, 11 figures. To be submitted to Elsevier Ocean Engineering

Generative Artificial Intelligence (GenAI) to convert images of queuing networks into verifiable simulation models: an open-weight LLM workflow approach

生成式人工智能（GenAI）将排队网络图像转换为可验证的仿真模型：一种开放权重的大语言模型工作流方法

Thomas Monks, Alison Harper, Amy Heather, Navonil Mustafee

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究提出Sketch2DES工作流，利用开放权重LLMs将排队网络图像转换为可验证仿真模型，经多阶段处理，在多图表评估中各阶段可靠性高，相比直接代码生成提升多项性能，证明结构化工作流模型生成对LLM辅助仿真建模的可行性。

Scaling GUI Agents with Visual State Transitions

通过视觉状态转换扩展 GUI 智能体

Xiangyan Liu, Kaixin Li, Haonan Wang, Biao Wu, Meng Fang, Longxu Dou, Chao Du, Michael Qizhe Shieh, Tianyu Pang

机构 * NUS（新加坡国立大学） ； Sea AI Lab（Sea人工智能实验室） ； UTS（悉尼科技大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究通过状态转换预训练扩展 GUI 智能体，联合优化逆动力学和正向动力学预训练统一多模态模型，在桌面和移动 GUI 场景基准测试中优于基线，联合动力学优化有稳定改进，下游性能随转换数据量提升。

SimBEV2X: A Large-Scale Dataset and Data Generation Tool for Multi-Task Vehicle-to-Everything Cooperative Perception

SimBEV2X：用于多任务车联网协同感知的大规模数据集与数据生成工具

Goodarz Mehr, Sepideh Gohari, Montasir Abbas, Azim Eskandarian

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 研究针对V2X协同感知算法发展受限问题，介绍基于CARLA模拟器的SimBEV2X数据生成工具及数据集，通过它建立基线并提出CoBEVFusion架构，实现上下文感知多智能体特征聚合，性能优越。

Comments Submitted to IEEE for review

Embodied GPT-5.1: Evidence of a World Model?

具身化GPT-5.1：世界模型的证据？

Roberto Spinelli, Thiago C. Martins

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究探索无实体化训练的GPT-5.1能否控制物理移动机器人，通过低分辨率图像和离散动作集执行任务。它展现出空间推理等新兴能力，但也有效率和感知局限。结果挑战传统观点，促使深入研究大语言模型中物理理解相关问题。

Comments 6 pages, 16 figures. Published in the 2026 Brazilian Conference on Robotics (CROS)

Journal ref R. Spinelli and T. C. Martins, "Embodied GPT-5.1: Evidence of a World Model?," 2026 Brazilian Conference on Robotics (CROS), pp. 394-399, 2026

MOJITO: Modal Joint Learning for Unified End-to-End Autonomous Driving

MOJITO：用于统一端到端自动驾驶的模态联合学习

Zhijing Cheng, Xuancheng Zhang, Donglin Di, Lei Fan, Baorui Ma, Hao Li, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Li Auto（理想汽车） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 研究针对端到端自动驾驶系统问题，提出基于模态联合学习的MOJITO框架，去除级联接口，执行逐块模态联合注意力更新多模态特征，在数据集上取得新的最优成绩，展现出强大能力。

Beyond Sequential Interaction: Benchmarking Parallel Execution and Coordination for GUI Agents

超越顺序交互：GUI 智能体并行执行与协调的基准测试

Zedong Yu, Qianxing Li, Zhi Gao, Liuyu Xiang, Chenrui Shi, Yang Liu, Huiming Wu, Yujie Wei, Yuhao Fei, Yubo Fu, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory for General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司人工智能研究院） ； China University of Geosciences (Beijing)（中国地质大学（北京）） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究 GUI 智能体长周期任务扩展性差的问题，引入 ParaGUIBench 基准测试及 ParaGUI 智能体，通过实验证明并行执行能提升可分解长周期 GUI 任务的成功率与效率。

Comments 15 pages, 5 figures. Project page: https://github.com/pkgunboat/ParaGUIBench

ARdena: Scenario-driven control of real-time LLM agents

ARdena：实时大语言模型智能体的场景驱动控制

Luka Borozan, Domagoj Matijević

机构 * Faculty of Applied Mathematics and Informatics, University of Osijek Croatia（奥西耶克大学应用数学与信息学院，克罗地亚） ； Meet Intelligent Innovations LLC（Meet智能创新有限责任公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究如何在实时交互环境中控制大语言模型智能体行为，提出分层场景驱动的LLM控制框架，通过结构化提示实现运行时行为控制，在ARDena中实现该框架并评估，结果显示场景驱动提示能有效控制LLM智能体。

Comments 12 pages, 3 figures

Act, Think or Abstain: Complexity-Aware Adaptive Inference for Vision-Language-Action Models

行动、思考或退缩：面向视觉-语言-动作模型的复杂度感知自适应推理

Riccardo Andrea Izzo, Gianluca Bardaro, Matteo Matteucci

机构 * Department of Electronics, Information, and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工学院） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种复杂度感知的自适应推理框架，通过动态路由视觉-语言-动作模型的执行，提升任务复杂性检测效率。

An Adjoint-Based Differentiable Physics Framework for Online Parameter Inversion in Closed-Brayton Gas-Cooled Reactor Digital Twins

用于闭式布雷顿气冷反应堆数字孪生体在线参数反演的基于伴随的可微物理框架

Chengyuan Li, Shanfang Huang, Jian Deng

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究先进反应堆数字孪生体在线参数反演问题，提出基于伴随的可微物理框架，通过隐式微分代数模型传播反向模式自动微分，驱动AD - 海森增量4D - Var估计器，在多工况下与多种基线对比，展现出不同优势。

RecoWorld: Building Simulated Environments for Agentic Recommender Systems

RecoWorld：为代理推荐系统构建模拟环境

Fei Liu, Xinyu Lin, Hanchao Yu, Mingyuan Wu, Jianyu Wang, Qiang Zhang, Zhuokai Zhao, Yinglong Xia, Yao Zhang, Weiwei Li, Mingze Gao, Qifan Wang, Lizhu Zhang, Benyu Zhang, Xiangjun Fan

专题命中 多模态Agent ：multimodal(abstract)

AI总结 RecoWorld通过双视角架构和多轮强化学习，构建了代理推荐系统的模拟环境，旨在提升用户留存和参与度。

Comments HCRS @ WWW 2026, Best Paper Award