多模态大模型

A Modular Workflow for Multimodal Reading Experiments

多模态阅读实验的模块化工作流程

Thomas Krämer, Thomas Kosch, Dagmar Kern, Daniel Hienert

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 该研究提出一种基于网络的模块化工作流程，整合眼动、EEG等多模态数据，可适配不同实验设置，用于在线阅读的多模态研究，支持生态情境下的实证验证。

Comments In Proceedings of the 30th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems

RL-MACRO: A Cybernetic Closed-Loop Intelligence Framework for Multimodal Adaptive Robotic Craniotomy

RL-MACRO：一种用于多模态自适应机器人开颅手术的控制论闭环智能框架

Xiao Zhang, Jiaxuan Li, Renzhen Le, Di Wu, Chao Sun, Jiachen Zhu, Haoyuan Zhang, Xiang Li, Jian Liu, Zhenzhi Ying, Pengfei Zhang, Liming Shu

机构 * Dalian University of Technology（大连理工大学） ； Second Hospital of Dalian Medical University（大连医科大学附属第二医院） ； The University of Tokyo（东京大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 研究针对自主机器人开颅手术面临的挑战，提出RL-MACRO框架，通过多模态感知、自适应决策和机器人执行实现闭环控制，利用CNN-LSTM观测器重建温度，经IQL策略和双头执行器优化行为，实验验证了该框架在骨切割方面的有效性。

From P&ID Drawings to Process Graphs: A Multimodal Language Model Approach

从管道和仪表图到过程图：一种多模态语言模型方法

Baikai Zhu, Samuel Duong, Javal Vyas, Mehmet Mercangöz

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 研究针对P&IDs数字化难题，提出基于多模态大语言模型的两阶段工作流程，将其数字化重定义为设备标签提取与拓扑推理，经案例研究评估，该方法比端到端数字化更优，凸显知识引导工作流程在P&ID数字化中的潜力。

A Comprehensive Study of Implementation Bugs in Multi-modal Agents

多模态智能体中实现错误的综合研究

Suwan Li, Lei Bu, Shangqing Liu, Yile Wang, Guangdong Bai, Fuman Xie, Kai Chen, Chang Yue

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 针对多模态智能体实现错误缺乏系统研究的问题，收集34个智能体，从1268个问题报告中识别出158个错误，开发分类法，实现MATester工具，为多模态智能体错误分类、预防和修复提供参考。

Multi-Modal Environment-Aware Beam Management for Massive MIMO: A Geometry-Driven Virtual Base Station Framework

大规模MIMO的多模态环境感知波束管理：一种几何驱动的虚拟基站框架

Yijie Bian, Wei Guo, Jie Yang, Shenghui Song, Jun Zhang, Shi Jin, Khaled B. Letaief

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 提出几何驱动框架，利用3D LiDAR点云和位置信息构建虚拟基站数据库，通过镜像对称建模主导反射路径，实现粗信道重建和低开销波束训练，并采用双智能体深度强化学习协调波束选择，提升波束管理效率。

VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct

VeriEvol：通过可验证的进化指令扩展多模态数学推理

Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

机构 * Tsinghua University（清华大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出VeriEvol框架，通过类型感知进化模块生成更难的问题，并利用HTV-Agent验证器确保答案可靠性，从而在强化学习中扩展多模态数学推理数据，提升模型性能。

SkillMutator: Benchmarking and Defending Language-and-Code Cross-modal Attacks on LLM Agent Skills

SkillMutator: 基准测试与防御针对LLM代理技能的语言与代码跨模态攻击

Youngduk Kim, Minkyoo Song, Seungwon Shin

专题命中 多模态Agent ：cross-modal(title,abstract)

AI总结 提出SkillMutator基准，模拟13类跨模态攻击，并设计四阶段推理轨迹蒸馏框架，将检测率从17.1%提升至88.2%，超越GPT-4o-mini。

IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents

IAPO：面向小型多模态代理工具使用的输入归因感知策略优化

Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 提出输入归因感知策略优化（IAPO），通过强化学习对齐模型与教师模型的输入归因，提升多模态小语言模型的工具调用能力，在六个测试集上平均准确率提升3%。

Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching

无幻觉的GUI定位：基于无回归的布局感知匹配

Yuke Li, Xuehan Hou

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 该研究提出无回归框架，通过解耦指令理解与布局感知定位，在ScreenSpot-Pro和Mind2Web数据集上显著提升GUI定位的准确率、成功率及元素选择率，抑制了坐标幻觉。

PhysAgent: A Multi-Agent Framework for Reliable Remote Heart Rate Estimation

PhysAgent：用于可靠远程心率估计的多智能体框架

Yehui Yang, Bo Zhao, Junzhe Cao, Hui Ma, Yue Sun, Wenjin Wang, Zitong Yu

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 PhysAgent是一种推理时多智能体候选验证框架，以多个基础rPPG估计器输出为待验证生理假设，结合Qwen3-VL-4B多模态大语言模型推理与确定性融合，提升远程心率估计的稳定性与可靠性。

Beacon: Knowing When and How to Perform Agentic Visual Reasoning

Beacon：智能体何时及如何执行智能体视觉推理

Qixun Wang, Yang Shi, Letian Cheng, Zhuoran Zhang, Yan He, Yuqi Tang, Qi Zhang, Xinlei Yu, Ruizhe Chen, Tianrun Xu, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Xianghua Ying

机构 * Peking University（北京大学） ； Kling Team（Kling团队） ； HKUST(GZ)（香港科技大学（广州）） ； CUHK（香港中文大学） ； ZJU（浙江大学） ； THU（清华大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本研究针对现有智能体视觉推理模型模式适应性有限、工具增益被损害抵消的问题，提出Beacon模型，通过强化学习相关机制提升性能与适应性，在多基准上表现优异。

Comments 33 pages

Beyond Zooming: Learning Multi-Tool Visual Reasoning for Ultra-High-Resolution Remote Sensing

超越缩放：学习用于超高分辨率遥感的多工具视觉推理

Fengxiang Wang, Jiangnan Huang, Mingshuo Chen, Yueying Li, Yang Shi, Junwei Luo, Haoyu Wang, Yansheng Li, Jing Zhang, Haiyan Zhao, Wenjing Yang

机构 * National University of Defense Technology（国防科技大学） ； Wuhan University（武汉大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 针对超高分辨率遥感图像给多模态大语言模型带来的挑战，提出GeoMTVR数据集，结合监督微调与以工具注意力为重点的强化学习算法开发GeoLens，实验证明其在多工具视觉推理方面优于直接推理和单工具放大基线。

DocArena: Turning Raw Documents into Controllable Training Environments for Document Search Agents

DocArena：将原始文档转化为可控的训练环境用于文档搜索代理

Jiamian Wang, Ruiyi Zhang, Tong Yu, Jing Shi, Samyadeep Basu, Rajiv Jain, Zhiqiang Tao, Tong Sun

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Adobe Research（Adobe研究院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出DocArena自动化流程，通过多模态文档结构化、推理型QA对构建和质量控制，生成可控训练环境，使基于文本LLM的搜索代理在多模态文档检索和问答中取得最佳性能。

Comments search agent for documents

OmniSpace: Efficient Geometry Awareness for Autonomous Vehicles MLLMs

OmniSpace: 自动驾驶多模态大语言模型的高效几何感知

Hao Vo, Phu Loc Nguyen, Khoa Vo, Sieu Tran, Duc Minh Nguyen, Ngo Xuan Cuong, Nghi D. Q. Bui, Anh Nguyen, Duy Minh Ho Nguyen, Ngan Le

机构 * University of Arkansas（阿肯色大学） ； Google Research, Google（谷歌研究院） ； University of Liverpool（利物浦大学） ； Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统研究所） 纠错

专题命中 多模态Agent ：MLLM(summary_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出OmniSpace，一种即插即用的几何感知范式，通过相机位姿注入器、多视图极线注意力模块和3D几何蒸馏目标，从纯2D观测中提升MLLM的空间推理能力，在多个自动驾驶基准上超越现有方法。

HDRAgent: An Agentic Framework for Multi-Exposure HDR Imaging

HDRAgent: 一种用于多曝光HDR成像的智能体框架

Weiyu Zhou, Tao Hu, Yijian Wang, Xiaogang Xu, Ruixing Wang, Qingsen Yan

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） ； Shenzhen Research Institute, Northwestern Polytechnical University（西北工业大学深圳研究院） ； Zhejiang University（浙江大学） ； Camera Group, DJI（大疆相机部门） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出首个智能体驱动的HDR成像框架HDRAgent，通过细粒度上下文知识匹配、感知-失真反馈机制和智能体引导的生成对齐策略，自适应选择重建策略，减少复杂动态场景中的鬼影和局部伪影。

PathoSage: Towards Multi-Source Evidence Adjudication in Pathology via Experience-Aware Agentic Workflow

PathoSage：通过经验感知的代理工作流实现病理学多源证据裁决

Chengyang Zhang, Wenchuan Zhang, Bo Li, Mengran Li, Bob Zhang, Yuhao Yi, Hong Bu, Jiancheng Lv

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Department of Pathology and Institute of Clinical Pathology, West China Hospital, Sichuan University（四川大学华西医院病理科/临床病理研究所） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） ； School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出PathoSage框架，通过结构化证据审议和Beta-Bernoulli经验系统，独立评估工具证据并解决冲突，减少幻觉和分类器分歧，提升病理学推理鲁棒性。

Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

通过自主经验探索与事后经验利用赋能GUI智能体任务规划

Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出PEEU方法，通过自主探索环境发现经验并利用事后经验合成严格对齐的高层训练数据，提升小型多模态大语言模型在GUI任务中的规划与跨网站泛化能力。

Comments Accepted to ACL 2026 Main

Multi-Agent Closed-Loop Reasoning for Organic Structure Elucidation from Multimodal Spectra

基于多智能体闭环推理的多模态光谱有机结构解析

Bingsen Xue, Zhuojun Jiang, Jianhao Zhang, Mingcheng Gu, Yizhe Yuan, Yongtai Zhuo, Yifan Zhang, Li Wang, Ya Su, Yue Yuan, Jiang Liu, Xueqian Kong, Cheng Jin

专题命中 多模态Agent ：multimodal(title)；分类 cs.AI

AI总结 本文提出多智能体系统MACROS，经海量光谱数据训练后可实现零样本泛化，提升结构解析速度与准确性，为全自动结构解析及自主实验室发展奠定基础。

ClinLens: Towards Long-Horizon Coding Agents for Longitudinal Multimodal Clinical Data Science

ClinLens：面向纵向多模态临床数据科学的长周期编码智能体

Yuan Zhu, Ethan B. Liu, Frank Nie, Jindong Han

机构 * Shandong University（山东大学） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.AI

AI总结 该研究推出CLINLENS基准，包含200项基于5种MIMIC资源的临床可执行任务，实验显示现有编码智能体与生物医学系统在正确临床分析上存在显著差距。

ETPDesigner: Multi-Agent Orchestration for Interactive Multimodal Electronic Theater Program

ETPDesigner：用于交互式多模态电子剧院节目的多智能体编排

Mengtian Li, Xinru Guo, Xiaoru Lin, Xiao Rong, Zhifeng Xie, Chaofeng Chen

机构 * Shanghai University（上海大学） ； Shanghai Engineering Research Center of Motion Picture Special Effects（上海电影特效工程技术研究中心） ； Institute for Math and AI, Wuhan School of Artificial Intelligence, Wuhan University（武汉大学数学与人工智能研究院武汉人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV

AI总结 研究针对电子剧院节目设计难题，提出ETPDesigner多智能体框架，能从戏剧脚本合成高质量ETP，通过全局风格锚定机制保证一致性，还实现交互功能，经ETP-Pro基准测试验证了方法在多方面的优越性。

Open-ended Multi-agent Autocurricula via Visual Inspection of Policies with Multi-modal LLMs

通过多模态大语言模型对策略进行视觉检查实现开放式多智能体自动课程

Lorenzo Pantè, Andrea Fanti, Roberto Capobianco

机构 * Sapienza University of Rome（罗马第一大学） ； Sony AI（索尼人工智能） 纠错

专题命中 多模态Agent ：multi-modal(title)；分类 cs.AI

AI总结 研究强化学习中开放式多智能体自动课程设计难题，提出通过策略视觉检查（VIP）利用视频语言模型处理视频并提供课程建议，经星际争霸多智能体挑战赛实证，显示该方法能生成更有效课程。

Multi-Modal Conditioned High-Resolution Transformer for Urban Electromagnetic Field Map Prediction Download PDF

面向城市电磁场地图预测的多模态条件高分辨率Transformer

Do-Eon Kim, Dongryul Park, Seungyoung Ahn, Namwoo Kang, Seong-heum Kim, Seongsin Kim

机构 * Soongsil University（崇实大学） ； Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology（韩国科学技术院赵春植移动研究生院） ； Department of Intelligent Semiconductors, Soongsil University（崇实大学智能半导体系） 纠错

专题命中 多模态Agent ：multi-modal(title)；分类 cs.CV

AI总结 提出多条件密集预测框架，利用高分辨率Transformer骨干网络，结合特征线性调制和交叉注意力机制，从建筑布局和天线配置生成500×500电磁场地图，通过复合损失函数和测试时增强提升性能。

A UAV-Based Multi-Modal Vision System for Automated Sideslope Deformation Monitoring and Hazard Detection

基于无人机多模态视觉系统的边坡变形自动监测与灾害检测

Jingfeng Zhang, Yi Li, Xianchong Liang, Huan Yang

机构 * South China Normal University（华南师范大学） 纠错

专题命中 多模态Agent ：multi-modal(title)；分类 cs.CV

AI总结 提出一种基于无人机LiDAR的自动化边坡灾害检测流程，包括数据采集、地面点提取、单次观测灾害筛查和多次观测变形监测，实现厘米级形变量化与危险区域识别。

Comments 29 pages, 14 figures

SciOrch: Learning to Orchestrate Expert LLMs for Solving Frontier Multimodal Scientific Reasoning Tasks

SciOrch: 学习编排专家大语言模型以解决前沿多模态科学推理任务

Jingru Guo, Xiangyuan Xue, Lian Zhang, Wanghan Xu, Siki Chen, Philip Torr, Wanli Ouyang, Lei Bai, Zhenfei Yin

机构 * Imperial College London（伦敦帝国学院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CL

AI总结 提出SciOrch框架，训练轻量级8B模型编排多个前沿大语言模型，通过MCTS和GRPO优化，在科学推理任务上超越最强单模型和多智能体基线。

Embodiment Shapes Rolling Behavior in a Multimodal Infant Model

具身形态塑造多模态婴儿模型中的翻滚行为

Leon Philipp, Francisco M. López, Jochen Triesch

机构 * Frankfurt Institute for Advanced Studies（法兰克福高等研究院） ； Goethe University Frankfurt（法兰克福大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态Agent ：multimodal(title,comments)

AI总结 通过虚拟婴儿MIMo学习仰卧到俯卧翻滚，研究婴儿运动发展中的具身形态变化如何影响行为，发现与真实婴儿一致的发育趋势和协调模式。

Comments 7 pages, 7 figures. Accepted at the 2026 IEEE ICDL Conference. Cite as: L. Philipp, F. M. López, and J. Triesch, "Embodiment Shapes Rolling Behavior in a Multimodal Infant Model", in 2026 IEEE International Conference on Development and Learning (ICDL). IEEE, 2026, pp. 1-7

Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies

检索前先复用：诊断具身多模态策略测试时增强的余量与互补性

Yuhwan Jeong, Kuk-Jin Yoon

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态Agent ：multimodal(title)

AI总结 该研究提出通过可恢复余量与检索互补性两个因素，为具身多模态冻结 VLA 策略的测试时增强选择采样或检索干预，在 LIBERO 上成功提升最高 21.0 个百分点，且可迁移至其他机器人与环境。

Comments Accepted to ECCV 2026 workshop

Multi-Modal Multi-Agent Robotic Cognitive Alignment enabled by Non-Invasive Consumer Brain Computer Interfaces: A Proof of Concept Exploration

基于非侵入式消费级脑机接口的多模态多智能体机器人认知对齐：概念验证探索

Nataliya Kosmyna, Liz Jenkins, Anoop K. Sinha

机构 * GOOGLE（谷歌） ； Paradigms of Intelligence（智能范式） ； Cambridge, MA, United States（马萨诸塞州剑桥市，美国） ； Mountain View, CA, United States（加利福尼亚州山景城，美国） 纠错

专题命中 多模态Agent ：multi-modal(title)

AI总结 提出一种框架，利用消费级脑机接口监测脑电信号，在高认知负荷时延迟智能体通信，实现认知对齐的多智能体交互，初步验证了实时信号处理、大语言模型与机器人结合的可行性。

Comments 19 pages, 9 figures, for associated video, see https://youtu.be/0Tav-G87XGs

Act2Intention: A Benchmark For Developing Active Mobile Agents Through Inferring User Intention from GUI Actions

Act2Intention：通过从GUI操作推断用户意图开发主动移动智能体的基准

Xiaokai Yan, Jingtao Ding, Yong Li, Zhiwen Yu

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出Act2Intention框架及基准数据集，构建主动移动智能体，经实验验证该基准可显著提升智能体意图理解、预测与执行性能，为主动智能体研究提供标准化平台。

VOS-Agent: The 1st Place Solution for the 8th LSVOS Challenge (MOSEv2 Track)

VOS-Agent：第8届LSVOS挑战赛（MOSEv2赛道）的第一名解决方案

Canyang Wu, Jinrong Zhang, Xusheng He, Ce Bian, Xianjing Han, Jianlong Wu

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对复杂视频目标分割中微小目标、语义主导目标的稳健传播难题，本文提出VOS-Agent协作框架，以SAM3为共享密集分割模块，根据目标特征激活专用智能体，在ECCV 2026第8届LSVOS挑战赛MOSEv2赛道获第一名，J&JF指标达69.82%。

Comments 1st Place Solution for the 8th LSVOS MOSEv2 Challenge (ECCV 2026 Workshop)

SkillLens: Visual Skill Cards for Retrieval-Augmented GUI Action Prediction and On-Policy Distillation

SkillLens：用于检索增强型GUI动作预测与在线策略蒸馏的可视化技能卡片

Zhou Liu, Ligang Huang, Zeli Su, Zewei Pan, Zhaoyang Han, Xing Chen, Yuanfeng Song, Wentao Zhang

专题命中 多模态Agent ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 SkillLens提出可视化技能卡片（VSCs），结合轨迹转卡片方法与检索增强机制，在两个多模态网页基准上提升了冻结GPT-5.4-mini执行器及Qwen3-VL-2B学生模型的GUI动作预测性能。