多模态大模型

OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments

OmniGUI: 评估多模态智能手机环境中的GUI代理的基准测试

Felix Henry, Xiaochen Lin, Jiangyou Zhu, Yangfan, Bingqian Zhang, Min Chen, Shiyu Huang

机构 * XPeng Motors（小鹏汽车） 纠错

专题命中 多模态Agent ：omni-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出OmniGUI基准测试，用于评估在多模态智能手机环境中GUI代理的能力，通过连续的多模态输入（包括静态图像、同步音频和视频片段）来模拟真实世界交互，发现当前模型在需要同步时间和听觉信号的环境中表现下降。

ClinSeekAgent: Automating Multimodal Evidence Seeking for Agentic Clinical Reasoning

ClinSeekAgent: 自动化多模态证据检索以实现代理临床推理

Juncheng Wu, Letian Zhang, Yuhan Wang, Haoqin Tu, Hardy Chen, Zijun Wang, Cihang Xie, Yuyin Zhou

机构 * UC Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出ClinSeekAgent，一种自动化代理框架，用于动态多模态证据检索，旨在从异构来源主动检索、迭代规划和综合多模态证据，从而提升临床决策支持。

Comments 24 pages, 9 figures; Project Page: https://ucsc-vlaa.github.io/ClinSeekAgent/

CosFly: Plan in the Matrix, Fly in the World

CosFly：矩阵中的计划，世界中的飞行

Hanxuan Chen, Xiangyue Wang, Songsheng Cheng, Ruilong Ren, Jie Zheng, Shuai Yuan, Tianle Zeng, Hanzhong Guo, Binbo Li, Kangli Wang, Ji Pei

机构 * Autel Robotics（Autel机器人公司） ； Nanjing University（南京大学） ； Peking University（北京大学） ； Southern University of Science and Technology（南方科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)

AI总结 本文提出CosFly，一个用于空中跟踪的盒状结构规划和多模态模拟流程，以及CosFly-Track大规模无人机数据集，用于在多样环境中动态目标跟踪。CosFly通过将复杂的3D世界转换为结构化障碍表示进行规划，然后将轨迹投影到多模态传感器数据中，并支持可配置的固定视角缩放级别。

CutVerse: A Compositional GUI Agents Benchmark for Media Post-Production Editing

CutVerse: 一个用于媒体后期制作编辑的组合式GUI代理基准测试

Haobo Hu, Xiangwu Guo, Zhiheng Chen, Difei Gao, Haotian Liu, Libiao Jin, Qi Mao

机构 * MIPG, Communication University of China（MIPG，中国传媒大学） ； National University of Singapore（新加坡国立大学） ； USEIT AI（USEIT人工智能） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出CutVerse，一个用于评估自主GUI代理在真实媒体后期制作环境中的能力的基准测试，揭示现有代理在复杂、长周期媒体后期制作工作流中的局限性。

AQuaUI: Visual Token Reduction for GUI Agents with Adaptive Quadtrees

AQuaUI: 用于GUI代理的视觉令牌减少方法基于自适应四叉树

Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

机构 * UC Davis（加州大学戴维斯分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AQuaUI，一种无需训练的推理时GUI代理模型的视觉令牌减少方法，利用屏幕截图中的非均匀信息密度，通过自适应四叉树结构保持令牌位置以确保一致性，并通过条件四叉树算法提升多步骤GUI交互的时序一致性，实验表明其在准确性和效率之间取得了改进。

Towards Camera-Robust 3D Localization: Equation-Anchored Tool-Use for MLLMs

面向相机鲁棒的3D定位：基于方程的工具使用用于MLLMs

Xueying Jiang, Wenhao Li, Quanhao Qian, Deli Zhao, Shijian Lu, Gongjie Zhang, Ran Xu

机构 * Nanyang Technological University（南洋理工大学） ； DAMO Academy, Alibaba Group（阿里集团大模型研究院） ； HuPan Lab（虎派实验室） ； Alibaba Group（阿里集团） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于方程的工具使用框架，通过将空间工具作为公式变量重新利用，以解决多模态大语言模型（MLLMs）中3D定位的相机固有模糊问题，从而在3D物体检测和3D视觉定位任务中取得了显著提升。

WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

WARC-Bench：基于网络存档的GUI子任务执行基准

Sanjari Srivastava, Gang Li, Cheng Chang, Rishu Garg, Manpreet Kaur, Charlene Y. Lee, Yuezhang Li, Yining Mao, Ignacio Cases, Yanan Xie, Peng Qi

机构 * Uniphore 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出WARC-Bench，一个基于网络存档的GUI子任务执行基准，通过438个任务评估多模态AI代理在子任务上的能力，实验表明SFT和RLVR方法在提升子任务执行效果上取得显著成果。