多模态大模型

RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

RynnWorld-4D：用于机器人操作的4D具身世界模型

Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hong Kong Embodied AI Lab（香港具身人工智能实验室） ； CUHK（香港中文大学） ； Hupan Lab（湖畔实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；cross-modal(abstract)

AI总结 研究针对开放世界机器人操作，提出RynnWorld-4D生成模型，通过RGB-DF捕捉4D动态，其具三分支架构，还整理数据集并提出RynnWorld-4D-Policy，实验证明该模型在时空预测及实际操作任务中表现出色。

Comments Project Page: https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-4D

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

CanvasAgent：通过视觉工具编排实现复杂图像创建和编辑

Hairui Zhu, Yiying Yang, Tengjin Weng, Ziyu Lu, Xiao Yao, Xiaoyang Ye, Lin Ma, Wenhao Jiang

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究复杂图像创建编辑问题，提出CanvasAgent代理，通过多轮交互编排异构视觉工具，先经监督微调学习轨迹，再用广义信赖域策略优化器结合多种信号优化，结合CanvasCraft数据集进行实验，证明其对复杂多工具图像创建工作流程有效。

Comments 18pages, 5 figures

SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios

SWITCH：在长时程具身场景中评估和处理具象接口的基准测试

Juntao Cheng, Wanyue Zhang, Zhiwei Yu, Shuo Ren, Zheqi He, Shaoxuan Xie, Guocai Yao, Jieru Lin, Börje F. Karlsson, Jiajun Zhang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SWITCH基准测试通过1170个时间交互视频，评估具象接口在真实第一人称环境中的闭环交互推理，揭示多模态模型在细粒度视觉-时间感知、结果验证和错误恢复方面的不足。

Comments The dataset is available at https://huggingface.co/datasets/BAAI-Agents/SWITCH

AgoraSim: A Hybrid Agent-Based Modeling Framework

AgoraSim：一个基于混合智能体的建模框架

Chung-Chi Chen

机构 * Human-Agent Ally Lab (HAA Lab)（人机协作实验室（HAA实验室）） ； National Institute of Informatics, Japan（日本国立信息学研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对大语言模型智能体模拟输出易被过度解读及难与社会动态比较的问题，提出AgoraSim框架，能将文本等解析为可编辑配置，运行混合智能体群体并比较场景，通过多种接口公开，助用户检查轨迹、比较假设及识别需验证的案例。

Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator

Image2Sim：通过生成神经模拟器扩展具身导航

Zihan Wang, Seungjun Lee, Yinghao Xu, Gim Hee Lee

机构 * National University of Singapore（新加坡国立大学） ； HKUST（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对具身导航缺乏优质交互环境的问题，提出Image2Sim实时神经模拟框架，通过解耦3D空间锚定与观察合成构建环境，能大规模生成相关数据，训练的导航模型在基准测试中有提升且可迁移，为具身导航提供实用训练基础。

Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory

Light-Omni：基于长期记忆的智能视频理解中的反射优于推理

Chang Nie, Jiaju Wei, Junlan Feng, Chaoyou Fu, Caifeng Shan

机构 * Nanjing University（南京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对智能视频理解中先进智能体依赖迭代推理成本高的问题，提出Light-Omni框架，通过双重上下文状态实现反射式轻量级视频理解，经实验验证其有效性，性能优于M3-Agent且能增强现有MLLMs。

Comments Project Page: https://clare-nie.github.io/Light-Omni

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

RS-Agent：通过智能代理实现遥感任务自动化

Wenjia Xu, Zijian Yu, Boyang Mu, Jiuniu Wang, Zhiwei Wei, Mugen Peng

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China（网络与交换技术国家重点实验室，北京邮电大学，中国） ； City University of HongKong, Hong Kong 999077, China（香港城市大学，中国） ； School of Geographic Sciences, Hunan Normal University, Changsha 410081, China（地理科学学院，湖南师范大学，中国） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型在遥感任务中的局限，提出RS-Agent智能代理，通过结构化任务规划等连接用户意图与遥感流程，含四个组件及两种方法，实验显示其在多任务中显著优于现有模型，证明结合两者用于智能地理空间分析的价值。