多模态大模型

Benchmarking Web Agent Safety under E-commerce Deceptive Interfaces

电子商务欺骗性界面下的Web Agent安全基准测试

Zijing Shi, Meng Fang, Ling Chen

机构 * AAII, University of Technology Sydney（悉尼科技大学AAII） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL

AI总结 提出WebDecept框架，在电子商务环境中注入七种常见欺骗性界面模式，测试多模态Web Agent的安全性，发现当前Agent极易受骗且提示约束不足。

Comments Accepted to ACL 2026

Automating Geometry-Intensive Compliance Checking in BIM: Graph-Based Semantic Reasoning Framework

BIM中几何密集型合规检查自动化：基于图的语义推理框架

Zixuan Xiao, Pei Troh Koh, Jun Ma, Jack C. P. Cheng

机构 * Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系） ； Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 针对BIM中几何密集型法规自动检查的语义鸿沟问题，提出SGR-BIM图驱动推理框架，通过跨模态知识图谱实现可解释推理，在679个消防规范查询上达到84.3%准确率，较基线提升8.6%。

Journal ref Automation in Construction 189 (2026) 107038

ConsistencyPlanner: Real-time Planning with Fast-Sampling Consistency Models

ConsistencyPlanner: 基于快速采样一致性模型的实时规划

Qichao Zhang, Xing Fang, Jiaqi Fang, Zhenwen Cai, Jie Ling, Qiankun Yu, Dongbin Zhao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Guangzhou Zaofu Intelligent Technology Co., Ltd.（广州造父智能科技有限公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Consistency Planner框架，利用快速采样一致性模型实现高效多模态采样，并结合注意力增强解码器融合异构特征，在Waymax模拟器中显著提升安全性和实时性。

Exploration of Foundation Model-Based Robots in Patient and Elderly Care

基于基础模型的机器人在患者和老年人护理中的探索

Zhiwen Qiu, Wei Liu, Yuexing Hao

机构 * Cornell University（康奈尔大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述了基于基础模型的护理机器人在设计特征、用户体验和护理效果方面的现状，指出当前系统多用于语音交互，多模态和物理自主性有限，并呼吁向护理特定评估标准和负责任自主性发展。

PhysAgent: Automating Physics-Based 4D Synthesis via Trajectory-Grounded Multi-Agent Feedback

PhysAgent: 通过轨迹驱动的多智能体反馈实现基于物理的4D合成自动化

Chunji Lv, Jiaxi Ye, Yuchen Jiang, Rexar Lin, Changsheng Li

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出PhysAgent，首个模拟器在环的多智能体框架，通过解耦材料与外力、利用视觉基础模型提取轨迹并借助LLM常识推理，实现自动化、物理可信的4D运动合成，显著提升生成多样性与物理准确性。

Self-Evolving Scientific Agent Discovers Generalizable Physically-Reasoned Fluid Control

自进化科学智能体发现可泛化的物理推理流体控制

Boai Sun, Wenjin Guo, Zongmin Yu, Liu Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种由大语言模型驱动的自进化科学智能体工作流，通过迭代代码生成和物理仿真诊断，自动构建可解释的控制器，并在欠驱动双关节狗鲨游泳器目标到达任务中实现零样本泛化。

SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows

SKILL.nb：用于持久代理工作流的选择性形式化与门控执行

Amine El Hattami, Nicolas Chapados, Christopher Pal

机构 * ServiceNow Research ； Mila ； Polytechnique Montréal（蒙特利尔综合理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出SKILL.nb框架，通过选择性形式化和门控执行管理代理工作流的生命周期可靠性，在WebArena-Verified上单轮成功率达53.7%，重执行保留率91.7%。

Syll: Open-Source Personal Automation with Cross-Surface Execution

Syll: 开源个人自动化与跨界面执行

Bo Zhang, Borui Zhang, Chenghao Jiang, Minglei Shi, Xiaofeng Wang, Zheng Zhu, Jie Zhou, Jiwen Lu

机构 * Adobe Systems Inc.（Adobe系统公司） ； Stardew Valley（《星露谷物语》） ； macOS ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出开源多模态智能体框架Syll，通过统一API、CLI和GUI控制，支持用户演示教学和可审计执行，实现跨界面个人自动化。

Comments Code: https://github.com/THU-SAGE/syll

Security of Foundation-Model-Powered Embodied Agents: Attack Surfaces, Attacks, Defenses, and Evaluation

基于基础模型的具身智能体的安全性：攻击面、攻击、防御与评估

Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao

机构 * Wuhan University（武汉大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究以信任边界为核心，针对基于基础模型的具身智能体安全，划分了五个层级与十二个攻击面，分析了58种攻击、61种防御的现状，指出部分领域研究不足并提出开放挑战。

Identifying parameter couplings and uncertainties of mixed-noise stochastic systems via full-covariance Gaussian mixture network

通过全协方差高斯混合网络识别混合噪声随机系统的参数耦合与不确定性

Xiaolong Wang, Xiangwen Hao, Jing Feng, Yuanyuan Liu, Yong Xu

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究针对混合噪声随机系统参数识别的难点，提出PENN-GMD神经网络，采用全协方差高斯混合分布，经五个数值示例验证可准确恢复似然分布、捕捉参数耦合，为复杂随机系统参数识别提供实用工具。

LegacyWorld: Atomicity-Aware Evaluation of GUI Agents for Legacy Workflows

LegacyWorld：面向遗留工作流的GUI智能体的原子性感知评估

Thilo Reintjes, Sivajeet Chand, Derui Zhu, Sushant Kumar Pandey, Alexander Pretschner

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究开发LegacyUse框架以自动化遗留工作流，构建含28个Windows GUI工作流的基准，采用原子性评估6款计算机使用智能体，发现不同操作特征并提出相关首要要求。

Comments Accepted for publication in the Industry Track of the 42nd IEEE International Conference on Software Maintenance and Evolution (ICSME 2026), 14-18 September 2026, Benevento, Italy

ARIES-Mission2: A Zero-Shot Vision-Language-Action Framework for Fast Large-Scale Aerial Mission Generation

ARIES-Mission2：用于快速大规模空中任务生成的零样本视觉-语言-动作框架

Junhao Wei, Yanxiao Li, Haochen Li, Yifu Zhao, Dexing Yao, Baili Lu, Zikun Li, Yapeng Wang, Sio-Kei Im, Dingcheng Yang, Xu Yang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 ARIES-Mission2是解耦视觉语义感知与路径优化的零样本VLA框架，在UAV基准上，其飞行距离更短、任务生成速度更快，且TSP模块可扩展性佳。

Joint return levels of maximum temperature and minimum relative humidity by combining copulas with an extreme value framework for bimodal data

结合Copula与适用于双峰数据的极值框架，分析最高气温与最小相对湿度的联合重现水平

Beatriz G da Cruz Albernaz, Cira E G Otiniano, Carolyne Soares de Brito, Fidel E C Morales, Enzo Porto Brasil

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本研究结合Copula与适用于双峰数据的极值框架，分析巴西利亚最高气温与最小相对湿度的联合重现水平，为当地气候风险应对提供关键依据。

Comments 19 pages, 13 figures, 3 tables

SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation

SLIM-0.5B：学习机器人操作的动作基础预测隐变量

Jingkai Wang, Zihan Tang, Gu Zhang, Mingyu Cao, Jiapeng Chen, Jingjiao Zhao, Xiansheng Chen, Pengwei Wang, Lemao Liu, Dejing Dou

机构 * Fudan University（复旦大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 SLIM-0.5B是0.5B参数的紧凑机器人操作策略，通过自监督掩码轨迹预测学习动作基础预测隐变量，性能优于或匹配大型基线，参数量少、推理延迟低、内存占用小。

Comments 18 pages, 11 figures. Project page: https://kzz1031.github.io/slim-project-page/

Skills in Weights, Memory in Code: Hybrid Learning for Memory-Dependent Robot Manipulation

权重中的技能，代码中的记忆：面向依赖记忆的机器人操作的混合学习

Yunhao Zhao, Zhenyang Ni, Haoyang Chen, Ruohan Zhang, Qi Zhu

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对现实机器人操作的非马尔可夫性，提出混合学习框架 HyMeS，结合编码智能体与马尔可夫 VLA，在 RoboMemArena 上显著提升操作成功率，实现数据高效的组合泛化。

Comments 9 pages, 4 figures, and 3 tables

UnsDrive: Towards Robust End-to-End Autonomous Driving in Unstructured Scenes

UnsDrive：面向非结构化场景的鲁棒端到端自动驾驶

Nanxin Zeng, Ruiqi Song, Xiangyu Guo, Baiyong Ding, Yunfeng Ai

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Waytous Inc.（文远知行公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对非结构化采矿环境自动驾驶泛化差的问题，提出UnsDrive规划器，结合未知感知占用表示与流匹配规划器，引入专用损失和评分器，辅以MineLoop模拟器验证，性能优于基线。

Comments 9 pages, 4 figures, conference

Journal ref the 34th ACM International Conference on Multimedia, 2026

A Haptic Robot Finger Designed for Guqin Instrument Playing

用于古琴演奏的触觉机器人手指

Tianwei Zhang, Hanming Yan, Yang Yang. Ziya Wang

机构 * The Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院） ； The Chinese University of Hong Kong - Shenzhen（香港中文大学（深圳）） ； School of Physics and Optoelectronic Engineering, Shenzhen University（深圳大学物理与光电工程学院） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究设计了一款模仿人类手指的高精度触觉传感机器人指尖，以古琴为验证场景，开展了古琴弦接触相关任务的验证，将触觉传感与机器人技术结合，助力世界遗产保护与文化传播。

Comments Accepted by IEEE Transactions on Haptics

"Allow" to Achieve, Over-Privileged Inadvertently: The Unintended Cost of Task-Completion-Driven Pop-up Decisions in Mobile GUI Agents

“允许”达成目标：移动GUI智能体中任务完成驱动的弹窗决策的意外代价

Dongsheng Chen, Yuxuan Li, Guanhua Chen, Jiaxin Zhang, Xiangyu Zhao, Lei Ma, Xin Yao, Xuetao Wei

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究移动GUI智能体的权限素养，发现其存在应用信任偏差、任务优先级覆盖等问题，提示干预效果不一，建议将任务执行与权限授权分离。

Human Centric Embodied Intelligence for Soft Wearable Robotics

面向软质可穿戴机器人的以人为中心的具身智能

Rainier Natividad, Raye Chen-Hua Yeow

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本综述提出以人为中心的具身智能（HCEI）概念，引入感知-认知-执行-增强（PCAA）框架，整合多领域进展以指导软质可穿戴机器人向个性化、可预测的以人为中心方向发展。

Comments Review article; 48 pages, 6 figures, 4 tables, and 2 supplementary tables

SABRE: A Multi-Agent Approach for Selecting Out-of-Distribution Detectors Under a Budget

SABRE：预算约束下选择分布外检测器的多智能体方法

Mary Wisell, Salimeh Sekeh

专题命中 多模态Agent ：multimodal(abstract)

AI总结 SABRE是一种多智能体方法，可在预算约束下针对视觉-语言模型的分布外检测，自动选择各领域最优检测器，解决固定检测器跨领域失效的问题，实现可靠检测。

Designing a digital word-learning intervention with neurodiverse children: Experiences and ideas from children with developmental language disorder

面向神经多样性儿童的数字词汇学习干预方案设计：发育性语言障碍儿童的经验与思路

Rafiah Ansari, Rina R. Wehbe, Lizbeth Olivia Escobedo

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究针对发育性语言障碍儿童，采用定制化参与式设计方法，设计词汇学习干预方案，明确了多模态等关键设计要求，为相关干预开发提供了宝贵见解。

Comments 56 pages, 7 tables, 7 figures

Why Are GUI Agents Correct but Late? Decode on the Decision-Time Critical Path, Tested with Pre-Compiled Policy Trees

为什么GUI智能体正确但延迟？基于决策时间关键路径的解码，用预编译策略树测试

Zihan Dong, Rui Qian, Qishi Zhan, Dongshen Peng, Kaixin Li, Yu Li

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对GUI智能体因决策时间关键路径的自回归解码延迟导致瞬态事件失败的问题，提出AAPT策略树方法，提升了决策窗口内的动作成功率，验证了分支路由为关键瓶颈。

VIG-RL: Learning to Search and Insert for Verified Image Grounding

VIG-RL：学习搜索与插入以实现可验证的图像定位

Qinhan Yu, Jun Guang, Chong Chen, Wentao Zhang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文针对现有检索增强框架无法动态推理视觉证据插入时机与位置的问题，提出自主智能体框架VIG-RL，将相关工作流建模为主动决策过程，经强化学习优化后实现SOTA性能。

RLMM-Flow: A Flow-based Mobile Manipulation Framework with Latent-Space Reinforcement Learning

RLMM-Flow：一种基于流的隐空间强化学习移动操作框架

Shuhang Wang, Ziming Li, Hui Cheng

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究提出RLMM-Flow框架，结合流策略预训练与隐空间强化学习，在移动操作基准上提升任务成功率等指标，同时保留流的快速推理能力。

An Adjoint-Based Differentiable Physics Framework for Online Parameter Inversion in Closed-Brayton Gas-Cooled Reactor Digital Twins

用于闭式布雷顿气冷反应堆数字孪生体在线参数反演的基于伴随的可微物理框架

Chengyuan Li, Shanfang Huang, Jian Deng

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究先进反应堆数字孪生体在线参数反演问题，提出基于伴随的可微物理框架，通过隐式微分代数模型传播反向模式自动微分，驱动AD - 海森增量4D - Var估计器，在多工况下与多种基线对比，展现出不同优势。

URF: A Unified Robot Control-Policy Framework for Stable Contact Aware Manipulation

URF：用于稳定接触感知操纵的统一机器人控制策略框架

Jiyou Shin, Youngjin Seo, Jaeseog Won, Sungwon Seo, Hyunjun Kim, Seokmin Yoon, Tuan Luong, Hyungpil Moon

机构 * Faculty of Mechanical Engineering, Sungkyunkwan University（成均馆大学机械工程学院） ； Faculty of Intelligent Robotics, Sungkyunkwan University（成均馆大学智能机器人学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究针对基于学习的操纵策略中动作预测与执行分离在刚性接触时的问题，提出URF统一框架，结合多模态观察预测虚拟目标等，利用接触力构建标签监督控制器模式预测，在相关任务中提升成功率并减少失败模式。

Comments 8 pages, 5 figures, 2 tables. Submitted to IEEE Robotics and Automation Letters (RA-L)

Autonomous Collaborative Learning Among an Ensemble of Tsetlin Machines with Consensus-Based Inference

基于共识推理的Tsetlin机集成中的自主协作学习

Yehuda Rudin, Osnat Keren, Michal Yemini, Alexander Fish

机构 * Faculty of Engineering, Bar Ilan University（巴伊兰大学工程学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文针对分布式和去中心化TM学习关注不足的问题，提出基于共识推理的Tsetlin机集成去中心化协作学习范式，各智能体维护私有模型，不交换原始数据，实验表明该范式下分类准确率与集中式模型相当，促进了信息集成融合。

Sidekick: Designing Communication for Effective Multitasking with Computer Use Agents

Sidekick：与计算机使用代理进行有效多任务通信的设计

Ruei-Che Chang, Wenqian Xu, Dingzeyu Li, Bryan Wang, Anhong Guo

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究针对计算机使用代理文本反馈问题，开发Sidekick原型系统，在不同交互阶段用多模态反馈传达其状态，经30人参与的研究验证其能显著提升多任务性能，有效支持进度感知等，还展示了应用前景及对人机协作的意义。

Dendrite: A Real-Time Python Application for Online Brain-Computer Interface Research and Development

Dendrite：用于在线脑机接口研究与开发的实时Python应用程序

Niko Kroflic, Jan Babič

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究旨在开发在线脑机接口软件，核心方法是用Python编写Dendrite应用程序，它整合信号采集、解码器训练与实时推理，能同时记录多信号流并并发处理，可重现且开源，为在线BCI范式开发评估提供了系统。

Comments 15 pages, 5 figures

One-for-All Adaptive Radiotherapy Planning Agent: A Foundation Framework for Daily CBCT-guided Radiotherapy

一适用于所有情况的自适应放射治疗计划智能体：基于每日锥束CT引导的放射治疗基础框架

Shaoyan Pan, Kirk Jon Luca, Yuan Gao, Shansong Wang, Mingzhe Hu, Ryan Sanford, Mojtaba Safari, Justin Roper, Zhen Tian, Tonghe Wang, Xiaofeng Yang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 介绍一适用于所有情况的自适应放射治疗计划智能体，它基于统一基础模型，能从每日锥束CT执行在线自适应计划，自主预测关键组件并设计临床计划，经多数据集评估，其准确性和计划质量与临床方案相当，为放射治疗带来新机遇。