AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
隐藏的幽灵之手：揭示MLLM驱动的移动GUI代理中的后门漏洞
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Huawei Inc.（华为公司）
专题命中 多模态Agent ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CL
AI总结 本研究提出AgentGhost框架，通过组合目标和交互层触发器，利用监督对比学习和微调注入后门，在移动GUI代理中实现高成功率和隐蔽性，攻击准确率达99.7%。
Comments EMNLP-Findings 2025 (Correcting model settings)
Visual-Seeker：通过主动视觉推理实现视觉原生多模态智能搜索
机构 * School of Artificial Intelligence UCAS（中国科学院大学人工智能学院） ； Institute of Automation CAS（中国科学院自动化研究所） ； Ant Digital Technologies Ant Group（蚂蚁数字科技蚂蚁集团） ； RUC（中国人民大学） ； BIT（北京理工大学）
专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出Visual-Seeker，一种通过主动视觉推理进行视觉原生多模态深度搜索的智能体，在五个基准上达到最先进性能，甚至超越专有模型。
HATS：用于多臂数据收集的人-智能体遥操作系统
机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Nanyang Technological University（南洋理工大学） ； Imperial College London（帝国理工学院）
专题命中 多模态Agent ：MLLM(summary_cn,abstract)
AI总结 提出HATS系统，由单操作员借助MLLM智能体控制两主臂和两辅助臂，实现高效多臂数据收集，性能媲美双人专家团队。
统一多模态模型规划
机构 * Mila - Québec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Nanjing University（南京大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出Uni-Plan框架，利用统一多模态模型同时作为策略、动态模型和价值函数，通过自判别过滤避免动态预测幻觉，在具身决策任务中优于VLM方法，无需专家演示且数据可扩展。
Comments 29 pages, 11 figures
ROSA: 多模式交通中基于多智能体轨迹预测的环岛优化速度建议
机构 * IEEE
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 提出ROSA系统，结合Transformer多智能体轨迹预测与协调速度引导，提升环岛多模式混合交通的效率与安全，预测精度优于前人工作。
Comments 8 pages, 1 figure, 4 tables. Copyright 2026 IEEE. This is the accepted manuscript for 2025 IEEE International Conference on Intelligent Transportation Systems (ITSC), not the final published version
SciOrch: 学习编排专家大语言模型以解决前沿多模态科学推理任务
机构 * Imperial College London（伦敦帝国学院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 多模态Agent ：multimodal(title)；分类 cs.CL
AI总结 提出SciOrch框架，训练轻量级8B模型编排多个前沿大语言模型，通过MCTS和GRPO优化，在科学推理任务上超越最强单模型和多智能体基线。
VisualClaw：面向物理世界的实时个性化智能体
机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Google（谷歌） ； UC Berkeley（加州大学伯克利分校）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 提出VisualClaw，一种自进化多模态智能体，通过混合编码和技能进化机制降低部署成本并提升准确性，在多个视频QA基准上实现平均-98%的API成本削减和最高+15.80%的准确率提升。
Comments H. T. and J. C. contribute to this project equally
ScoutVLA：面向开放世界具身问答的无人机中心主动感知双专家VLA模型
机构 * National Key Laboratory of Digital Intelligent Modeling and Simulation, National University of Defense Technology（国防科技大学数字智能建模与仿真国家重点实验室） ； GigaAI
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对无人机在室外具身问答中细粒度视角调整不足的问题，提出ScoutVLA模型，采用解耦双专家架构（视觉语言专家推断语义意图，动作专家生成连续视角调整轨迹），并通过知识隔离机制平衡连续控制与语义推理，在仿真和真实实验中显著优于基线方法。
LabOSBench: 科学仪器控制的计算机使用智能体基准测试
机构 * Shenzhen Loop Area Institute（深圳河套学院） ； Dalian University of Technology（大连理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出LabOSBench基准，基于Web科学仪器模拟器评估多模态GUI智能体在仪器控制中的表现，揭示现有智能体在反馈驱动操作和长流程执行上的不足。
FlowMPC：利用世界模型改进流匹配策略
机构 * Stanford University（斯坦福大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出FlowMPC框架，结合流匹配模仿策略与学习的世界模型，通过MPPI规划提升测试时性能，在ManiSkill操作任务中显著提高成功率。
CLAD: 面向视觉-语言程序规划的约束潜在动作扩散模型
机构 * Machine Perception and Interaction group, Örebro University（机器感知与交互组，奥雷布罗大学） ； Collaborative Artificial Intelligence group, University of Stuttgart（协作人工智能组，斯图加特大学）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV
AI总结 提出CLAD模型，利用变分自编码器学习动作和观测的潜在表示作为约束，引导扩散模型生成动作，在三个数据集上大幅超越现有方法。
Comments Accepted at RO-MAN 2026
VL2Spike：面向具身AI低功耗视觉感知的VLM脉冲驱动蒸馏
机构 * School of EEE, Nanyang Technological University (NTU)（南洋理工大学电气与电子工程学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Advanced Micro Devices, Inc.（超威半导体公司） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光子学与仪器国家重点实验室） ； Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
专题命中 多模态Agent ：multi-modal(abstract)
AI总结 提出VL2Spike框架，通过时空视觉脉冲蒸馏和脉冲原型引导语言蒸馏，将VLM多模态知识迁移至Spikformer，在静态数据集上提升6.81%性能且能耗仅15.7%，并显著增强机器人视觉地点识别能力。
Comments 9 pages, 4 figures, 8 tables
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈