AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
隐藏的幽灵之手：揭示MLLM驱动的移动GUI代理中的后门漏洞
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Huawei Inc.（华为公司）
专题命中 多模态Agent ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CL
AI总结 本研究提出AgentGhost框架，通过组合目标和交互层触发器，利用监督对比学习和微调注入后门，在移动GUI代理中实现高成功率和隐蔽性，攻击准确率达99.7%。
Comments EMNLP-Findings 2025 (Correcting model settings)
Visual-Seeker：通过主动视觉推理实现视觉原生多模态智能搜索
机构 * School of Artificial Intelligence UCAS（中国科学院大学人工智能学院） ； Institute of Automation CAS（中国科学院自动化研究所） ； Ant Digital Technologies Ant Group（蚂蚁数字科技蚂蚁集团） ； RUC（中国人民大学） ； BIT（北京理工大学）
专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出Visual-Seeker，一种通过主动视觉推理进行视觉原生多模态深度搜索的智能体，在五个基准上达到最先进性能，甚至超越专有模型。
HATS：用于多臂数据收集的人-智能体遥操作系统
机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Nanyang Technological University（南洋理工大学） ； Imperial College London（帝国理工学院）
专题命中 多模态Agent ：MLLM(summary_cn,abstract)
AI总结 提出HATS系统，由单操作员借助MLLM智能体控制两主臂和两辅助臂，实现高效多臂数据收集，性能媲美双人专家团队。
统一多模态模型规划
机构 * Mila - Québec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Nanjing University（南京大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出Uni-Plan框架，利用统一多模态模型同时作为策略、动态模型和价值函数，通过自判别过滤避免动态预测幻觉，在具身决策任务中优于VLM方法，无需专家演示且数据可扩展。
Comments 29 pages, 11 figures
ROSA: 多模式交通中基于多智能体轨迹预测的环岛优化速度建议
机构 * IEEE
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 提出ROSA系统，结合Transformer多智能体轨迹预测与协调速度引导，提升环岛多模式混合交通的效率与安全，预测精度优于前人工作。
Comments 8 pages, 1 figure, 4 tables. Copyright 2026 IEEE. This is the accepted manuscript for 2025 IEEE International Conference on Intelligent Transportation Systems (ITSC), not the final published version
SciOrch: 学习编排专家大语言模型以解决前沿多模态科学推理任务
机构 * Imperial College London（伦敦帝国学院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 多模态Agent ：multimodal(title)；分类 cs.CL
AI总结 提出SciOrch框架，训练轻量级8B模型编排多个前沿大语言模型，通过MCTS和GRPO优化，在科学推理任务上超越最强单模型和多智能体基线。
VisualClaw：面向物理世界的实时个性化智能体
机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Google（谷歌） ； UC Berkeley（加州大学伯克利分校）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 提出VisualClaw，一种自进化多模态智能体，通过混合编码和技能进化机制降低部署成本并提升准确性，在多个视频QA基准上实现平均-98%的API成本削减和最高+15.80%的准确率提升。
Comments H. T. and J. C. contribute to this project equally
ScoutVLA：面向开放世界具身问答的无人机中心主动感知双专家VLA模型
机构 * National Key Laboratory of Digital Intelligent Modeling and Simulation, National University of Defense Technology（国防科技大学数字智能建模与仿真国家重点实验室） ； GigaAI
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对无人机在室外具身问答中细粒度视角调整不足的问题，提出ScoutVLA模型，采用解耦双专家架构（视觉语言专家推断语义意图，动作专家生成连续视角调整轨迹），并通过知识隔离机制平衡连续控制与语义推理，在仿真和真实实验中显著优于基线方法。
LabOSBench: 科学仪器控制的计算机使用智能体基准测试
机构 * Shenzhen Loop Area Institute（深圳河套学院） ； Dalian University of Technology（大连理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出LabOSBench基准，基于Web科学仪器模拟器评估多模态GUI智能体在仪器控制中的表现，揭示现有智能体在反馈驱动操作和长流程执行上的不足。
FlowMPC：利用世界模型改进流匹配策略
机构 * Stanford University（斯坦福大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出FlowMPC框架，结合流匹配模仿策略与学习的世界模型，通过MPPI规划提升测试时性能，在ManiSkill操作任务中显著提高成功率。
CLAD: 面向视觉-语言程序规划的约束潜在动作扩散模型
机构 * Machine Perception and Interaction group, Örebro University（机器感知与交互组，奥雷布罗大学） ； Collaborative Artificial Intelligence group, University of Stuttgart（协作人工智能组，斯图加特大学）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV
AI总结 提出CLAD模型，利用变分自编码器学习动作和观测的潜在表示作为约束，引导扩散模型生成动作，在三个数据集上大幅超越现有方法。
Comments Accepted at RO-MAN 2026
VL2Spike：面向具身AI低功耗视觉感知的VLM脉冲驱动蒸馏
机构 * School of EEE, Nanyang Technological University (NTU)（南洋理工大学电气与电子工程学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Advanced Micro Devices, Inc.（超威半导体公司） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光子学与仪器国家重点实验室） ； Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
专题命中 多模态Agent ：multi-modal(abstract)
AI总结 提出VL2Spike框架，通过时空视觉脉冲蒸馏和脉冲原型引导语言蒸馏，将VLM多模态知识迁移至Spikformer，在静态数据集上提升6.81%性能且能耗仅15.7%，并显著增强机器人视觉地点识别能力。
Comments 9 pages, 4 figures, 8 tables
强制延迟：在多模态大语言模型级联中操纵路由决策
机构 * Pennsylvania State University（宾夕法尼亚州立大学）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI
AI总结 提出强制延迟攻击（FDA），通过对抗性图像攻击降低弱模型置信度，迫使级联系统将查询路由到强模型，揭示了MLLM级联在计算分配上的安全漏洞。
深度残差注入：多模态大语言模型的全频谱取证信号感知
机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型在取证中难以同时保留语义知识和捕获低级生成器伪影的问题，提出Deep-VRM方法，通过将伪影特定视觉信号作为残差路径注入中间层，实现全频谱信号感知，达到鲁棒检测性能。
Comments Accepted at ICML 2026
GraphBEV++: 自动驾驶中的多模态特征对齐
机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院，交通数据挖掘与具身智能北京市重点实验室） ； School of Artificial Intelligence (School of Software), Yanshan University（燕山大学人工智能学院（软件学院）） ； University of Macau（澳门大学） ； Nanyang Technological University（南洋理工大学） ； The University of Queensland（昆士兰大学）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对自动驾驶中BEV感知的特征未对齐问题，提出GraphBEV++框架，通过局部对齐（LocalAlign-v2）和全局对齐（GlobalAlign-v2）模块，利用图匹配、可变形偏移和扩散去噪方法，在多种基准上实现最优性能。
Comments 30 pages, 7 figures
融合并非一刀切：用于时间-事件建模的跨模态表示对齐
机构 * Arizona State University（亚利桑那州立大学） ； Mayo Clinic（梅奥诊所）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI
AI总结 针对多模态临床数据中的模态不平衡和分布偏移问题，提出一种基于基础模型的跨模态对齐框架，通过四种融合策略在CT影像和纵向EHR数据间进行表示对齐，在肺栓塞死亡率和心血管疾病结局预测任务上验证了融合的有效性，并首次系统分析了时间-事件预测中的模态不平衡对融合行为的影响。
通过姿态感知解缠和点云融合实现3D与2D指纹的跨模态注册
机构 * Department of Automation, Tsinghua University（自动化系，清华大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 本文提出统一框架，实现3D指纹预处理与跨接触式和非接触式2D指纹的注册，结合非参数可视化解缠、点云融合、姿态归一化和姿态感知注册策略，提升3D与2D指纹兼容性。
X-Tokenizer: 一种用于视觉-语言-动作预训练的多模态动作分词器
机构 * Square Robot ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出X-Tokenizer，通过语义残差量化（SRQ）和掩码动作建模（MAM）将动作离散化为语义接口，在2.4M轨迹上预训练后提升VLA模型的多模态接地和长程任务性能。
Comments Project page: https://x-square-robot.github.io/X-Tokenizer_projectPage/
注意力，而非规模，驱动多模态语言预测中的人机对齐
机构 * Psychology and Language Science, Experimental Psychology, University College London, London, UK（心理学与语言科学、实验心理学，伦敦大学学院，伦敦，英国） ； Google Deepmind, Mountain View, US（谷歌DeepMind，山景城，美国） ； Princeton Neuroscience Institute, Princeton University, Princeton, NJ, USA（普林斯顿神经科学研究所，普林斯顿大学，普林斯顿，新泽西州，美国） ； Computer Science Department, Exeter University（计算机科学系，埃克塞特大学）
专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 本研究通过比较五种视觉-语言模型与600名人类在视觉世界范式中的表现，发现添加视觉上下文显著提升模型与人类在预测评分上的一致性，且注意力机制而非模型规模是主要驱动因素。
Comments 39 pages, 6 Figures, published in NPJ Artificial Intelligence
逐步令牌选择用于高效多模态大语言模型
机构 * Shenzhen University of Advanced Technology（深圳先进技术大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出一种基于指针机制的逐步视觉令牌选择方法，通过可微松弛实现端到端训练，动态决定保留令牌数量，在去除88.9%令牌时保持94.6%准确率并加速1.88倍。
Fusion-E2Pulse：一种用于非接触式脉搏波重建的多模态事件-RGB融合网络
机构 * College of Computer Science and Technology（计算机科学与技术学院） ； Taiyuan University of Technology（太原科技大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出Fusion-E2Pulse多模态融合网络，利用RGB信号结构先验抑制运动伪影，结合事件流高灵敏度恢复细粒度形态细节，在脉搏波重建中实现噪声抑制与形态保真度的最佳平衡。
Comments Accepted by MICCAI 2026. The final version will appear in the official MICCAI proceedings published by Springer
全局工作空间架构中用于鲁棒多模态集成的注意力机制
机构 * CerCo, CNRS, Université de Toulouse（CerCo、CNRS、图卢兹大学） ； ANITI, Artificial and Natural Intelligence Toulouse Institute（ANITI、图卢兹人工智能与自然智能研究所）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出一种轻量级自上而下的模态选择器，在冻结的多模态全局工作空间上运行，通过注意力机制提升系统在模态噪声或缺失下的鲁棒性，并在两个数据集上验证了其高效性和可迁移性。
Comments 21 pages, 6 figures, 2 tables. Accepted at ICANN 2026. Code: https://github.com/RolandBERTINJOHANNET/GW_attention
RLPR：面向自动驾驶的两阶段非对称跨模态对齐雷达-激光雷达地点识别
机构 * Beijing Institute of Technology（北京理工大学） ； Shanghai Jiaotong University（上海交通大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 提出RLPR框架，通过双流网络提取结构特征，并利用两阶段非对称跨模态对齐策略，实现雷达与激光雷达之间的鲁棒地点识别，在四个数据集上达到最优性能。
Comments Accepted by IEEE Robotics and Automation Letters (RA-L) 2026
传播结构引导：从眼底图像和稀疏OCT扫描合成荧光素血管造影
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education（教育部新一代人工智能技术及其跨学科应用重点实验室） ； Tianyuan Honors School, Nanjing Medical University（南京医科大学天元荣誉学院） ； Nanjing University of Science and Technology（南京理工大学） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出从彩色眼底照片（CFP）和稀疏OCT扫描合成荧光素血管造影（FFA）的框架，通过空间对齐跨模态融合和令牌级对比学习，实现非侵入性FFA合成，提升下游诊断性能。
Comments Accepted to MICCAI 2026 (Early Accept)
必要时聚焦：用于无训练视觉定位的自适应路由与协作定位
机构 * East China University of Science and Technology（华东理工大学） ； Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL
AI总结 提出LazyMCoT动态框架，通过自适应路由评估不确定性，对简单查询跳过处理，对困难样本利用协作定位模块进行两阶段精炼，在提升推理精度的同时降低平均推理延迟。
CAP：面向患者级监督的PPG通用表示学习
机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Peking University（北京大学） ； Independent Researcher（独立研究者） ； Jinling Clinical Medical College College of Artificial Intelligence Nanjing University of Aeronautics and Astronautics（金陵临床医学院人工智能学院南京航空航天大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出CAP方法，通过构建大规模PPG-EHR多模态数据集和跨模态对比对齐，学习患者级临床语义的PPG表示，在四项下游任务中平均提升26.7%，呼吸率预测提升87.6%。
Comments Accepted as an Oral presentation at KDD 2026
红外与可见光图像的文本驱动融合：在双曲空间实现图像场景自适应
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出一种文本驱动的红外与可见光图像融合框架，利用双曲流形学习嵌入层次语义，通过BLIP文本提示引导视觉-属性对齐，实现无文本输入的自适应融合，性能优于现有方法。
Comments 14 pages, 8 figures
TUNI：基于模态感知互学习和矫正的RGB-T语义分割统一预训练与微调框架
机构 * School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； School of Computer Science, Wuhan University（计算机学院，武汉大学） ； Great Wall Motor（长城汽车） ； School of Information and Electronic Engineering, Zhejiang University of Science and Technology（信息电子工程学院，浙江理工大学）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出TUNI框架，通过模态感知互学习与矫正统一预训练和微调，解决RGB-T语义分割中多模态特征提取融合、模态依赖不平衡及热信息利用不足问题，在五个数据集上优于15种SOTA模型。
Comments This paper is an extended version of the authors' work previously presented at the ICRA conference. To appear in IEEE Transactions on Circuits and Systems for Video Technology. DOl: 10.1109/TCSVT.2026.3701706
EyeMVP: 通过配对CFP-OCT预训练实现OCT启发的眼底表征学习
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beijing Tongren Eye Center, Beijing Tongren Hospital, Capital Medical University（首都医科大学附属北京同仁医院北京同仁眼科中心） ； Liangxiang Hospital of Beijing Fangshan District, Capital Medical University（首都医科大学北京市房山区良乡医院） ； The Third People's Hospital of Dalian（大连市第三人民医院） ； National Clinical Research Center for Endocrine and Metabolic Diseases, The Second Xiangya Hospital of Central South University（中南大学湘雅二医院国家内分泌代谢病临床医学研究中心） ； The Central Hospital of Baoji City（宝鸡市中心医院） ； Wuxi No.2 People's Hospital, Affiliated Wuxi Clinical College of Nantong University（南通大学附属无锡临床学院无锡市第二人民医院） ； Shenzhen Eye Hospital, Southern Medical University（南方医科大学深圳眼科医院） ； Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出跨模态视网膜基础模型EyeMVP，利用配对CFP-OCT预训练，通过跨模态掩码重建将OCT结构信息注入CFP表征，在16项下游任务中优于现有模型，尤其对黄斑疾病诊断有显著提升。
MolSight: 基于图像的分子属性预测
机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.CL
AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈