多模态大模型

Globalized Constrained Stein Variational Inference for Diverse Feasible Robot Motion Planning

用于多样化可行机器人运动规划的全局约束斯坦变分推理

Jiayun Li, Georgia Chalvatzaki

机构 * PEARL Lab, Dept. of Computer Science, TU Darmstadt（珍珠实验室，达姆施塔特工业大学计算机科学系） ； Robotics Institute Germany (RIG)（德国机器人研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究机器人运动规划多模态问题，提出SteinSQP方法，通过约束斯坦变分推理演化粒子集合，用无矩阵原始对偶算法解决子问题，引入优点函数全局化方法，在多任务中表现良好，收敛快且可行性高。

AutoPath: Learning Transferable Goal-Conditioned Stochastic Path Prior for Safe Navigation Without Human Demonstrations

AutoPath：学习可转移的目标条件随机路径先验以实现无人类示范的安全导航

Ziyang Zhang, Boyang Zhou, Zesong Yang, Haocheng Peng, Zeming Gai, Xiao Liang, Yujun Shen, Danping Zou, Ruizhen Hu, Hujun Bao, Zhaopeng Cui

机构 * Zhejiang University（浙江大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） ； Shenzhen University（深圳大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究在复杂环境下的安全导航问题，提出学习可转移目标条件随机路径先验的方法，引入规范状态表示和结构化先验学习框架，实验证明该方法成功率高、效率有竞争力且可跨平台转移。

Comments Accepted by IEEE Robotics and Automation Letters (RA-L). 8 pages, 4 figures

LLM-Centric Agentic AI for UAV Swarms: Architecture, Enabling Technologies, and Open Problems

用于无人机群的以大语言模型为中心的智能体人工智能：架构、使能技术及开放问题

Yousef Emami, Rahim Taheri, Mohammadhossein Homaei, Muhammad Atif Ur Rehman, Mohammad Shojafar

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究针对无人机群实际部署受限问题，提出以大语言模型为中心的智能体人工智能LAUS，回顾相关使能技术，分析威胁，确定包括抗幻觉推理等在内的开放研究挑战。

Comments 8 pages, 4 figures, 2 tables

Flow-ERD: Agent-type Aware Flow Matching with Entropy-Regularized Distillation for Diverse Traffic Simulation

Flow-ERD：用于多样化交通模拟的基于熵正则化蒸馏的智能体类型感知流匹配

Seulbin Hwang, Kiyoung Om, Daejung Kim, Jinhan Lee

机构 * NAVER LABS Corp.（NAVER实验室公司） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 为解决交通模拟中多样性未被充分探索的问题，提出Flow-ERD模拟器，其核心方法是智能体类型感知流匹配与熵正则化蒸馏，能联合追求现实性和多样性，在测试基准中排名第一，主导帕累托前沿。

Comments 8 pages, 5 figures, 2 tables

CILC: Cryptographically-secure Inter-agent Loop Closure Candidate Detection for Multi-Agent Collaborative SLAM

CILC：用于多智能体协作SLAM的加密安全的智能体间闭环候选检测

Andrew Fishberg, Yixuan Jia, Jonathan P. How

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究多智能体协作SLAM中智能体间闭环候选检测问题，提出CILC系统，利用安全多方计算仅对隐私敏感且计算量轻的GD相似性比较步骤进行加密处理，在模拟和硬件实验中验证其能保持实时性、通信可行并减轻信息泄露。

Semantic-based Internet of Embodied Intelligence: Visions and Frontiers

基于语义的具身智能物联网：愿景与前沿

Yaheng Wang, Rui Meng, Xiaodong Xu, Yiming Liu, Feiliang Song, Linyuan Hu, Huishi Song, Lexi Xu, Tony Q. S. Quek, Ping Zhang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出基于语义的具身智能物联网（SIoEI），通过语义信息统一度量解决多智能体网络中的多模态数据传输开销和逻辑推理与物理约束解耦问题，并验证其在信道鲁棒性和端到端延迟方面的优势。

Comments 7 pages, 4 figures

Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

通过效应预测联合发现物体与动作符号以进行机器人操作规划

Burcu Kilic, Berke Kartal, Fatih Dogangun, Erhan Oztop, Emre Ugur

机构 * Bogazici University（博阿齐奇大学） ； Ozyegin University（厄兹耶金大学） ； Osaka University（大阪大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出一种通过二元瓶颈层联合发现操作原语和物体类别的方法，利用预测多模态交互效应进行离散规划，在桌面重定位和堆叠任务中优于现有方法。

Augmenting airline networks using airside-to-airside buses to strengthen system resilience under disruptions

利用空侧对空侧巴士增强航空网络以加强系统在中断下的韧性

Micah M. Borrero, Max Z. Li

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出通过空侧对空侧巴士替代短途区域航班，重构航空网络拓扑以主动提升韧性，模拟显示在1000万美元预算下转换10条航线可减少8%中断日和6%正常日的旅客延误。

ChartWalker: Benchmarking the Cross-Chart RAG Task with Hierarchical Knowledge Graphs

ChartWalker: 跨图表RAG任务的基准测试

Ning Tang, Chenghan Xie, Hanyang Yuan, Yi Li, Renhong Huang, Qian Kou, Xiaofeng Shi, Hua Zhou, Jiarong Xu

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出ChartWalker框架，通过层次化知识图谱和结构感知采样生成跨图表RAG基准，揭示现有方法性能差距。

Simulating Public Transit Fare Policies in NYC: An Efficient, Socioeconomic-Aware Framework

模拟纽约市公共交通票价政策：一个高效、社会经济感知的框架

Parker Wischhover, Hossein Amiri, Kiara Ha, Jooyoung Yoo, Lina Li, Andreas Züfle, Joon-Seok Kim

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出一个可扩展的数据驱动仿真框架，集成合成人口、智能体仿真、多模式出行时间估计和票价敏感模式选择模型，评估纽约市多种票价政策对客流量、收入与公平性的影响。

Comments 10 pages, 10 figures, submitted to SIGSPATIAL'26

UNSEEN: Uncertainty-aware Navigation via Sparse Estimation in Unknown Environments

UNSEEN: 未知环境中基于稀疏估计的不确定性感知导航

Tommaso Faraci, Marco Camurri, Daniele Fontanelli, Luigi Palopoli

机构 * University of Trento（特伦托大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出UNSEEN框架，仅用前视相机通过稀疏地图与位姿不确定性估计，联合优化任务进度与估计精度，在未知环境中实现鲁棒导航，相比现有方法定位误差降低9.8%，估计精度提升45%。

Empowering Embodied AI in 6G Networks: Architecture, Enablers, and Open Challenges

赋能6G网络中的具身人工智能：架构、使能技术与开放挑战

Junaid Sajid, Sheikh Salman Hassan, Wenshuai Liu, Yan Kyaw Tun, Yaru Fu, Nguyen H. Tran, Zhu Han, Cedomir Stefanovic, Tharmalingam Ratnarajah, Muhammad Mahtab Alam

机构 * Thomas Johann Seebeck Department of Electronics（托马斯·约翰·塞贝克电子系） ； Tallinn University of Technology（塔林理工大学） ； Institute for Imaging, Data and Communication (IDCoM)（成像、数据与通信研究所） ； The University of Edinburgh（爱丁堡大学） ； School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院） ； Jiangnan University（江南大学） ； School of Science and Technology（科学与技术学院） ； Hong Kong Metropolitan University（香港 metropolitan 大学） ； Department of Electronic Systems（电子系统系） ； Aalborg University（奥胡斯大学） ； School of Computer Science（计算机科学学院） ； University of Sydney（悉尼大学） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； University of Houston（休斯顿大学） ； San Diego State University（圣地亚哥州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出面向6G的具身AI原生架构，通过感知-通信-动作闭环统一设计通信、感知、计算与控制，实现任务驱动的物理智能。

Comments This work has been submitted to the IEEE Communication Magazine for possible publication

One-to-Two Acting: A Novel Framework for Single-arm Agent Action Expansion to Dual Arms

一对二执行：一种面向单臂智能体动作扩展至双臂的新框架

Youbin Yao, Nieqin Cao, Mingyan Li, Yan Ding, Fuqiang Gu, Chao Chen

机构 * Chongqing University（重庆大学） ； Xi’an Jiaotong-Liverpool University（西交利物浦大学） ； Lumos Robotics 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出ExS2D层次化动作扩展框架，利用单臂监督实现双臂操作，通过时间优先关系提取、子任务引导动作映射和碰撞避免协调规划，在仿真中减少54.4%执行步骤并保持成功率。

Comments 6 pages, 5 figures, 3 tables

A Mixed-Reality Testbed for Autonomous Vehicles

自动驾驶汽车的混合现实测试平台

H. M. Sabbir Ahmad, Ehsan Sabouni, Emrullah Celik, Zean Wan, Damola Ajeyemi, Christos G. Cassandras, Wenchao Li

机构 * Division of Systems Engineering（系统工程系） ； Boston University（波士顿大学） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出一种混合现实硬件在环测试平台，集成物理移动机器人与高保真仿真环境，用于验证感知、规划和控制算法，并支持多智能体系统研究。

Comments 9 pages, 7 figures, 1 table

ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation

ThinkingVLA：用于机器人操作的交叉视觉与语言推理

Tianyi Lu, Hui Zhang, Zijie Diao, Junke Wang, Shengqi Xu, Xingyao Lin, Guojin Zhong, Ziyi Ye, Peng Wang, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） 纠错

专题命中 多模态Agent ：cross-modal(abstract)

AI总结 提出ThinkingVLA，通过统一的多Transformer架构实现前向与逆向推理交织，显著提升长时域操作任务性能。

VL2Spike: Spike-driven Distillation from VLMs for Low-Power Visual Perception in Embodied AI

VL2Spike：面向具身AI低功耗视觉感知的VLM脉冲驱动蒸馏

Zinan Liu, Eric Zheng, Soumyaratna Debnath, Hao Shi, Ling Xiao, Lin Wang

机构 * School of EEE, Nanyang Technological University (NTU)（南洋理工大学电气与电子工程学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Advanced Micro Devices, Inc.（超威半导体公司） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光子学与仪器国家重点实验室） ； Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出VL2Spike框架，通过时空视觉脉冲蒸馏和脉冲原型引导语言蒸馏，将VLM多模态知识迁移至Spikformer，在静态数据集上提升6.81%性能且能耗仅15.7%，并显著增强机器人视觉地点识别能力。

Comments 9 pages, 4 figures, 8 tables

Vision-Language-Action Models Meet World Models: Embodied Agentic AI for Low-Altitude Wireless Networks

视觉-语言-动作模型遇见世界模型：面向低空无线网络的具身智能体AI

Feibo Jiang, Li Dong, Lei Mao, Kezhi Wang, Cunhua Pan, Dong In Kim, Naofal Al-Dhahir

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出具身智能体无人机框架，以VLA模型为核心实现端到端决策，引入世界模型建模环境动态，通过记忆与反射机制形成闭环优化，实现低空无线网络的鲁棒自主控制。

LUNA-AD: Lightweight Uncertainty-Aware Language Model with Lifelong Learning for Autonomous Driving

LUNA-AD: 面向自动驾驶的轻量级不确定性感知语言模型与终身学习

Ruoyu Yao, Pei Liu, Ruiguo Zhong, Mingxing Peng, Rui Yang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出LUNA-AD，一种结合三系统架构、多智能体分析、双头轻量模型和反思驱动终身学习的轻量级不确定性感知语言模型，在nuPlan上实现高成功率与低推理延迟。

Comments 16 pages,9 figures

A Model Merging Approach for Continual MLLM Unlearning

面向持续多模态大语言模型（MLLM）遗忘的模型合并方法

Yuhang Wang, Linlin Zhang, Haoxuan Ji, Xianmin Ye, Zhenxing Niu, Haichang Gao

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 针对现有MLLM遗忘方法无法应对持续场景的问题，本文提出MCU方法，通过动态合并遗忘适配器缓解跨任务依赖的干扰，在多个基准测试中实现了更优的遗忘效果与知识保留。

Comments 17 pages, 5 figures

LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference

LAST：最后一个查询令牌指导视觉令牌剪枝用于边缘-云协作多模态大语言模型（MLLM）推理

Feng Yang, Xinrui Ju, Keyang Zhang, Xiandong Meng, Rongqun Lin, Howard Leung, Shiqi Wang, Haoliang Li, Chris Xing Tian

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出无训练框架LAST，利用边缘侧VLM的最后查询令牌注意力实现查询感知视觉令牌剪枝，在11个多模态基准上以12.5%视觉令牌保留率维持95.4%全令牌准确率，降低边缘和云侧开销。

Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective

从费舍尔信息视角理解和克服多模态异常检测中的跨模态融合偏差

Kaifang Long, Lianbo Ma, Liming Liu, Guoyang Xie

机构 * Northeastern University（东北大学） ； CATL（宁德时代） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态异常检测中被忽视的跨模态融合偏差问题，提出即插即用框架UCFB，经实验验证在多种设置下均实现性能提升。

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

Geometric Cross-Modal Token Selection for Latency-Constrained Multimodal Token Communication

面向延迟约束多模态令牌通信的几何跨模态令牌选择

Joohyuk Park, Junyong Shin, Yongjeong Oh, Jihong Park, Yo-Seb Jeon

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；audio-visual(abstract)

AI总结 该研究针对延迟约束多模态令牌通信问题，提出基于几何的跨模态令牌选择框架及IBS、R-IBS策略，在VQA和AVQA任务上实现了显著的准确率提升。

HCIG: A Hierarchical Cross-Modal Incongruity Graph Network for Multimodal Sarcasm and Cyberbullying Detection

HCIG：用于多模态讽刺和网络欺凌检测的分层跨模态不协调图网络

Bhavana Verma, Priyanka Meel, Dinesh Kumar Vishwakarma

机构 * Delhi Technological University（德里理工大学） ； Multimodal Data Analytics Research Laboratory（多模态数据分析研究实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态讽刺和网络欺凌检测难题，提出HCIG框架，利用图注意力网络在不同层面建模跨模态不协调并整合，引入GCCN辅助推理。实验表明该方法在相关数据集上表现出色，分层多粒度建模比传统策略更有效。

M3F-UAV: A Missing-Modality Multimodal Foundation Model for Low-Altitude Wireless Sensing

M3F-UAV：一种用于低空无线传感的缺失模态多模态基础模型

Pengxuan Gao, Kai Ying, Botao Wu, Jianhua Mo, Qingsong Wen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)

AI总结 针对复杂环境下单模态模型可靠性低的问题，提出M3F-UAV模型，通过特定模态预训练特征提取器、跨模态融合及缺失模态感知预训练，从多观测中学习统一表示，在LAMBDA数据集实验中性能优于单模态基线且在缺失模态下稳健。

RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification

RespiraMFM：一种用于呼吸道疾病识别的对比音频-语言对齐多模态基础模型

Shakhrul Iman Siam, Tiantian Feng, Jiankun Zhang, Shrikanth Narayanan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Southern California（南加州大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)

AI总结 提出RespiraMFM多模态基础模型，通过对比音频-文本对齐策略整合呼吸音与临床信息，在监督和零样本任务中分别提升AUROC 9.15%和20.98%。

Comments ACL 2026 Main Conference

Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards

多模态大语言模型的演进安全态势：新兴威胁与防护措施综述

Xi Li, Shu Zhao, Xiaohan Zou, Fei Zhao, Fuxiao Liu, Yusen Zhang, Cheng Han, Yushun Dong, Jiaqi Wang

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； NVIDIA（英伟达公司） ； Penn State University（宾夕法尼亚州立大学） ； Columbia University（哥伦比亚大学） ； University of Missouri-Kansas City（密苏里大学堪萨斯分校） ； Florida State University（佛罗里达州立大学） ； Auburn University（奥本大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)

AI总结 本综述针对多模态大语言模型（MLLMs）的新型安全威胁，提出多模态安全威胁分类法，梳理安全策略进展，探讨未来安全机制的研究方向。

Comments Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI

Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training

驯服隐式：面向持续多模态后训练的双通道风险感知强化微调

Yibei Liu, Jiajun Chen, Qianle Zhang, Tangyue Jin, Mengying Zhu, Meng Xi, Yangyang Wu

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 针对持续多模态后训练中RFT算法在任务分布偏移下遗忘加剧的问题，提出双通道风险感知强化微调框架RAPO，通过策略与数据通道的风险管控降低遗忘，在MLLM-CL基准上使遗忘减少79.8%且保留新任务竞争力。

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

先看后思：解耦感知与推理以实现抗捷径的多模态在策略自蒸馏

Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人与智能系统国家重点实验室，沈阳自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV

AI总结 提出ViGOS框架，通过解耦感知和推理，在MLLM后训练中避免文本捷径，提升图像依赖行为。

Comments 29 pages, 5 figures, 8 tables; Project page: https://oedosoldier.github.io/ViGOS/

Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

强制延迟：在多模态大语言模型级联中操纵路由决策

Zhongye Liu, Yaopei Zeng, Yurui Chang, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 提出强制延迟攻击（FDA），通过对抗性图像攻击降低弱模型置信度，迫使级联系统将查询路由到强模型，揭示了MLLM级联在计算分配上的安全漏洞。