多模态大模型

CompCPZ: Preserving Multi-Modal Intent in Language-Guided Robot Manipulation

CompCPZ：在语言引导的机器人操作中保留多模态意图

Zhen Zhang, Ahmad Hafez, Peng Xie, Yanliang Huang, Wenyuan Wu, Amr Alanwar

机构 * School of Computation, Information and Technology（计算、信息与技术学院） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)

AI总结 CompCPZ是一种用于语言引导机器人操作的代数层，可恢复多模态析取表示，在ManiSkill3基准测试中性能优于多种基线，且能迁移至真实机器人实验，凸显组合语言接地需评估意图连通分量结构。

Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models

跨语音与面部的情感：多模态基础模型中的共享情感机制

Xiutian Zhao, Luqi Sun, Björn Schuller, Berrak Sisman

机构 * Center for Language and Speech Processing (CLSP), Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心） ； Group on Language, Audio & Music (GLAM), Imperial College London（伦敦帝国理工学院语言、音频与音乐组） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)；分类 cs.CL、eess.AS

AI总结 该研究在Gemma-4-12B-it等3款多模态基础模型中识别出情感敏感神经元，发现语音与面部情感识别的表征在解码器级部分汇聚，且存在双向因果迁移，为跨模态情感机制提供了新分析。

Comments 9 pages, 4 figures

UniVerse: Benchmarking and Enhancing LALMs on Culturally Inclusive Low-Resource Music Understanding

UniVerse：针对文化包容性低资源音乐理解的基准测试与增强

Ziya Zhou, Shangda Wu, Shenyang Xu, Yutong Zheng, Dafang Liang, Suin Chung, Danbinaerin Han, Junyan Jiang, Yongyi Zang, Ruibin Yuan, Rongxiu Zhong, Shilei Zhang, Junlan Feng, Jinglei Liu, Haotian Zhou, Zijin Li, Dasaem Jeong, Wei Xue, Yike Guo

机构 * Sogang University（西江大学） ； KAIST（韩国科学技术院） ； NYU Shanghai（上海纽约大学） ； JIUTIAN Research, China Mobile（中国移动九天研究院） ； The State Key Laboratory of Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） ； China Mobile (Hong Kong) Innovation Research Institute（中国移动（香港）创新研究院） ； Central Conservatory of Music（中央音乐学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 该研究针对低资源音乐理解问题，推出UniVerse基准与数据集，训练LALMs并研究多模态不平衡学习策略，实现性能提升但仍存在深层音乐理解的差距。

Comments 21 pages, 7 figures, 8 tables

On computational approaches to Pop music culture

流行音乐文化的计算研究方法

Arthur Flexer

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.MM

AI总结 该文提出流行音乐文化的计算研究需采用多模态方法，综述相关量化研究并指出其存在的多模态方法匮乏等问题，勾勒出绘制歌词主题图谱等三个未来研究方向。

Comments 18 pages, 1 figure

Uncertainty-Aware Decision Making in Multimodal Large Language Models

多模态大语言模型中的不确定性感知决策

Abderrahmene Boudiaf, Irfan Hussain, Sajid Javed

机构 * Khalifa University of Science and Technology（哈利法科技大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本调查围绕决策中心框架，综述多模态大语言模型（MLLMs）的不确定性感知决策相关研究，对比同类调查并指出源感知分解等开放问题，核心是不确定性需改善多模态证据下的系统行为。

Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study

使用多模态语言模型对TikTok上的有害内容暴露情况进行审计：一项跨国、按年龄分层的研究

Hamidreza Saffari, Francesco Pierri

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本研究使用多模态大语言模型Gemini 2.5 Flash，在法、意、瑞三国对TikTok开展跨国年龄分层审计，发现关键词搜索会大幅提升有害内容占比，意国各年龄组有害内容占比最高，平台安全过滤器低估了明确有害内容。

Comments 20 pages, 16 figures, 14 tables. Accepted to Findings of EMNLP 2026

MultiSigBERT: Beyond Survival Analysis through Multimodal and Sequential Modeling in Oncology

MultiSigBERT：肿瘤学中超越生存分析的多模态与序列建模

Paul Minchella, Stéphane Chrétien, Guillaume Metzler, Loïc Verlingue, Rémi Vaucher

机构 * Université Lumière Lyon 2（里昂第二大学） ； Léon Bérard Center（莱昂·贝拉尔中心） ； EPITA（EPITA（法国高等计算机与技术学院）） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本研究提出基于路径特征表示的多模态序列生存建模框架MultiSigBERT，结合电子健康记录的多模态数据与时间特性，在含2500余名患者的肿瘤队列上取得0.743的一致性指数，提升了生存预测性能。

Comments Accepted at ECML PKDD 2026, Applied Data Science Track

Revisiting neutrino event epochs for the blazar PKS 0735+178 with TESS

利用TESS重新研究耀变体PKS 0735+178的中微子事件时期

Shubham Kishore, Alok C. Gupta, Debanjan Bose

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 本文利用TESS观测耀变体PKS 0735+178的周级耀发，分析其光学光变特性，探讨该源光学变异性与同期中微子事件的可能关联，为其光学流量行为提出物理场景。

Comments Accepted for publication in ApJ, 13 pages, 6 figures, 1 table

Mr.Dec: Daily-Scale Longitudinal Multimodal Modeling for 30-Day Readmission Prediction

Mr.Dec：用于30天再入院预测的日尺度纵向多模态建模

Minjun Kim, Jong Hak Moon

机构 * Yeji X 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本研究提出Mr.Dec模型，通过Transformer解码器整合每日EHR与CXR数据，结合疾病特异性监督对比学习，在MIMIC-IV等数据集上实现30天再入院预测的SOTA性能，还可识别住院关键天数提供临床解释。

Comments MICCAI 2026 MultiTab Workshop Oral

Expressivity In Multimodal Contrastive Learning

多模态对比学习中的表达能力

Andrew Stuart, Florian Wolf

专题命中 跨模态检索 ：multimodal(title)

AI总结 该研究针对多模态对比学习的表达能力展开分析，明确CLIP架构的表达能力随模态数量变化，提出Hadamard-CLIP模型，实现任意数量模态联合分布的通用近似且保留CLIP的检索优势。

AutoResearch: Insight In, Hallucination Out

AutoResearch：输入洞见，输出无幻觉

Yiming Ren, Xiang Liu, Qumeng Sun, Xiao Zhang, Jiahao Li, Haoyang Zhang, Junjie Wang

机构 * EvoMap（伊沃地图） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 AutoResearch是两阶段自主研究系统，通过创意生成与执行结合，在多场景提升研究进展，修正实验结果，在RSICD基准上召回率提升且问题事件更少。

Health Inquiry with AI: How Empathetic Expression and Conversational Contexts Shape Users' Communicative Acts

AI辅助健康咨询：共情表达与对话语境如何影响用户的沟通行为

Xi Zheng, Xuyu Yang, Can Liu, Yuhan Luo

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 该研究通过2×2×3被试内实验，发现对话语境对用户沟通行为的影响远大于共情表达模态，为构建语境感知的AI健康咨询系统提供设计依据。

Comments 5 pages, 2 figures. To appear in UbiComp Companion 2026 (October 11-15, 2026, Shanghai, China)

SCENARIODIFF: A Scenario-level Guidance Framework for Multimodal Time Series Forecasting--Extended Version

SCENARIODIFF：面向多模态时间序列预测的场景级引导框架——扩展版

Tuan-Binh Tran, Dat Nguyen Cong, Duc-Trong Le, Thanh Trung Huynh, Tung Kieu

机构 * VinUniversity ； FPT Software AI Center, FPT Corporation（FPT软件AI中心，FPT集团） ； VNU University of Engineering and Technology（VNU工程技术大学） ； Aalborg University（奥尔堡大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 该研究针对现有多模态时间序列预测方法上下文影响难解释控制的问题，提出SCENARIODIFF分层框架，通过三类智能体生成结构化信号引导多模态扩散Transformer，锚点混合采样优化轨迹，在Time-MMD基准的事件驱动领域表现优异。

Comments 10 pages. An extended version of "SCENARIODIFF: A Scenario-level Guidance Framework for Multimodal Time Series Forecasting" accepted at ICDM 2026

Where a New Concept Must Enter: Entry Point Gates Cross-Task Usability in Unified Multimodal Models

新概念必须进入之处：统一多模态模型中的入口门跨任务可用性

Zongyang Qiu, Yihan Wu, Kaixuan Fan, Bo Li, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Columbia University（哥伦比亚大学） ； CUHK（香港中文大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究通过分离统一多模态模型的理解与生成任务方向，发现跨任务可用性取决于概念绑定的入口层，提出的对齐目标可在极低损失下实现概念跨任务迁移。

Comments 27 pages, 10 figures

COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models

COMIC：面向多模态大语言模型的参考感知安全门控

Md Abdullahil Oaphy, Anhao Xiang, Zongxing Xie, Huayue Gu, Chenyu Wang, Honghui Xu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究针对多模态大语言模型的参考依赖型安全缺陷，提出COMIC参考感知安全门控，通过解析操作-目标对评估安全性，提升了模型鲁棒性且保留良性效用。

From Corpora to Co-Evolving Capabilities: Capability-Centric Data Design for Generalist Image Generation

从语料到协同进化的能力：面向通用图像生成的以能力为中心的数据设计

Xingjian Wang, Zhao Wang, Taihang Hu, Jun Zheng, Qing Jin, Qinye Zhou, Zhengtao Wu, Yongchao Du, Zuan Gao, Chao Lin, Yefeng Shen, Xiaoli Xu, Zhengze Xu, Hao Yan, Yuhang Yu, Mingzhou Zhang, Mengting Chen

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出能力驱动的数据基础设施，构建三类监督引擎，整理大规模图像语料，训练多模态扩散模型，在CPI-Bench等评估中展现良好生成与迁移能力。

Comments 19 pages, 10 figures

Electromagnetic World Model for 6G: A Unified Framework for Joint Environment Reconstruction and Channel Prediction

面向6G的电磁世界模型：环境重建与信道预测的统一框架

Yizhu Zhao, Li Yu, Jianhua Zhang, Yuxiang Zhang, Zhen Zhang, Guangyi Liu

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 该研究针对6G智能终端需同时实现环境感知与通信的需求，提出EMWM统一框架，融合多模态信息完成信道预测与环境重建，性能优于基线方法，具备鲁棒性与零样本泛化能力。

Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges

多轮对话式AI：从文本到多模态交互——数据、模型、评估与开放挑战

Syeda Faiza Ahmed, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Firoj Alam, Shammur Absar Chowdhury

专题命中 多模态评测 ：multimodal(title,abstract)；omni-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究综述多轮对话式AI的发展现状，梳理其在数据、模型等方面的进展，指出多模态交互能力提升但存在记忆等短板，并提出相关研究议程。

Comments Multi-turn Conversational AI; Multimodal Dialogue; AudioLLMs; Conversational Memory; Tool-Augmented Agents; Dialogue Evaluation

BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models

BEAR-Bench：面向多模态模型的双语企业与学术推理基准

Liubov Chubarova, Alexandra Kuleshova, Daniil Volkov, Kirill Sultanov, Alexey Zaytsev

机构 * Yandex Applied AI Institute（Yandex应用人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文针对多模态大语言模型在文本密集专业文档推理能力评估的不足，推出英俄双语的BEAR-Bench基准，评估16个多模态大语言模型并对比幻觉检测方法，发现最强模型仍有明显性能提升空间。

CFB-GBM v2.0: An Augmented Longitudinal Dataset for Multi-Modal Glioblastoma Segmentation, Radiomics, and RANO Progression Tracking

CFB-GBM v2.0：用于多模态胶质母细胞瘤分割、放射组学及RANO进展追踪的增强纵向数据集

Alexandre G. Leclercq, Noémie N. Moreau, Hugo Audebert, Andros Nassar, Thomas Cochin, Thomas Leleu, Loïc Le Henaff, Alexis Desmonts, Yoann Poirier, Aurélie Dubru, Laura Guillemette, Pascal Lecoeur, Kévin Lemasson, Cyril Jaudet, Sébastien Bougleux, Romain Hérault, Carole Brunaud, Samuel Valable, Dinu Stefan, Charlotte Raboutet, Alain Batalla, Joëlle Lacroix, Roman Rouzier, Aurélien Corroyer-Dulmont

机构 * Centre François Baclesse（弗朗索瓦·巴克莱斯中心） ； Université de Caen Normandie（卡昂诺曼底大学） ； ENSICAEN（卡昂高等工程师学院） ； GREYC（格雷计算机科学研究中心） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文发布增强版CFB-GBM v2.0纵向数据集，含264名GBM患者数据，完成所有时间点GTV勾画（完成率达97%），提供相关标注、特征及WHO分类信息，可用于多模态GBM相关研究。

Comments 9 pages, 2 figures,

PRISM: Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing

PRISM：具备多模态感知的高精度高接触真实工业技能数据集

Tengbo Yu, Jiahao Wu, Hanning Wang, Rui Chen, Chuanhou Liu, Chuang Sun, Hangxin Liu

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室） ； Delta Intelligence（三角洲智能公司） ； PKU-Wuhan Institute for Artificial Intelligence（北京大学武汉人工智能研究院） ； Hubei Humanoid Robot Innovation Center Co., Ltd.（湖北人形机器人创新中心有限公司） ； China Academy of Information and Communications Technology（中国信息通信研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 本文介绍PRISM——一个面向高接触工业操作的大规模多模态数据集，涵盖25余项操作任务，包含5000余条共45小时的遥操作演示，为高精度工业场景的多模态感知与控制提供真实基准。

SpeechSense: A Paralinguistic-Focused Dataset for Fine-Grained Speech Sentiment Analysis

SpeechSense：面向细粒度语音情感分析的副语言聚焦数据集

Shicheng Ma, Wenqian Cui, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL、cs.MM

AI总结 本文针对现有语音情感分析研究的两大局限，构建了副语言聚焦的细粒度语音情感分析数据集SpeechSense，实验证实具备声学信息的模型性能优于纯文本基线，凸显了声学线索的重要性。

Comments 7 pages, 2 figures, 5 tables. Accepted to ACM Multimedia 2026 (Dataset Track). Dataset and code: this https URL (https://github.com/Sher13cked/SpeechSense)

SE-MoLoRA: Shared-Expert LoRA Adapters for Domain-Specific Photographic Assessment

SE-MoLoRA：用于特定领域摄影评估的共享专家LoRA适配器

Bishwash Khanal, Anlan Zhang, Sasu Tarkoma, Tommi Mikkonen, Abhishek Kumar

机构 * Faculty of Information Technology（信息技术学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Adobe Research（奥多比研究院） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出SE-MoLoRA框架，通过共享LoRA专家与路由适配器解耦通用摄影知识和专业判断，在摄影评论生成任务上显著提升BERTScore-F1，且更受偏好、参数更少。

The 10th AI City Challenge

第10届AI City挑战赛

Zheng Tang, Shuo Wang, David C. Anastasiu, Ming-Ching Chang, Anuj Sharma, Quan Kong, Munkhjargal Gochoo, Jun-Wei Hsieh, Tomasz Kornuta, Zhedong Zheng, Renran Tian, Judah Goldfeder, Fulgencio Navarro, Yuxing Wang, Yizhou Wang, Sameer Satish Pusegaonkar, Anqi Li, Nalin Dadhich, Ridham Kachhadiya, Dhanishtha Patil, Haoquan Liang, Jiajun Li, Han Zhang, Yilin Zhao, Zaid Pervaiz Bhat, Shuyu Yang, Ashutosh Kumar, Rong Wang, Rafael Martin Nieto, Peter Christiansen, Ahmed Abduljawad, Mohanrasu Shanmugam, Nadeem Shaik, Sujit Biswas, Xunlei Wu, Vidya Murali, Rama Chellappa

机构 * Santa Clara University（圣克拉拉大学） ； University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； Iowa State University（爱荷华州立大学） ； Woven by Toyota（丰田编织公司） ； United Arab Emirates University（阿拉伯联合酋长国大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； University of Macau（澳门大学） ； North Carolina State University（北卡罗来纳州立大学） ； Columbia University（哥伦比亚大学） ； Milestone Systems（里程碑系统公司） ； Xi’an Jiaotong University（西安交通大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文总结了与ECCV 2026同期举办的第10届AI City挑战赛的设置、数据集、评估结果等，该赛事规模扩大，设多类赛道，成功系统结合基础模型与多种技术。

Comments Summary of the 10th AI City Challenge Workshop in conjunction with ECCV 2026

Scalix: Uncertainty-Aware Scale-Consistent Monocular SLAM

Scalix：感知不确定性的尺度一致单目SLAM

Sebastian Barbas Laina, Tianyi Zhang, Panagiotis Petropoulakis, Simon Schaefer, Simon Boche, Jaehyung Jung, Cedric Le Gentil, Stefan Leutenegger

机构 * University of Technology, Sydney（悉尼科技大学） ； Centre for Autonomous Systems（自主系统中心） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文提出实时单目SLAM框架Scalix，通过整合带不确定性的学习深度线索到概率因子图，实现度量尺度估计，在多环境基准上性能领先且实时泛化。

Comments 8 pages, 5 figures and 3 tables

Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies

检索前先复用：诊断具身多模态策略测试时增强的余量与互补性

Yuhwan Jeong, Kuk-Jin Yoon

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态Agent ：multimodal(title)

AI总结 该研究提出通过可恢复余量与检索互补性两个因素，为具身多模态冻结 VLA 策略的测试时增强选择采样或检索干预，在 LIBERO 上成功提升最高 21.0 个百分点，且可迁移至其他机器人与环境。

Comments Accepted to ECCV 2026 workshop

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

Co-RL：多智能体强化学习中多样群体涌现的无监督推理

Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li

机构 * University of Exeter（埃克塞特大学） ； ByteDance（字节跳动） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出Co-RL框架，通过参数不共享的多智能体协作训练，利用同伴奖励减少对真实标注的依赖，提升纯文本及多模态任务的推理性能，缓解训练崩溃与响应同质化问题。

Comments 30 pages, 5 figures, 11 tables

Teach and Grow: An Agent-Centered Architecture for General Robot Learning

教学与成长：面向通用机器人学习的智能体中心架构

Chang Nie, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出TGL智能体中心架构，通过将演示转化为可复用技能块，无需特定任务再训练即可实现通用机器人学习，在LIBERO评估中达SOTA性能，还提出相关缩放定律假设。

DeAR: Decentralized Agentic Reasoning via Capability Grounding and Collaborative Thought Navigation

DeAR：基于能力锚定与协作思维导航的去中心化智能体推理

Xing Wei, Changmeng Zheng, XiaoYong Wei, Xiufen Ye, Qing Li

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有智能体推理系统的路由瓶颈与静态角色分配问题，提出DeAR框架，通过三种机制实现去中心化协作，在9类基准测试中性能优于基线方法，提升了知识密集型推理任务的准确性。

S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection

S³AM：一种用于多模态显著目标检测的、具备可靠性校准频率适配器的单流SAM

Ruichao Hou, Boyue Xu, Tongwei Ren, Dongming Zhou, Gangshan Wu, Jinde Cao

机构 * China Pharmaceutical University（中国药科大学） ； Nanjing University（南京大学） ； Yunnan University（云南大学） ； Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对多模态显著目标检测的冗余计算问题，提出融合可靠性校准频率适配器的单流SAM框架，仅用12.20M参数即实现竞争力性能，相关代码将公开。