多模态大模型

CT-CLIP Representations for Multimodal Lung Cancer Survival Prediction

用于多模态肺癌生存预测的CT-CLIP表示

Sofie Allgöwer, Mikael Johansson, Andreas Hallqvist, Jonas Andersson, Åse Johnsson, Ida Häggström, Jennifer Alvén

机构 * Chalmers University of Technology（查尔姆斯理工大学） ； Umeå University（于默奥大学） ； Sahlgrenska University Hospital（萨尔格伦斯卡大学医院） ； Sahlgrenska Academy at Gothenburg University（哥德堡大学萨尔格伦斯卡学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究评估特定领域基础模型CT-CLIP用于肺癌多模态生存预测，通过多种策略提取特征，结果显示冻结的CT-CLIP模型结合可训练生存头表现出色，能有效区分高低风险组。

Comments 8 pages, 2 figures

When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

当结构化稀疏自编码器跨模态学习一致概念时

Weiduo Liao, Yunqiao Yang, Ying Wei

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中普通稀疏自编码器难以学习模态一致概念的问题，提出结构化稀疏自编码器$S^2AE$，通过图像块分组及结构化稀疏正则化强化概念一致性，经实验验证该方法在语义对齐等方面有提升，能促进跨模态表示更连贯解缠。

AUTOPILOT VQA: Benchmarking Vision-Language Models for Incident-Centric Dashcam Understanding

自动驾驶视觉问答：以事件为中心的行车记录仪理解视觉语言模型基准测试

Siddharth Damodharan, Radhika Gupta, Ali Alshami, Ryan Rabinowitz, Jugal Kalita

机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） ； University of Michigan（密歇根大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对评估视觉语言模型对安全关键事件推理能力的挑战，提出AUTOPILOT-VQA基准，通过围绕真实驾驶事件的结构化问题评估系统，涵盖多安全相关类别，推动向安全意识推理发展，为自动驾驶系统评估提供标准，助力相关视觉语言系统开发。

Comments CVPR Autopilot Workshop

Attribute Retrieving for Open-Vocabulary Endoscopic Compositional Referring Segmentation

用于开放词汇量内镜组合式指称分割的属性检索

Shun Liu, Nan Xi, Yang Liu, Tianyu Luan, Xuan Gong, David Doermann

机构 * Virginia Commonwealth University（弗吉尼亚联邦大学） ； King’s College London（伦敦国王学院） ； University at Buffalo（纽约州立大学布法罗分校） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 该研究针对内镜图像指称分割面临的挑战，引入ReferEndoscopy基准，提出AR-ERIS框架，利用属性检索进行开放词汇量内镜组合式指称分割，在模拟和真实内镜数据上实现最优性能且泛化能力强。

FSD-VLN: Fast-Slow Dual-System Modeling for Aerial Long-Horizon Vision-Language Navigation

FSD-VLN：用于空中长距离视觉语言导航的快慢双系统建模

Xueke Zhu, Qingyan Meng, Liutao Yu, Wei Zhang, Zhengyu Ma, Huihui Zhou, Yonghong Tian

机构 * Pengcheng Laboratory（鹏城实验室） ； Shenzhen Institutes of Advanced Technology（中国科学院深圳先进技术研究院） ； Peking University（北京大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究空中长距离视觉语言导航问题，提出FSD-VLN快慢双系统架构，将语义推理与低延迟飞行命令解耦，通过两个异步分支及时间感知自适应优化器实现，实验表明该方法提升导航成功率，减少推理延迟和运行时间。

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

跨视觉、语言、视频和音频的多模态遗忘：方法、数据集和基准的综述

Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 综述跨视觉、语言、音频和视频的多模态遗忘，基于相关进展等提供统一视角，通过分类法系统比较模型架构和模态，阐明权衡，强调开放问题与实际考虑，支持未来研究与部署，并发布存储库。

Comments Accepted to ACL Findings 2026

VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness

VSRo-200：用于研究监督和多模态鲁棒性的罗马尼亚语视觉语音识别数据集

Iulia-Maria Udrea, Alexandra Diaconu, Bogdan Alexe

机构 * University of Bucharest（布加勒斯特大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文介绍罗马尼亚语视觉语音识别数据集VSRo-200，通过伪标签和人工转录注释样本，建立低资源视觉语音识别基准。研究监督质量影响，评估域转移鲁棒性及噪声下视听语音识别，证明其表示可转移至其他基准，为相关研究提供新测试平台。

Multimodal Digital Biomarker for Asthma: Complementary Roles of Vocal, Clinical and Demographic Factors

用于哮喘的多模态数字生物标志物：声音、临床和人口统计学因素的互补作用

Vladimir Despotovic, Milena Despotovic, Abir Elbeji, Petr V. Nazarov, Guy Fagherazzi

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 研究针对哮喘诊断依赖传统方法、声音生物标志物缺乏临床背景整合的问题，提出多模态专家混合框架，结合声学嵌入与临床人口数据，在匹配队列上评估，模型性能优，还通过分析揭示不同症状个体特征依赖差异，支持哮喘筛查。

Cross-Modal Generative Framework for Signal Translation from Fetal-Maternal Electrocardiograms to Fetal Doppler Waveforms

用于从胎儿-母亲心电图到胎儿多普勒波形信号转换的跨模态生成框架

Tongli Su, Alireza Rafiei, Marly van Assen, Reza Sameni, Gari D. Clifford, Faezeh Marzbanrad, Nasim Katebi

机构 * Emory University（埃默里大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Monash University（莫纳什大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)

AI总结 该研究针对胎儿-母亲心血管系统关系建模问题提出跨模态生成框架，结合扩张卷积、跨模态注意力及自注意力，经训练可从双导联心电图合成多普勒包络，降低误差，量化母婴耦合贡献，推进了相关计算建模及胎儿评估。

Comments Accepted for oral presentation at IEEE EMBC 2026. 7 pages

Pose-to-Biomechanics: Bridging 3D Human Pose Estimation and Biomechanical Attribute Prediction

姿态到生物力学：连接3D人体姿态估计与生物力学属性预测

Ayda Eghbalian, Kevin Desai

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在连接3D人体姿态估计与生物力学属性预测。提出BioModule轻量级插件式时间变压器，连接在3D姿态估计器下游预测生物力学属性，无需修改上游模型。构建数据集训练评估，在七个先进姿态估计器上基准测试，成为两者间紧凑模块化桥梁。

Comments 23 pages, 2 figures

Behavior Foundations for Quadruped Robots: ABot-C0 Technical Report

四足机器人的行为基础：ABot-C0技术报告

Xufeng Zhao, Fuzhi Yang, Jianhui Chen, Li Gao, Zhang Meng, Jie Gao, Yao Zheng, Congyang Zhao, Tianxiong Lv, Menglin Yang, Minqi Gu, Yaru Zhao, Wenyu Liu, Honglin Han, Shihui Su, Zixiao Tang, Liu Liu, Mu Xu, Yang Cai, Wenbin Tang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究聚焦四足机器人运动控制，提出ABot-C0通用系统，构建数据金字塔生成运动片段，训练流匹配通用策略展示跟踪缩放定律，采用特定框架推动全地形遍历运动，经实验验证其能让四足机器人迈向产品级行为智能。

Comments Abot-C0 project page will be released soon

How YouTube Frames ChatGPT Use in Education: An Epistemic Network Analysis with Supporting Multimodal Metadata

YouTube如何构建教育领域中ChatGPT的使用：基于支持多模态元数据的认知网络分析

Shayla Sharmin, Mohammad Al-Ratrout, Mohammad Fahim Abrar, Roghayeh Leila Barmaki

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究通过多模态元数据分析教育类YouTube视频中ChatGPT的使用，识别出三个话语组，发现不同组在构建方式、观众反应和平台影响力上有差异，揭示了自主AI学习中优先快速输出与促进深度参与内容的差距及相关问题。

Comments This paper has been accepted in ICMI 2026 and will be presented in October

Journal ref In Proceedings of the 28th ACM International Conference on Multimodal Interaction (ICMI '26), Napoli, Italy, October 2026

MatBind: A Shared Embedding Space for Multimodal Materials Characterization

MatBind：用于多模态材料表征的共享嵌入空间

Le Yang, Anoop K. Chandran, Jona Östreicher, Evgenii Sovetkin, Adrian Mirza, Sebastien Bompas, Bashir Kazimi, Pascal Friederich, Stefan Kesselheim, Kevin Maik Jablonka, Stefan Sandfeld

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)

AI总结 研究旨在整合异构材料数据以全面表征晶体材料。提出MatBind对比学习框架，以晶体结构为锚点将四种模态对齐到统一空间，实现零样本跨模态检索，且学习空间能依物理属性组织材料，组合模态可提升检索性能。

Comments 24 pages, 12 figures, submitted to npj computational material

PIT-SUN: A Deployable Empirical Marginal Transform Framework with Expectation-Consistent Recovery for Regression in Recommender Systems

PIT-SUN：一种可部署的经验边际变换框架，用于推荐系统中的回归，具有期望一致恢复

Mingyu Zhao, Zhaohan Li, Zhenxiong Miao, Xu Zhang, Dewei Leng, Yanan Niu, Kun Gai

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 针对推荐系统中估计原始空间条件期望的问题，提出PIT-SUN框架，通过经验边际表定义相关内容，应用乘法SUN恢复估计期望，实验表明该方法在多方面有提升且部署开销小。

Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing

用于多模态理解、生成和编辑的认知结构多模态智能体

Feng Wang, Canmiao Fu, Zhipeng Huang, Chen Li, Jing Lyu, Ge Li

机构 * Peking University（北京大学） ； Tencent Inc（腾讯公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对统一多模态模型在长时多模态对话中的局限，提出认知结构多模态智能体，通过外化视觉信息等方式改进。开发统一场景引擎，构建评估基准。实验显示该智能体检索准确率高、推理时间减半，还介绍了工具包，为长时多模态智能体提供新范式。

Comments 16 pages, 7 figures, 8 tables. Project page: https://caseclose.github.io/cma-harness/ Code: https://github.com/caseclose/cma-harness

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaV：在统一大型多模态模型中通过视觉状态更新进行思考

Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi Inc.（小米公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对统一大型多模态模型全图像生成范式的问题，提出DeltaV模型，通过视觉更新避免冗余，引入TSIM路由器匹配令牌预算，构建StructCoT数据集，实验证明该范式能减少视觉令牌、提升推理能力，DeltaV - 2B性能优异。

Multimodal 3D LUT Generation via StatLUT with Statistical Features for Photorealistic Style Transfer

通过具有统计特征的StatLUT进行多模态3D LUT生成以实现逼真的风格迁移

Yifan Wang, Zhixiang Hao, Yu Wang, Congchao Zhu

机构 * Honor Device Co., Ltd.（荣耀终端有限公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对逼真风格迁移中现有方法的瓶颈，提出StatLUT框架，通过提取统计特征、基于Transformer的Seq2Seq任务预测3D LUT及用H-Diffuser从自然语言提示合成特征，实现多模态逼真风格迁移，性能优于现有方法。

Comments 17 pages, 9 figures, 7 tables. Preprint

Reinforcing the Generation Order of Multimodal Masked Diffusion Models

强化多模态掩码扩散模型的生成顺序

Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； AGI Foundations for AWS（AWS强化人工智能基础） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究文本到图像合成及多模态理解中生成顺序的优化，引入经组相对策略优化训练的可学习控制模块，提升了DLMs的文本到图像对齐和多模态理解能力，在相关基准测试中取得显著改进。

Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement

交错思维中的模态隔离桥接：通过逐步强化监督模态转换

Tingyu Li, Le Zhou, Siyuan Li, Yujun Wu, Xinglong Xu, Jingxuan Wei, Conghui He, Cheng Tan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MoTiF框架，通过反射式SFT和Flow-GRPO优化模态转换保真度，解决交错思维中图像与文本脱节的模态隔离问题，提升跨模态一致性和任务准确性。

Comments 22 pages, 5 figures, 6 tables

Expressivity and Statistical Trade-offs in Diffusion Policy Learning

扩散策略学习中的表达能力与统计权衡

Viet Vu, Renyuan Xu, Jiacheng Zhang, Yufei Zhang

机构 * Stanford University（斯坦福大学） ； Chinese University of Hong Kong（香港中文大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究扩散策略学习中表达能力与统计权衡，确定漂移Lipschitz预算K为核心量，通过近似量化表达能力，证明其与统计复杂性的关系，给出有限样本性能差距，数值实验验证，还提出根据样本大小选K及对应神经网络架构的实现原则。

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery

UniRef-UAV：无人机图像通用指称的多模态基准测试

Haibin Tian, Huichao Xie, Xuelin Qian, Ruitao Lu, Junwei Han, Dingwen Zhang

机构 * School of Automation, Northwestern Polytechnical University（自动化学院，西北工业大学） ； College of Missile Engineering, Rocket Force University of Engineering（导弹工程学院，火箭兵工程大学） ； School of Artificial Intelligence, Chongqing University of Posts and Telecommunications（人工智能学院，重庆邮电大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 该研究针对无人机视觉定位面临的问题，引入通用指称任务，构建UniRef-UAV多模态基准测试，提出UAV-URNet检测式基线方法。实验表明该基线稳定可重复，多模态查询能减少模糊性，相关资源将公开助力可重复研究。

On the Limitations of Non-GPU AI Accelerators for Large-Model Inference: A Field Study of MoE and Multimodal Serving on Huawei Ascend

论非 GPU 人工智能加速器在大模型推理中的局限性：基于华为昇腾的 MoE 和多模态服务的实地研究

Zheng Yu

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究非 GPU 人工智能加速器在大模型推理中的局限性，通过在华为昇腾系统上部署两个大型推理工作负载进行实地研究，总结平台八类限制及原因，量化相关指标，为评估或操作此类加速器的团队提供可重复参考。

Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models

盲点基准：评估多模态模型中的盲点

Matteo Santelmo, Xiuying Wei, Israa Fakih, Felix Bauer, Juan Garcia Giraldo, Chengkun Li, Etienne Bamas, Emmanuel Abbé

机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.AI

AI总结 研究旨在评估多模态模型盲点，引入盲点基准，收集学生原始问题并标注，提出任务分类法和自动评分管道。分析发现闭源前沿模型超越开源模型，各模型在不同任务类型表现各异，凸显该基准对识别模型弱点的价值。

Comments 25 pages, 8 figures

Dual-Correlation Hypergraph Network for Unaligned RGBT Video Object Detection and A Large-scale Benchmark

用于未对齐RGBT视频目标检测的双相关超图网络及大规模基准数据集

Qishun Wang, Yapeng Li, Bin Luo, Zhengzheng Tu, Chenglong Li

机构 * Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室） ； School of Computer Science and Technology（计算机科学与技术学院） ； Anhui University（安徽大学） ； School of Artificial Intelligence（人工智能学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对RGBT视频目标检测中图像对空间未对齐问题，提出双相关超图网络DHNet，通过设计PSAM和DHFM模块捕获互补信息，还构建DVT-VOD1000数据集，实验表明该网络检测精度达最优，数据集和代码将公开。

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

VEGAS：通过注视进行与人类对齐的视频字幕评估

Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； AMD（超威半导体公司） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉语言模型视频字幕忽视观众注意力问题，提出VEGAS无需训练的度量标准，利用注视采样个性化文本，通过拒绝采样选字幕，实验表明其能使字幕更好对齐人类焦点，提升下游检索。

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

UniClawBench：面向实际任务中主动智能体的通用基准测试

Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li, Yuqing Wang, Manyuan Zhang, Xihui Liu

机构 * HKU MMLab（香港大学多媒体实验室） ； Meituan（美团） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 针对现有基准测试难以评估主动智能体的问题，提出UniClawBench，基于五项基础模型能力设计400个双语现实任务，采用实时评估和闭环评估策略，通过多模型框架对比展示基础模型能力和框架设计对性能的影响，还公开了基准测试和代码。

Comments Project Page: https://uniclawbench.github.io | GitHub Repo: https://github.com/HKU-MMLab/UniClawBench

LTM: Large-scale Terrain Model for Wildfire-prone Landscapes

LTM：适用于易发生野火地区的大规模地形模型

Xiao Fu, Yue Hu, Meida Chen, Peter Anthony Beerel, Barath Raghavan

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对易发生野火地区传统地形重建方法不足，提出利用过时DEM的多模态重建框架，通过物理像素对齐降低计算复杂度，经大型地形模拟器验证，相比现有技术显著提升了重建精度与计算效率，为野火应对提供可扩展方案。

Scalable and Trustworthy Earth Observation Foundation Models

可扩展且可信的地球观测基础模型

Syed Usama Imtiaz, Mitra Nasr Azadani, Nasrin Alamdari

机构 * Department of Civil and Environmental Engineering, Florida State University（土木与环境工程系，佛罗里达州立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 研究地球观测基础模型，指出其因数据特性需特定领域适配。回顾相关设计原则，综合模型格局等内容，纳入基准证据说明评估问题，通过案例展示实践原则，提出应从多方面评估下一代遥感基础模型。

Comments (Preprint, in review) Elsevier Book Chapter: Next-Generation Remote Sensing Methods

Enhancing Photometric Redshift Estimation for LSST with a Hybrid LSTM-Mixture Density Network

用混合长短期记忆网络-混合密度网络增强大型综合巡天望远镜的测光红移估计

Zhijian Luo, Yangyang Li, Xinyu Luo, Hubing Xiao, Wei Fang, Shaohua Zhang, Chenggang Shu

专题命中 多模态评测 ：multimodal(abstract)

AI总结 研究针对大型综合巡天望远镜测光红移估计问题，提出LSTM-MDNz架构，结合长短期记忆网络与混合密度网络，在HSC数据集上评估性能，相比贝叶斯神经网络基线，提高点估计精度，降低异常值率，实现良好概率校准并能构建高纯度目录。

Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning

用于稳健奖励学习的多模态、多环境机器教学

Ali Larian, Qian Lin, Chang Zong Wu, Daniel S. Brown

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究自主智能体在多环境下奖励学习问题，提出分层机器教学算法，先选信息丰富环境，再查询低成本反馈，实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力，凸显多环境多模态教学对稳健奖励学习的重要性。

Comments Accepted to RLC 2026. Conference paper