AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
CLIP 潜在空间的超球面几何：一种语义混合模型
机构 * Tsinghua University（清华大学） ； Cisco Research（思科研究院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校）
专题命中 图文多模态 ：multimodal(abstract)
AI总结 研究 CLIP 潜在空间，提出基于冯·米塞斯-费舍尔分布混合的密度模型，用期望最大化算法学习，实现准确可解释的密度估计，改善长尾和分布外检测，建立几何一致的概率框架。
Comments 23 pages, 8 figures
用于视听导航的混合曼巴
机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学具身智能联合研究实验室） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.AI
AI总结 研究针对视听导航骨干网络多年未变的问题，提出Samba，用曼巴状态编码器取代传统GRU，构建音频曼巴编码器，实验表明其泛化性能出色，能提升导航成功率，以低成本解锁更强能力，为范式演进提供途径。
Comments Main paper (6 pages). Accepted for publication by IEEE International Conference on Systems and Man and Cybernetics 2026 (IEEE SMC 2026)
VIP-MINGLE：用于群体语言交流中视频会议和面对面多模态交互的语料库
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.MM
AI总结 介绍VIP-MINGLE多模态数据集，含59小时录音等，有两种环境下配对会话，涵盖多种数据。分析发现不同环境多模态行为分布有变化，该数据集是跨环境群体对话模型开发的关键资源。
Comments Interspeech 2026
超越语言和模态限制学习说话者身份：来自POLY-SIM 2026挑战赛的见解
机构 * Institute of Computational Perception, Johannes Kepler University（约翰内斯·开普勒大学计算感知研究所） ； University of Michigan-Flint（密歇根大学弗林特分校） ； BDO DIGITAL Gmbh（BDO数字有限公司） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Fortemedia（富特媒体公司） ； College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算学院） ； IT:U Interdisciplinary Transformation University（IT:U跨学科转型大学） ； University of Augsburg（奥格斯堡大学）
专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 POLY-SIM 2026挑战赛旨在解决多模态说话者识别中语言和模态限制问题，针对实际应用中信息缺失、多语言等挑战，为比较解决方案提供标准化设置。
Comments Accepted at ACM MM 2026
用于联合纵向和事件发生时间建模的多模态经验贝叶斯变分自编码器
机构 * Fraunhofer-Chalmers Centre（弗劳恩霍夫-查尔默斯中心） ； Department of Electrical Engineering（电气工程系） ； Chalmers University of Technology（查尔姆斯理工大学）
专题命中 视频多模态 ：multimodal(title)
AI总结 研究针对纵向肿瘤测量等多源数据整合难的问题，扩展EB-VAE框架用于联合纵向和事件发生时间建模，比较不同解码器公式，纳入基因组协变量，实现肿瘤生长等联合预测，确定相关基因指标，提供了灵活概率框架。
ScanFocus：一种用于时空视频定位的从粗到细框架
机构 * Southeast University（东南大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究时空视频定位问题，提出ScanFocus从粗到细框架，利用统一融合编码器和轻量级模块生成粗略提议，再用语义引导时间聚合器恢复细节，实验表明该方法性能优于以往方法。
Comments this paper has already been accepted by ECCV 2026
RainDancer：基于面向降雨的脉冲动力学的RGB-事件视频去雨
机构 * School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； School of Computer Science and Technology, Harbin University of Science and Technology（哈尔滨理工大学计算机科学与技术学院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 研究针对视频去雨问题，提出RainDancer框架，基于分解-交互范式，在RGB和事件分支分别处理，分离雨和背景成分，进行组件级融合，并引入事件域监督，实验表明该方法在多方面性能优越。
迈向野外空间超感知
机构 * Tsinghua University（清华大学） ； NVIDIA（英伟达） ； Stanford University（斯坦福大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对空间超感知中多模态模型基准测试局限于合成视频和家庭场景的问题，引入VSI-Super-Wild基准，受人类认知启发探究世界状态三元组，通过大量真实视频问答对测试发现模型不足及失败模式，为空间超感知发展指明方向。
Comments Accepted to ECCV 2026. Project page: https://vsi-super-wild.github.io/
TRACE-PCa：在主动监测期间从纵向MRI预测前列腺癌进展
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究提出TRACE-PCa模型，无需病变分割，通过预训练3D MRI模型编码序列扫描，引入时间注意力门，融合临床变量，在纵向AS队列验证中表现出色，能减少不必要活检，有预测前列腺癌进展的潜力。
Comments 7 pages, 4 figures
MiMo-V2.5系列的全流程推理优化：将混合滑动窗口注意力效率推向极限
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 针对MiMo-V2.5模型家族，结合Hybrid SWA、MoE和多模态编码器进行全流程推理优化。通过多种策略优化KVCache系统，构建GCache并开发路由器，还优化多模态输入，构成首个有效涵盖该复合架构的大规模LLM生产服务系统。
Comments technical report
开普勒编码器v0.1：迈向机器人的多模态嵌入模型
机构 * Menlo Research（门洛研究公司）
专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 研究针对机器人理解自身状态问题，提出开普勒编码器v0.1，通过学习查询交叉注意力层融合多模态信息，经自监督训练。实验表明其仅视觉潜空间能恢复末端执行器状态，优于其他方法，单个编码器涵盖多个机器人，冻结潜空间有多种用途。
Comments 33 pages
M$^\text{4}$World：用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。
Comments 24 pages, 13 figures
一种处理多模态心脏PET/MRI数据的新型无监督机器学习策略
机构 * Nantes Université, CHU Nantes（南特大学，南特大学医院中心） ； Siemens Healthineers France（西门子医疗法国公司）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 研究针对致心律失常性左心室心肌病诊断难题，利用PET/MRI数据，采用两步聚类等方法，对患者图像进行处理分析，生成健康报告，经交叉验证和在更大队列上验证，能准确识别异常，有助于表征心肌异质性。
Comments 11 pages, 6 figures
并发图像理解与生成：自校正耦合马尔可夫跳跃过程
机构 * Stony Brook University（纽约州立大学石溪分校） ； Google DeepMind（谷歌DeepMind）
专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)
AI总结 研究针对人类认知中理解与生成的耦合循环，引入自校正耦合马尔可夫跳跃过程框架及$\texttt{CO}_\texttt{2}\texttt{Jump}$采样器，解决掩码扩散模型跨模态矛盾问题，创建多模态语料库，该方法在图像相关任务中性能优异，且性能随去噪步骤数提升。
Comments Project page: https://coupled-jump.github.io
Cyclone：基于未配对驱动数据的循环一致天气编辑扩散模型
机构 * Huawei Paris Research Center（华为巴黎研究中心） ； Gustave Eiffel University（古斯塔夫·埃菲尔大学） ； IGN-ENSG（法国国家地理信息与森林和环境信息研究所）
专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV
AI总结 针对自动驾驶系统在不同天气条件下可靠感知的挑战，提出Cyclone框架，基于潜在扩散，利用循环一致约束和图像-文本模型知识，无需配对数据生成多种天气条件，实验表明其输出更优，还可提炼为视频扩散模型。
Comments Project page: https://ntaquan0125.github.io/weather-cyclone/
迈向增强医学多模态大语言模型中的 3D 空间推理
机构 * University of International Relations（国际关系学院）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV
AI总结 研究旨在增强医学多模态大语言模型的 3D 空间推理。通过新型逐片数据合成范式构建结构化推理数据集，用其对二维预训练模型进行指令微调，提升了模型在 3D 医学基准测试中的性能，缩小了与原生 3D 架构的差距。
Groc-PO：用于真实多模态大语言模型的基于上下文的偏好优化
机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaomi Corporation（小米公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民日报社传播内容认知国家重点实验室）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 研究针对多模态大语言模型的不真实问题，提出基于上下文的偏好优化框架Groc-PO，构建相关数据集，通过多阶段偏好样本捕捉基础上下文，加强上下文相关推理，减轻跨阶段错误传播，提升模型性能。
Comments Accepted by ACM-MM 2026
释放多模态大语言模型用于野外无训练的人机交互检测
机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对传统人机交互检测方法在开放世界和组合场景中泛化能力受限的问题，提出无训练的AgentHOI框架，利用基础模型多模态推理能力，通过上下文感知多轮推理和多方面交互定位机制，在实际场景中取得优于现有监督和弱监督方法的性能。
使用深度学习对胰腺癌可切除性进行多模态评估
机构 * University of Basel（巴塞尔大学） ； Clarunis, University Digestive Health Centre（克拉鲁尼斯大学消化健康中心） ； Kantonsspital Aarau（阿劳州立医院） ； Royal Free Hospital（皇家自由医院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究利用深度学习框架联合分析CT与临床信息，对胰腺癌可切除性分类。通过Swin-UNETR主干获取图像特征，融合临床嵌入，经动态多任务目标训练，能将患者分入NCCN的三种可切除性类别，提高评估准确性。
根因分析在实际遥测数据上能走多远？
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 研究生产微服务故障根因分析难题，提出结构化多智能体RCA管道，性能超现有方法。引入反向推理智能体和自动规则挖掘管道，发现故障证据多，瓶颈在智能体推理能力，模型推理和领域知识是主要限制，进步需模型改进。
交互密度作为展品类型的行为特征：来自双场馆科学体验中心的最小日志研究
专题命中 多模态评测 ：multimodal(abstract)
AI总结 研究如何从触摸式展品默认记录的少量字段获取参观者与展品互动信息，通过分析得出交互密度这一行为特征区分游戏和测验，发现其能预测展品类型，但数据有复杂性，还表明最小化交互日志可支持行为研究。
Comments 7 pages, 4 figures. Raw session-level dataset (CSV) included as an ancillary file
类人机器人设计中恐怖谷效应的贝叶斯框架
机构 * The University of Tokyo（东京大学）
专题命中 多模态评测 ：cross-modal(abstract)
AI总结 研究类人机器人设计中恐怖谷效应，提出分层贝叶斯生成模型，将相关准则转化为数学变量，通过模拟和实验验证，该模型能将经验启发式方法转变为计算基础，用于评估和优化机器人外观与行为。
SPyCE：多模态智能体的技能-策略协同进化
机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL
AI总结 研究多模态智能体，提出SPyCE框架，将推理轨迹提炼为分层技能库与策略协同进化，执行技能捕获局部操作，工作流技能编码高级先验，实验证明该框架优于基线，为构建多模态智能体提供新范式。
基于工具增强证据的多智能体协作推理用于城市区域剖析
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Washington（华盛顿大学） ； Chang’an University（长安大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 研究针对城市区域剖析问题，提出UrbanAgent框架，通过多智能体协作推理解决跨模态不一致，将指标预测扩展为闭环过程，经实验验证其性能优于现有基线，在未见城市设置中有强泛化性。
Comments Accepted by KDD 2026
VisualRepair：用于视觉软件问题修复的动态工具调用和区域聚焦
专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)
AI总结 针对现代软件视觉信息利用难题，提出VisualRepair框架，通过图像类型感知工具调用和动态测试时区域聚焦两模块，在SWE-bench基准测试中性能超现有方法，有效提升自动视觉软件问题修复能力。
Comments The paper was completed in March 2026 and is currently under review. The code will be released upon acceptance
生物有机体和未来具身人工智能中的基础世界模型
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 研究探讨生物有机体中基础世界模型，通过五个神经回路例子揭示当前具身人工智能缺失的特征，如内在动力学作用等，还讨论了生物系统原则对未来具身人工智能的影响。
一种由 3DGS 驱动的用于水下遥操作的动态视点和振动触觉框架，并通过功能近红外光谱法进行验证
专题命中 多模态Agent ：multimodal(abstract)
AI总结 研究针对水下遥操作受限于二维视图和通信延迟的问题，提出基于 ROS - Unity 框架的多模态架构，用 3DGS 驱动的 DAVS 及振动触觉套装辅助，经实验验证该方式能提升操作员性能与认知耐力。
Comments 9 pages, 6 figures
M3F-UAV：一种用于低空无线传感的缺失模态多模态基础模型
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)
AI总结 针对复杂环境下单模态模型可靠性低的问题，提出M3F-UAV模型，通过特定模态预训练特征提取器、跨模态融合及缺失模态感知预训练，从多观测中学习统一表示，在LAMBDA数据集实验中性能优于单模态基线且在缺失模态下稳健。
SIVA-RL：用于多模态强化学习的灵敏度不变视觉对齐
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Macau（澳门大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 研究多模态强化学习中视觉语言模型预测与视觉证据结合问题，提出SIVA-RL框架，通过特定方法构建局部干预并以奖励下降为权重驱动对齐，在多基准测试中相比基线改进了模型。
Comments 27 pages, 11 figures
PQFA：用于多模态分类的融合表示的并行量子特征增强
机构 * AMSS（中国科学院数学与系统科学研究院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)
AI总结 研究多模态学习中后融合增强问题，提出并行量子特征增强框架PQFA，将其应用于融合特征，经多种处理后幅度编码到量子电路预测。实验表明PQFA性能优、参数效率高，是混合量子 - 经典多模态学习后融合增强的有效策略。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈