AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
OmniCustom: 通过联合音视频生成模型实现同步音视频定制
机构 * The University of Hong Kong（香港大学） ； Shanda AI Research Tokyo（Shanda AI东京研究所） ； XIntelligence Technology Co., Limited（XIntelligence技术有限公司）
专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.AI、cs.MM、eess.AS
AI总结 提出一种基于DiT的零样本音视频定制框架OmniCustom，通过参考图像和音频同步生成保持身份和音色一致性的视频，支持文本指定语音内容。
Comments code: https://github.com/OmniCustom-project/OmniCustom
GroupVideo：多身份定制文本到视频生成
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Ant Group（蚂蚁集团）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 研究多身份定制文本到视频生成问题，提出GroupVideo框架，融合多模态身份对齐及相关模块，构建高质量数据集，在生成多角色视频时能保持身份一致且动作自然，优于现有方法。
MagicMakeup：用于高保真妆容转移的区域可控扩散Transformer
机构 * Zhejiang University（浙江大学） ； State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司） ； vivo BlueImage Lab（vivo蓝图像实验室）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV
AI总结 研究妆容转移中区域可控性等难题，提出MagicMakeup框架，基于空间约束和概念解缠结，用令牌对齐区域门控和跨模态感知指导实现精确编辑与概念澄清，设计数据生成管道并建立基准，提升了多方面性能和鲁棒性。
超越基于结构的药物设计：多药理学和多靶点药物设计中的几何深度学习
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 研究针对多因素疾病治疗中传统药物设计的不足，将几何深度学习作为有力方法，综述其架构、应用于三个核心维度的情况，强调新兴算法，评估相关要素作用，阐明药物发现从偶然探索到理性、结构驱动的多药理学分子工程的范式转变。
作为最优控制的随机量子化
专题命中 多模态生成 ：multimodal(abstract)
AI总结 研究将随机量子化表述为有限时间随机最优控制问题，利用可处理参考过程及参考校正终端成本，通过神经网络学习残余控制实现最优随机量子化，在多峰势和二维晶格标量\(\phi^4\)理论中取得成果，将量子化表述为控制。
Comments 7 pages, 4 figures
MVEI与EmObserver：通过情感陈述判断增强面向MLLM的视觉情商
机构 * Tsinghua University（清华大学） ； Nankai University（南开大学） ； Beijing Institute of Technology（北京理工大学） ； Chinese Academy of Sciences（中国科学院）
专题命中 多模态评测 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV
AI总结 研究针对多模态大语言模型视觉情商评估缺失问题，引入情感陈述判断公式ESJ，开发INSETS及MVEI基准，构建EmObserver模型。通过实验评估，确立了ESJ、MVEI和EmObserver在推进面向MLLM的视觉情商方面的作用。
6G智能感知与通信无线多模态基础模型中的分布外检测
专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)
AI总结 研究6G智能感知与通信中无线多模态基础模型的分布外检测问题，提出WMFM - OOD框架，通过构建基站原型和温度缩放概率评分机制区分异常，在DeepVerse6G数据集验证，显著优于基线，提升检测灵敏度，保障网络可靠性。
Comments presented at IEEE VTC 2026 Fall, 4 figures
不平衡下的遗忘：多模态大语言模型遗忘中的公平性基准测试
机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 研究多模态大语言模型遗忘中的公平性问题，提出FAIRGET基准和FAUN算法，通过模拟现实场景下不平衡的遗忘请求，在考虑数据不平衡性质时遗忘身份，实验证明该方法在遗忘质量和公平性上具有优越性。
Comments 33 pages
VoLN：仅视觉的长距离导航——范式、基准和方法
机构 * Beihang University（北京航空航天大学） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
专题命中 多模态评测 ：MLLM(summary_cn,abstract)；分类 cs.AI
AI总结 研究提出仅视觉的长距离导航（VoLN）范式，通过VoLN-UAV基准及VoLN-MLLM基线进行实例化。在五个环境测试未见分割中评估，揭示了长距离导航在证据整合、目标匹配和闭环稳定性方面的挑战。
Comments 10 pages, 7 figures, 2 tables. Project page: https://admire-ljb.github.io/VoLN-UAV/
MELLA：弥合低资源语言多模态大语言模型的语言能力与文化根基
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； East China Normal University（东华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Institute of High Performance Computing, A*STAR（高性能计算研究所，A*STAR）
专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 研究针对低资源语言MLLMs文化内涵不足问题，提出MELLA数据集，采用双源策略，结合母语网络图像-替代文本对与生成翻译的图像描述进行监督，经实验表明能减轻文化幻觉，强调数据对齐对低资源语言文化基础多模态理解的重要性。
一种用于机器人的智能云边缘多模态交互系统
机构 * Hainan University（海南大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 针对复杂环境下资源受限机器人的交互问题，提出云边缘多模态交互框架，集成增强YOLO手势检测器与LLM、VLM智能体，改进手势检测方法，经实验验证该系统在手势检测精度、任务成功率及用户满意度方面表现良好，证明了方法的可行性。
LivePhys：通过扫描即播放框架将静态物理问题转化为交互式模拟
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)
AI总结 研究针对教科书中静态物理问题学习的高认知负担，提出LivePhys框架，通过多模态处理构建中间表示，用大语言模型推理并由物理引擎执行生成交互式模拟，显著提升模拟性能并降低学习者认知负担。
CRAG-MM诊断：实现对知识密集型视觉问答的逐阶段分析
机构 * New York University（纽约大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； MIT（麻省理工学院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究知识密集型视觉问答流程，引入CRAG-MM-Diagnostics诊断基准，通过逐阶段数据注释分离子问题，评估VLM并进行细粒度分析，指出知识检索和推理是主要瓶颈，还提出改进流程提升准确率。
Comments Accepted to ECCV 2026
电信-GAIA：电信领域智能体的双语基准测试
机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； stc（沙特电信公司）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL、cs.AI
AI总结 介绍电信-GAIA双语多模态基准测试，含100个人工验证问答任务，需多跳推理，跨越多种异构源。以沙盒化Docker环境提供，通过规范化精确字符串匹配评分。评估发现其具有挑战性，为企业智能体提供测试平台和构建基准测试的模板。
SCoPE：用于对话中情感识别的转移感知说话者条件先验
机构 * University of Hamburg（汉堡大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、eess.AS
AI总结 针对对话情感识别中现有方法的局限，提出SCoPE模块，利用说话者情感历史建模先验，纳入情感转移预测并采用转移感知融合机制，在多模态IEMOCAP数据集上取得优于现有模型的性能。
Comments Under review at Cognitive Computation
MedGame：由大语言模型赋能的用于医学教育的故事化游戏化
机构 * CUHK（香港中文大学） ； Southern Medical University（南方医科大学） ； Peking University（北京大学） ； Tencent（腾讯）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 研究旨在利用大语言模型助力医学教育，提出MedGame框架，通过双引擎设计将临床病例转化为故事化游戏，构建MedGame Bench进行评估，实验显示特定任务微调提升开源模型表现，学生研究表明其更具吸引力和实用性。
Comments Work in Progress; an explorational design and study on AI+Education+Game
一种通过受控扰动验证的结构化音频字幕评估框架
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 研究针对结构化音频字幕评估难的问题，提出多轴评估框架，结合大语言模型判断与计算指标，在五个正交轴上评估，通过受控扰动测试协议验证可靠性，能区分释义与损坏。
Comments submitted to DCASE 2026
虚拟现实中的眼部验证
机构 * University of Wyoming（怀俄明大学） ； San Diego State University（圣地亚哥州立大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 研究虚拟现实中眼部验证，评估虹膜质量指标局限性，用生成模型应对数据挑战，进行单模态与多模态识别及融合，发现部分指标在VR数据上失效，图像调整利于眼周识别，多模态融合降低错误接受率。
标记错误症状：评估医学文本中的大语言模型水印
机构 * ETH Zurich（苏黎世联邦理工学院） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林夏里特医学院柏林健康研究所） ； Deutsches Herzzentrum der Charité – Medical Heart Center of Charité and German Heart Institute Berlin（柏林夏里特医学院德国心脏中心与柏林德国心脏研究所）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 研究LLM水印对医学性能的影响，在11个LLM和7个VLM上对5种水印方案进行多任务基准测试，引入人类专家验证管道补充评估，发现水印会致多种退化，特定领域评估是医学中水印模型安全部署的前提。
具有分块缺失值的多模态堆叠及其在预测免疫治疗耐药性的PIONeeR生物标志物研究中的应用
机构 * Inria – Inserm team COMPO, COMPutational pharmacology and clinical Oncology, Centre Inria Sophia Antipolis - Méditerranée, Centre de Recherches en Cancérologie de Marseille, Inserm U1068, CNRS UMR7258, Institut Paoli-Calmettes, Pharmacy faculty, Aix-Marseille University（Inria - Inserm COMPO团队，计算药理学和临床肿瘤学，Inria Sophia Antipolis -地中海， Marseille癌症研究中心，Inserm U1068，CNRS UMR7258，Paoli-Calmettes研究所，药学系，Aix-Marseille大学） ； Veracyte SAS, Marseille, France（Veracyte SAS，法国马赛） ； Assistance Publique-Hôpitaux de Marseille (APHM), Marseille, France（马赛公共医院（APHM），法国马赛） ； Toulouse University Hospital, Toulouse, France（图卢兹大学医院，法国图卢兹） ； Centre Leon Berard, Lyon, France（Leon Berard中心，法国里昂） ； Innate Pharma, Marseille, France（Innate Pharma，法国马赛） ； Université Paris Saclay, Gustave Roussy, Inserm, Prédicteurs Moléculaires et nouvelles cibles en oncologie (U981), F-94805, Villejuif, France（巴黎萨克雷大学，Gustave Roussy，Inserm，分子预测与肿瘤学新靶点（U981），法国维尔若，F-94805）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 提出多模态堆叠框架MSB，通过独立建模各模态特征并利用交叉验证堆叠元学习器聚合预测，解决高维和分块缺失问题，在PIONeeR研究中预测非小细胞肺癌免疫治疗无进展生存期，性能优于基线算法。
i2Nav-Robot：用于多传感器融合导航的大规模室内外机器人数据集
专题命中 多模态评测 ：multi-modal(abstract)
AI总结 针对无人地面车辆导航数据集不足，提出i2Nav-Robot数据集，集成多模态传感器，经在线硬件同步和离线校准获取精确时间戳，含十个大规模序列，经评估数据质量高，对推进车辆导航研究实用。
Comments 13 pages, 15 figures
RL-MACRO：一种用于多模态自适应机器人开颅手术的控制论闭环智能框架
机构 * Dalian University of Technology（大连理工大学） ； Second Hospital of Dalian Medical University（大连医科大学附属第二医院） ； The University of Tokyo（东京大学）
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 研究针对自主机器人开颅手术面临的挑战，提出RL-MACRO框架，通过多模态感知、自适应决策和机器人执行实现闭环控制，利用CNN-LSTM观测器重建温度，经IQL策略和双头执行器优化行为，实验验证了该框架在骨切割方面的有效性。
GS-Agent：通过生成式模拟创建4D物理世界
机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Genesis AI（创世纪人工智能公司）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 研究旨在从自然语言描述创建4D物理世界。核心方法是提出GS-Agent这一端到端多智能体框架，分解任务并让多智能体与物理引擎协作。主要贡献是能有效转换自然语言为物理合理的4D世界，实现相机和灯光控制，为新范式奠基。
WebCoach：具有跨会话记忆引导的自我进化网络代理
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Amazon（亚马逊）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对网页代理跨会话学习不足问题，提出WebCoach框架，通过三个关键组件赋予代理跨会话记忆，可长期规划与自我进化，在WebVoyager基准测试中提升了不同LLM backbone的代理性能。
Comments 18 pages
MemTools：用于可互操作智能体内存的统一研究框架
机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL
AI总结 研究针对智能体内存架构碎片化问题，提出MemTools框架，通过解耦组件与环境、规范生命周期、分离数据集与协议、提供统一接口，实现跨系统组件集成等功能，为智能体内存研究提供实用可扩展基础设施。
Comments Work in progress
TANDE：在与年轻人的情感人工智能-虚拟化身对话中区分言语和非言语反馈渠道
专题命中 多模态Agent ：multimodal(abstract,comments)
AI总结 研究在与年轻人的情感人工智能-虚拟化身对话中反馈渠道模式的影响，引入TANDE这个由LLM驱动的ECA，通过实验探讨其对融洽关系、同理心和参与度的作用及性别差异，得出相关设计启示。
Comments This paper has been accepted for publication at the 28th ACM International Conference on Multimodal Interaction (ICMI 2026)
URF：用于稳定接触感知操纵的统一机器人控制策略框架
机构 * Faculty of Mechanical Engineering, Sungkyunkwan University（成均馆大学机械工程学院） ； Faculty of Intelligent Robotics, Sungkyunkwan University（成均馆大学智能机器人学院）
专题命中 多模态Agent ：multimodal(abstract)
AI总结 研究针对基于学习的操纵策略中动作预测与执行分离在刚性接触时的问题，提出URF统一框架，结合多模态观察预测虚拟目标等，利用接触力构建标签监督控制器模式预测，在相关任务中提升成功率并减少失败模式。
Comments 8 pages, 5 figures, 2 tables. Submitted to IEEE Robotics and Automation Letters (RA-L)
通过跨模态流进行环境感知信道推断：从多模态感知到无线信道
机构 * School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院） ； School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)
AI总结 研究在高多普勒环境下无需导频的信道推断，提出数据驱动框架将传感到信道映射设为跨模态流匹配问题，通过融合多模态特征、学习速度场等实现实时CSI估计，实验表明该方法在信道估计精度和频谱效率上优于基准。
Comments 17 pages, 15 figures, 44 references, to appear in IEEE Transactions on Mobile Computing (TMC)
UnDA：用于医学成像中跨模态知识转移的无配对域对齐
机构 * Korea Institute of Oriental Medicine（韩国韩医学研究院） ； Islamic University of Technology（伊斯兰科技大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 针对医学成像中跨模态知识转移时获取配对数据难、处理模态差距及噪声传播问题，提出UnDA框架，通过与主干无关的对齐模块、不确定性加权最优传输及每个类别的ProtoNCE目标，实现无配对跨模态蒸馏，提升目标模态分割精度。
用于可泛化脑电信号表征学习的多模态预训练
机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.AI
AI总结 研究针对癫痫EEG模型应用局限问题，开发多模态EEG基础模型，结合多种编码器，通过创新预训练技术创建癫痫相关表征。在多个数据集和评估设置下实验，该模型实现强大癫痫检测与适应新场景能力，支持可解释癫痫定位，性能达当前最优。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈