AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
解码多模态迷宫：多模态注意力模型中可解释性采纳的系统综述
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 本文系统综述了2020年至2024年初多模态模型可解释性研究，发现多数工作集中于视觉-语言和纯语言模型，注意力机制是主要解释方法，但评估缺乏系统性和鲁棒性，并提出了改进建议。
GeoWorld-VLM：从世界模型中获取几何结构用于视觉-语言模型
机构 * Harvard AI and Robotics Lab（哈佛人工智能与机器人实验室） ； Kempner Institute for the Study of Natural and Artificial Intelligence（凯普纳自然与人工智能研究 institute） ； Harvard University（哈佛大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 GeoWorld-VLM通过将冻结的摄像机条件视频世界模型的几何结构转移到视觉-语言模型中，提升空间关系推理能力，实验显示在两个不同架构上均提升了约4%的性能。
ReFoCUS: 用于上下文理解的强化引导帧优化
机构 * Korea Advanced Institute of Science & Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出ReFoCUS框架，首次将在线策略梯度强化学习集成到视频大语言模型的帧级优化中，通过自回归和查询条件选择架构学习帧选择策略，无需显式帧级监督，提升视频问答推理准确性。
Comments Project page: https://interlive-team.github.io/ReFoCUS/
视觉与视觉-语言应用中的模态感知特征匹配：全面综述
机构 * School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算机与人工智能学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） ； School of Computing and Communications, Lancaster University（兰卡斯特大学计算机与通讯学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（新加坡资讯研究院，科技研究局（A*STAR）） ； Department of Automation, Tsinghua University（清华大学自动化系）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 综述基于模态的特征匹配，涵盖传统手工方法和现代深度学习方法，重点讨论跨RGB、深度、3D点云、LiDAR、医学图像及视觉-语言模态的进展，突出模态感知技术。
Comments CSUR
基于VLA的驾驶系统的安全案例模式：来自SimLingo的见解
机构 * York University（约克大学） ； National Institute of Informatics（国家信息研究所）
专题命中 图文多模态 ：multimodal(abstract)
AI总结 针对VLA驾驶系统提出RAISE安全案例设计方法，通过扩展HARA和定制模式，结合SimLingo案例验证其构建基于证据的安全声明的有效性。
CMI-RewardBench: 基于组合多模态指令评估音乐奖励模型
机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、cs.MM、eess.AS
AI总结 针对音乐生成模型缺乏有效评估机制的问题，提出CMI-RewardBench基准，包含大规模偏好数据集和参数高效奖励模型，实现多模态指令下的音乐质量评估。
Comments Accepted by ICML 2026
V-JEPA 2.1: 解锁视频自监督学习中的密集特征
机构 * FAIR at Meta（Meta的FAIR） ； Universidad de Zaragoza（萨拉戈萨大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出V-JEPA 2.1系列自监督模型，通过密集预测损失、深度自监督、多模态分词器和有效缩放，学习图像和视频的密集高质量视觉表示，在多个基准上取得最优性能。
等变流匹配用于对称破缺分岔问题
机构 * Department of Mechanical Engineering, Eindhoven University of Technology（埃因霍温理工大学机械工程系） ； DIFFER – Dutch Institute for Fundamental Energy Research（荷兰基础能源研究所） ； Faculty of Civil Engineering, Department of Mechanics, Czech Technical University in Prague（布拉格捷克技术大学土木工程学院力学系） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 针对非线性动力系统中对称破缺导致的多稳态共存问题，提出等变流匹配方法，结合等变架构与最优传输耦合机制，准确捕捉多模态分布和对称破缺分岔，优于非概率和变分方法。
Comments 9 pages, 7 figures including appendices. Accepted to Machine Learning and the Physical Sciences Workshop, NeurIPS 2025 (https://ml4physicalsciences.github.io/2025/). Repository with corresponding code: https://github.com/FHendriks11/bifurcationML/. Video explanation: https://www.youtube.com/watch?v=wsL3h17KtjY
Echo2ECG：利用多视角超声心动图的心脏形态增强心电图表示
机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital（人工智能在医疗与医学中的中心，慕尼黑技术大学（TUM）和慕尼黑大学医院） ； Department of Cardiology, TUM University Hospital（心血管科，慕尼黑大学医院） ； Department of Computing, Imperial College London（计算系，伦敦帝国理工学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI
AI总结 提出Echo2ECG多模态自监督学习框架，通过多视角超声心动图丰富心电图表示，在结构表型分类和超声检索任务上优于现有方法，模型大小仅为最大基线的1/18。
Comments Accepted at MICCAI 2026
Ex-Omni：为全模态大语言模型赋能3D面部动画生成
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； LIGHTSPEED ； Independent Researcher（独立研究员）
专题命中 多模态生成 ：omni-modal(title,abstract)；multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出Ex-Omni模型，通过混合形状感知语音单元生成器和解码器解耦语义推理与时间生成，并引入统一令牌查询门控融合机制，实现全模态大语言模型同步生成语音和3D面部动画。
HD-Prot：一种使用连续结构令牌进行联合序列-结构建模的蛋白质语言模型
机构 * The Hong Kong Polytechnic University（香港理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 提出HD-Prot，一种混合扩散蛋白质语言模型，通过连续结构令牌将序列pLM扩展为多模态，实现联合序列-结构建模，在多种任务上取得竞争性能。
Comments This is the long version of the corresponding paper to appear at KDD 2026
分散自回归生成
机构 * Lancaster University（兰卡斯特大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 本文通过离散流匹配框架证明分散训练与集中训练在理论上等价，实验验证其在多模态基准上保持竞争力。
Comments Work in progress
FENCE：一个金融和多模态越狱检测数据集
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。
Comments lrec 2026 accepted paper
利用大型多模态模型导航千兆像素病理图像
机构 * Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Department of Pathology, Massachusetts General Hospital（麻省总医院病理学系） ； Department of Pathology and Laboratory Medicine, Brown University（布朗大学病理学与实验室医学系）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出GIANT方法，无需训练即可让通用多模态模型自主导航WSI，通过迭代选择多放大倍数裁剪并聚合证据，在MultiPathQA基准上实现SOTA。
AssemLM: 用于机器人装配的空间推理多模态大语言模型
机构 * Fudan University（复旦大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Tianjin University（天津大学） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； City University of Hong Kong（香港城市大学）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出AssemLM，一种融合装配手册、点云和文本指令的多模态大语言模型，通过专用点云编码器提取几何与旋转特征，实现精确的6D装配位姿推理，并构建含90万样本的AssemBench基准，在真实机器人装配任务中取得最优性能。
Comments Project Page: https://assemlmhome.github.io/
DSAEval：在广泛真实世界数据科学问题上评估数据科学智能体
机构 * Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Applied Mathematics, Hong Kong Polytechnic University（应用数学系，香港理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出包含641个真实数据科学问题的基准DSAEval，涵盖多模态环境感知、多查询交互和多维评估，系统评估13个先进LLM智能体，发现Claude-Sonnet-4.5综合最优，多模态感知提升视觉任务性能2.04%-11.30%。
TokaMark：MAST托卡马克等离子体模型的综合基准
机构 * IBM Research Europe（IBM欧洲研究院） ； UK Atomic Energy Authority（英国原子能局） ； STFC Hartree Centre（STFC哈特ree中心）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI
AI总结 为解决聚变数据稀缺、分散且标注不一致的问题，提出TokaMark基准，包含14项任务，统一多模态聚变数据访问和评估协议，并提供基线模型，以加速数据驱动的AI等离子体建模。
通过逐步偏好调优的多模态智能体迭代工具使用探索
机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Automation, Tsinghua University（自动化系，清华大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出SPORT方法，通过任务合成、步骤采样、步骤验证和偏好调优的迭代循环，使多模态智能体无需预收集数据即可自主探索和优化工具使用策略，在GTA和GAIA基准上分别提升6.41%和3.64%。
Comments 24 pages
地球科学基础模型：从感知到推理与发现
机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 多模态Agent ：multimodal(abstract)
AI总结 本文综述了地球科学基础模型，探讨了其从感知到多模态推理及科学发现的能力演进，并总结了其在大气、水圈、岩石圈等领域的广泛应用。
PaLMR: 通过多模态过程对齐实现忠实视觉推理
机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究院） ； Unicom Data Intelligence, China Unicom（中国unicom数据智能）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出PaLMR框架，通过感知对齐数据层和过程对齐优化层，减少推理幻觉并提升视觉推理忠实度，在多个基准上取得最优结果。
Journal ref CVPR 2026 Findings
Hellinger多模态变分自编码器
机构 * Department of Computer Science, Saarland University（萨尔兰大学计算机科学系） ； MPI-SWS, Saarland Informatics Campus（萨尔兰信息学校区Max Planck研究所）
专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出基于Hellinger距离的矩匹配近似方法HELVAE，避免子采样，在多模态变分自编码器中实现更优的生成一致性与质量权衡。
Comments Accepted at AISTATS 2026. Camera-ready version
无分析光栅的超分辨率X射线干涉测量
专题命中 其他多模态 ：multi-modal(abstract)
AI总结 提出一种无分析光栅的X射线干涉测量超分辨率方法，通过探测器相位步进和迭代重建，在欠采样条件下恢复衰减、差分相位和暗场图像，提高剂量效率并降低系统复杂度。
熵镜像蒙特卡洛
专题命中 其他多模态 ：multimodal(abstract)
AI总结 提出一种自适应重要性采样方法，通过结合全局采样与延迟加权机制构建高效提议分布，实现多模态高维目标分布的有效探索，并证明算法在温和假设下几何收敛。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈