AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
双域等变生成对抗网络用于多模态CT-PET合成
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出双域等变生成对抗网络（DDE-GAN），联合空间与频域学习并融入旋转等变性，实现高保真多模态CT-PET图像合成。
Comments 4 pages, 3 figures, 1 table, 2026 IEEE 23rd International Symposium on Biomedical Imaging (ISBI)
冻结多模态嵌入用于异步视频面试中的个性与认知能力评估
机构 * Technology Application and Human Resource Development, National Taiwan Normal University（台湾国立台中教育大学技术应用与人力资源发展系） ； Computer Science and Information Engineering, National Central University（台湾国立中央大学计算机科学与资讯工程系） ； Institute of Photonic System, National Yang Ming Chiao Tung University（台湾阳明交通大学光电系统研究所）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对异步视频面试中标注数据有限的高维多模态学习问题，提出使用冻结多模态编码器（CLIP、Whisper、RoBERTa等）结合低容量下游模型，在个性预测任务上实现MSE降低19.1%，并发现认知能力预测中存在数据集捷径。
Comments 9 pages, 1 figure, 5 tables
合成媒体的演变：跟踪AI生成多模态虚假信息的兴起、传播与可检测性
机构 * Centre for Research and Technology Hellas（希腊研究中心）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM
AI总结 本文提出CONVEX数据集，研究多模态虚假信息的传播与共识动态，发现AI生成内容虽传播迅速但依赖被动互动，且检测性能随生成模型发展而下降。
FENCE：一个金融和多模态越狱检测数据集
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。
Comments lrec 2026 accepted paper
GeoDial：面向几何问题求解的多模态对话式辅导数据集，包含可视化辅导轮次
机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； Bocconi University（博科尼大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出GeoDial数据集，包含1300+几何师生对话，通过可扩展标注协议整合对话行为、视觉高亮和反馈，微调视觉语言模型发现其难以生成准确图解高亮。
利用大型多模态模型导航千兆像素病理图像
机构 * Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Department of Pathology, Massachusetts General Hospital（麻省总医院病理学系） ； Department of Pathology and Laboratory Medicine, Brown University（布朗大学病理学与实验室医学系）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出GIANT方法，无需训练即可让通用多模态模型自主导航WSI，通过迭代选择多放大倍数裁剪并聚合证据，在MultiPathQA基准上实现SOTA。
放射学报告语义建模与宿主反应实验室生物标志物用于肺癌多模态生存预测
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出多模态自适应风险评分(AMRS)，融合放射学报告语义和常规实验室生物标志物，在574例肺癌患者中实现C-index 0.849，优于TNM分期。
Comments 14 pages,7 figures
AssemLM: 用于机器人装配的空间推理多模态大语言模型
机构 * Fudan University（复旦大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Tianjin University（天津大学） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； City University of Hong Kong（香港城市大学）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出AssemLM，一种融合装配手册、点云和文本指令的多模态大语言模型，通过专用点云编码器提取几何与旋转特征，实现精确的6D装配位姿推理，并构建含90万样本的AssemBench基准，在真实机器人装配任务中取得最优性能。
Comments Project Page: https://assemlmhome.github.io/
MLUBench: 多模态大语言模型终身遗忘评估基准
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI
AI总结 提出MLUBench基准，评估多模态大模型在连续遗忘请求下的性能，发现现有方法存在累积退化，并揭示多模态对齐保持的挑战，提出LUMoE方法缓解退化。
Comments 36 pages, accepted to the ICML 2026
MinhwaNet: 韩国民俗画中忠实但不足的对象定位
机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 提出MinhwaNet，通过部分级检测器生成对象证据图，发现韩国民俗画中符号列表不足以预测画作类型，而符号布局更重要，揭示了忠实但不足的解离现象。
DSAEval：在广泛真实世界数据科学问题上评估数据科学智能体
机构 * Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Applied Mathematics, Hong Kong Polytechnic University（应用数学系，香港理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出包含641个真实数据科学问题的基准DSAEval，涵盖多模态环境感知、多查询交互和多维评估，系统评估13个先进LLM智能体，发现Claude-Sonnet-4.5综合最优，多模态感知提升视觉任务性能2.04%-11.30%。
基于层级肿瘤结构比较的统一MRI脑图像翻译
机构 * South China University of Technology（华南理工大学） ； UTS Data Science Institute, University of Technology Sydney（悉尼科技大学UTS数据科学研究所）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出HTSCGAN模型，通过层级肿瘤结构比较和多种损失函数，提高多模态MRI脑图像翻译质量，在BraTS2020/2021上表现优异。
TokaMark：MAST托卡马克等离子体模型的综合基准
机构 * IBM Research Europe（IBM欧洲研究院） ； UK Atomic Energy Authority（英国原子能局） ； STFC Hartree Centre（STFC哈特ree中心）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI
AI总结 为解决聚变数据稀缺、分散且标注不一致的问题，提出TokaMark基准，包含14项任务，统一多模态聚变数据访问和评估协议，并提供基线模型，以加速数据驱动的AI等离子体建模。
面向杂乱环境中的可靠顺序物体抓取：RGMC 2025 亚军方案
机构 * School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院）
专题命中 多模态评测 ：multi-modal(abstract)
AI总结 针对杂乱环境中的顺序物体抓取任务，提出集成硬件-软件流水线，结合多功能夹爪设计与物体分布及遮挡关系新表示，实现高效识别、搜索与顺序抓取，获RGMC 2025亚军。
Comments First, Second and Third Coauthor contributed equally to this work
通过逐步偏好调优的多模态智能体迭代工具使用探索
机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Automation, Tsinghua University（自动化系，清华大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出SPORT方法，通过任务合成、步骤采样、步骤验证和偏好调优的迭代循环，使多模态智能体无需预收集数据即可自主探索和优化工具使用策略，在GTA和GAIA基准上分别提升6.41%和3.64%。
Comments 24 pages
基于非侵入式消费级脑机接口的多模态多智能体机器人认知对齐：概念验证探索
机构 * GOOGLE（谷歌） ； Paradigms of Intelligence（智能范式） ； Cambridge, MA, United States（马萨诸塞州剑桥市，美国） ； Mountain View, CA, United States（加利福尼亚州山景城，美国）
专题命中 多模态Agent ：multi-modal(title)
AI总结 提出一种框架，利用消费级脑机接口监测脑电信号，在高认知负荷时延迟智能体通信，实现认知对齐的多智能体交互，初步验证了实时信号处理、大语言模型与机器人结合的可行性。
Comments 19 pages, 9 figures, for associated video, see https://youtu.be/0Tav-G87XGs
Skill-3D：面向智能体3D空间推理的场景感知技能进化
机构 * Zhejiang University（浙江大学） ； University of Technology Sydney（技术悉尼大学） ； OPPO Research Institute（OPPO研究院）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出Skill-3D框架，通过场景记忆和技能库的协同进化，使智能体根据场景自适应选择工具，显著提升3D空间推理中工具使用的正确性和充分性。
感知、交互、推理：构建工具增强的视觉智能体用于空间推理
机构 * Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； NVIDIA（英伟达）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出PERIA智能体，通过视觉感知和交互工具增强VLM的空间推理能力，在13个基准上优于同类模型7.0%-14.8%。
地球科学基础模型：从感知到推理与发现
机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 多模态Agent ：multimodal(abstract)
AI总结 本文综述了地球科学基础模型，探讨了其从感知到多模态推理及科学发现的能力演进，并总结了其在大气、水圈、岩石圈等领域的广泛应用。
地理空间多模态基础模型的新兴灵活设计
机构 * Oak Ridge National Laboratory（橡树岭国家实验室）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.CV、cs.AI
AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。
PaLMR: 通过多模态过程对齐实现忠实视觉推理
机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究院） ； Unicom Data Intelligence, China Unicom（中国unicom数据智能）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出PaLMR框架，通过感知对齐数据层和过程对齐优化层，减少推理幻觉并提升视觉推理忠实度，在多个基准上取得最优结果。
Journal ref CVPR 2026 Findings
一种结合跨主体伪标签与语义对齐的多模态微手势识别框架
机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT)（合肥工业大学计算机科学与信息工程学院） ； School of Computer Science, University of Auckland (UOA)（奥克兰大学计算机科学学院）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对微手势识别中低信噪比、长尾分布和跨主体域偏移问题，提出多模态框架，通过显著性引导提取、平方根平滑加权、正交语义嵌入损失和跨模态伪标签策略，实现有效识别，F1分数达68.13%。
Comments 14 pages, 2 figures
何时对齐，何时预测：多模态学习的相图
机构 * Technion（以色列理工学院） ； Genentech（基因泰克公司） ； Brown University（布朗大学） ； Meta AI, FAIR
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 提出统一线性框架，通过信噪比模型揭示跨模态对齐与预测的互补失效模式，构建四区域相图指导多模态学习目标选择，并在非线性实验中验证。
PRISMR: 通过参数化表示内化克服多模态列表排序中的解析崩溃
机构 * Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） ； Independent Researcher（独立研究员）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 针对多模态长上下文场景中生成式列表排序的解析崩溃问题，提出PRISMR框架，用参数化结构条件替代临时上下文列表处理，通过轻量级超网络并行编码候选并生成LoRA权重，显著减少解析崩溃并提升排序性能。
Hölder++：改进多模态VAE中的质量-一致性权衡
机构 * Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs Supplementary Material（Hölder++：多模态VAE中质量与一致性权衡的改进补充材料）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)
AI总结 针对多模态VAE生成质量与语义一致性之间的权衡问题，提出Hölder++，通过精确Hölder池化、扩展架构和层次推理，在提升一致性的同时保持生成质量。
Comments Accepted at ICML 2026. Camera-ready version
缺失令牌提示的可靠性感知融合用于鲁棒多语种说话人识别
机构 * Hefei University of Technology（合肥工业大学） ； Intelligent Interconnected Systems Laboratory of Anhui Province（安徽省智能互联系统实验室）
专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)
AI总结 提出MRAF框架，通过可学习的缺失令牌和可靠性感知交叉注意力融合，解决多语种场景下跨语言泛化和人脸缺失时的鲁棒性问题，在POLY-SIM 2026测试集上取得高准确率。
Comments 8 pages, 3 figures, 4 tables
Brick: 面向混合模型范式的空间能力路由
机构 * Regolo AI ； Seeweb
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出Brick多模态路由器，通过六维能力评分与查询难度估计，结合成本惩罚几何规则调度模型，在质量与成本间实现灵活权衡。
Comments 17 pages, 5 figures. Technical report
从模仿到对齐：面向长距离人行道导航的人类偏好流策略
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出FlowPilot，一种仅使用单目RGB相机的无地图导航策略，通过锚定流匹配进行预训练，并引入人类偏好学习实现对齐，在长距离人行道导航中提升鲁棒性和社会合规性。
保持特征的潜在EnKF用于含激波流动的数据同化
机构 * Department of Mechanical Engineering, Johns Hopkins University（约翰霍普金斯大学机械工程系）
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 针对含激波流动中EnKF因多模态统计产生伪振荡的问题，提出在学习的低维潜在空间进行集合更新以保持激波特征，并通过共享解码器恢复物理状态，数值实验验证了无伪振荡的准确特征恢复。
Hellinger多模态变分自编码器
机构 * Department of Computer Science, Saarland University（萨尔兰大学计算机科学系） ； MPI-SWS, Saarland Informatics Campus（萨尔兰信息学校区Max Planck研究所）
专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出基于Hellinger距离的矩匹配近似方法HELVAE，避免子采样，在多模态变分自编码器中实现更优的生成一致性与质量权衡。
Comments Accepted at AISTATS 2026. Camera-ready version
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈