AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
抗体环的标记化
机构 * Harvard University（哈佛大学） ； Prescient Design, Genentech（Prescient Design，基因泰克）
专题命中 跨模态检索 ：multimodal(abstract)
AI总结 提出Igloo多模态抗体环标记器，通过对比学习编码主链二面角和序列，高效检索相似环结构，提升H3环识别性能5.9%，并集成到蛋白质语言模型中改善抗体设计。
Comments 21 pages, 7 figures, 10 tables, code available at https://github.com/prescient-design/igloo
两全其美：通过统一离散流匹配实现多模态推理与生成
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google Research（谷歌研究） ； Sony Research, India（索尼印度研究） ； Indian Institute of Technology, Roorkee（印度理工学院罗尔基分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出UniDFlow框架，通过任务特定低秩适配器解耦理解与生成，并利用基于参考的多模态偏好对齐优化忠实性与可控性，在多个基准上达到最先进性能。
先感知后推理：一种用于高效可靠主动移动代理的预推理感知框架
机构 * HyperAI Team, Xiaomi Corporation（HyperAI团队，小米公司） ； Zhongnan University of Economics and Law（中南财经政法大学） ； Jilin University（吉林大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI
AI总结 提出预推理感知框架（PRPF），通过轻量级多模态主动感知器（MPP）进行干预门控和上下文压缩，仅在需要时激活主动代理推理器（PAR），以解决主动移动代理中干预时机与方式决策的目标错位和冗余推理问题。
联合音视频生成的推理时缩放
机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Luma AI
专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM、eess.AS
AI总结 针对联合音视频生成中多目标优化的挑战，提出多验证器框架与自适应奖励加权算法，在无需额外训练的情况下显著提升语义对齐、感知质量和音视频同步。
Comments Accepted by Transactions on Machine Learning Research (TMLR). Project page: https://jung-jaemin.github.io/ITS-AVGen-Proj/
多模态图神经网络与Transformer引导的自适应扩散用于临床前阿尔茨海默病分类
机构 * Pohang University of Science and Technology（浦项科学技术大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI
AI总结 提出一种结合扩散核与多头注意力的图神经网络框架，通过Transformer引导自适应扩散过程，有效融合多模态特征，提升临床前阿尔茨海默病分类性能并识别关键脑区。
Comments 10 pages, Accepted to MICCAI 2024
UNISON: 通过深度LLM融合的统一声音生成与编辑框架
机构 * The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong Polytechnic University（香港理工大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tsinghua University（清华大学） ； Huawei Research Hong Kong（华为香港研究）
专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 eess.AS
AI总结 提出UNISON，一个基于潜在扩散的统一框架，通过层间深度LLM融合和多任务架构，实现语音生成、声音生成和音频编辑，在多个任务上达到或超越专业模型性能，且参数量减少约4倍。
WISE: 一种基于世界知识的文本到图像生成语义评估方法
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 针对现有文本到图像生成模型缺乏复杂语义理解和世界知识整合评估的问题，提出WISE基准，包含25个子领域的1000个精心设计的提示，并引入WiScore指标评估知识-图像对齐，实验表明当前模型在整合世界知识方面存在显著局限。
Comments Accepted to ICML 2026. We have also released an updated version of the benchmark, WISE_Verified. Please refer to https://github.com/PKU-YuanGroup/WISE for the latest version
DMT-CBT：面向CBT咨询的纵向治疗状态建模
机构 * School of Information Science and Engineering, Lanzhou University（信息科学与工程学院，兰州大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL
AI总结 提出DMT-CBT框架，通过跨会话结构化治疗状态、多模态行为基础与工具增强干预，解决现有方法将CBT咨询简化为局部回复生成的问题，实现纵向治疗状态动态建模。
TimeOmni-VL：统一时间序列理解与生成的模型
机构 * Tsinghua University（清华大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 提出TimeOmni-VL框架，通过保真双向映射和理解引导生成，首次统一时间序列的理解与生成任务。
Comments Accepted by the Forty-third International Conference on Machine Learning (ICML 2026)
通过 HCM-GRPO 实现物理合理性推理：赋能紧凑模型以获得卓越性能
机构 * Tsinghua University（清华大学） ； Alibaba Health Information Technology Limited（阿里巴巴健康信息技术有限公司）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 针对多模态大语言模型在物理合理性推理中数据缺乏和推理能力弱的问题，提出包含大规模数据集和 HCM-GRPO 方法的完整解决方案，以紧凑模型超越大规模开源和闭源模型。
DiffUNet^2: 科学数据的双向预测、概率生成与协同视觉发现
机构 * Ohio State University（俄亥俄州立大学） ； NVIDIA ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
专题命中 多模态生成 ：any-to-any(abstract)
AI总结 提出基于扩散模型的条件生成框架DiffUNet^2，实现时间序列的双向任意步预测与概率分布捕获，并结合交互式可视化支持科学探索。
Comments 12 pages, 20 figures
层状材料中四方锂的可逆超密有序
专题命中 多模态生成 ：multimodal(abstract)
AI总结 利用多模态扫描透射电子显微镜结合成像、光谱和衍射，原位观测全固态电化学电池中锂的插层过程，发现LaTe3中三种有序相及高浓度下具有四方对称性的三层超密锂相，实现锂有序和动力学的完整追踪。
GLENS: 通过扩散模型从求解器迭代中学习进行全局搜索
机构 * Department of Electrical and Computer Engineering, Princeton University（电气工程与计算机科学系，普林斯顿大学） ； Department of Operations Research and Financial Engineering, Princeton University（运筹学与金融工程系，普林斯顿大学） ； Department of Mechanical and Aerospace Engineering, Princeton University（机械与航空航天工程系，普林斯顿大学）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出GLENS方法，利用扩散模型学习求解器迭代过程中的局部几何结构，生成高质量且多样化的初始猜测，加速多模态非凸优化问题的全局搜索。
WebRISE: 面向MLLM生成Web工件的需求诱导状态评估
机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； East China Normal University（华东师范大学） ； Tongji University（同济大学） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
专题命中 多模态评测 ：MLLM(title,title_cn)；分类 cs.CL、cs.AI
AI总结 提出WebRISE框架，通过交互契约图（ICG）将任务需求转化为可观察状态、用户意图转换和DOM/视觉断言，以评估MLLM生成的Web工件的功能正确性，实验表明ICG评分检测状态错误率是检查点评估的2-16倍。
OVO-S-Bench：多模态大语言模型中流式空间智能的分层基准
机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV
AI总结 提出OVO-S-Bench，一个完全人工标注的流式空间智能基准，包含1680个问题，涵盖四个抽象层次，评估38个MLLM，发现Gemini-3.1-Pro落后人类专家27分，流式空间微调MLLM表现不如其骨干模型。
Comments 48 pages, 12 figures, 15 tables. Project page: https://internlm.github.io/OVO-S-Bench/
半监督多模态人群计数基准
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室）
专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 本文构建了首个半监督多模态人群计数基准，通过制定标准化协议和评估多种基线方法，为该任务奠定基础。
Plan2Map: 基于规划记录的文档驱动地理空间边界重建的多模态基准
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出Plan2Map基准和GeoPlanAgent系统，通过文档证据提取、定位、地图配准、边界分割等步骤，从英国规划记录中重建地理空间边界，显著优于直接VLM方法。
Comments Project page: https://odeb1.github.io/Plan2Map_Project_Page/. Fabian Degen and Oishi Deb Contributed Equally
FRED：面向洪水道路环境的多模态自动驾驶数据集
机构 * Queensland University of Technology（昆士兰理工大学） ； ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)（农村和偏远地区自动化车辆培训中心（AVR3））
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出首个针对道路水险场景的多模态自动驾驶数据集FRED，包含相机、LiDAR和IMU数据，并提供语义标签以支持水险检测方法训练与评估。
Vision Inference Former：在多模态大语言模型中维持视觉一致性
机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Zhejiang University of Science and Technology（浙江理工大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型中视觉信息被弱化的问题，提出Vision Inference Former（VIF）轻量模块，在推理解码阶段持续注入视觉语义，提升生成内容与视觉的一致性。
回到柏拉图的洞穴：大规模检验跨模态表示收敛性
机构 * UC Berkeley（伯克利大学） ； Technical University Munich, MCML（慕尼黑技术大学） ； University of Tübingen, Tübingen AI Center（图宾根大学） ； Toyota Technical Institute at Chicago（芝加哥丰田技术研究所）
专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文通过大规模数据集实验，质疑了柏拉图表示假说中跨模态表示收敛的证据，发现对齐度随数据规模增大而显著下降，且仅反映粗粒度语义重叠。
Comments Project page: http://akoepke.github.io/cave_umwelten/
CORE: 面向冲突的通用多模态篡改检测推理
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出CORE框架，通过构建冲突归因语料库和面向冲突的推理，增强多模态大语言模型的冲突捕捉能力，实现鲁棒且泛化的多模态篡改检测。
Comments Accepted by ICML 2026
自动驾驶的未来之路：KITScenes多模态数据集
机构 * FZI Research Center for Information Technology（弗劳恩霍夫信息技术研究中心） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； University Charles III of Madrid（马德里第三大学） ； Delft University of Technology（代尔夫特理工大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出KITScenes多模态数据集，通过高保真传感器和完整HD地图，解决现有数据集在传感器精度、地图完整性和地理多样性上的不足，并引入四个基准推动空间学习。
Comments 28 pages, 21 figures
使用智能手机应用、加速度和乘客评分的多模态道路平整度评估
专题命中 多模态评测 ：multi-modal(title,abstract)
AI总结 提出一种基于智能手机IRI估计、车载GNSS-IMU测量和乘客PSR评分的低成本多模态道路平整度评估框架，验证了数据间的相关性及感知与物理指标的关联。
Comments 6 pages
多模态机器学习用于乳腺癌复发预测
机构 * Department of Industrial & Systems Engineering, The University of Tennessee, Knoxville, TN 37996, USA（工业与系统工程系，田纳西大学，诺克斯维尔，TN 37996，美国） ； The University of Tennessee Medical Center, Knoxville, TN 37920, USA（田纳西大学医学中心，诺克斯维尔，TN 37920，美国）
专题命中 多模态评测 ：multi-modal(title,abstract)
AI总结 本研究通过整合结构化与非结构化临床数据（治疗记录、病理报告和临床笔记），结合基于规则的正则表达式提取和优先级冲突解决策略，显著提升了乳腺癌复发预测的准确性。
Comments 33 pages, 10 figures
GeoDrive-Bench：自动驾驶中区域特定多模态推理的基准测试
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV
AI总结 提出GeoDrive-Bench基准，通过5053个跨六国人工验证的多选题，评估视觉语言模型在感知、预测、规划和区域推理四个驾驶任务中基于区域特定交通规则的推理能力，并设计蒸馏算法注入区域知识以提升模型性能。
高维结果与高维预测变量的快速筛选方法
机构 * School of Pharmacy, University of North Carolina, Chapel Hill（北卡罗来纳大学药学院） ； Maryland Psychiatric Research Center, School of Medicine, University of Maryland（马里兰大学医学院精神病研究中心）
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)
AI总结 提出图独立双筛选（GIDS）框架，同时降低响应变量和预测变量的维度，以解决高维交叉模态分析中的计算负担和可解释性问题。
Comments 38 pages, 2 figures
世界模型遇见语言模型：论具体推理与抽象推理的互补性
机构 * Nanyang Technological University（南洋理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 本文提出受控具体推理框架及PF-OPSD方法，通过结合世界模型的视觉模拟与多模态大语言模型的抽象推理，在空间前瞻和开放域物理预测任务上提升性能与鲁棒性。
基于高效Transformer的局部块采样用于多发性硬化脉络丛分割
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出一种基于SwinUNETR和局部块采样的方法，实现多发性硬化侧脑室脉络丛的自动分割，在降低99%计算量的同时取得优于现有模型的Dice系数。
SagaQA：面向电视剧长篇叙事理解的多跳推理基准
机构 * IRIT, University of Toulouse, France（法国图卢兹大学IRIT中心） ； Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局） ； CNRS, IRIT, France（法国CNRS与IRIT）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 提出SagaQA基准，通过跨剧集的多跳推理任务评估模型对完整电视剧多模态叙事的高层次理解，并比较并行、顺序和混合三种规划策略的性能。
通过宽基线匹配激发多模态大语言模型中的复杂空间推理
机构 * State Key Laboratory of CAD & CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） ； Ant Group（蚂蚁集团） ； Westlake University（西湖大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出ReasonMatch-Bench基准和动态对应强化学习（DCRL）方法，以系统评估和提升多模态大语言模型在宽基线匹配任务中的空间推理能力。
Comments CVPR 2026. Project page: https://aim-uofa.github.io/reasonmatch/ Code: https://github.com/aim-uofa/ReasonMatch
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈