AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
ASRU：激活引导与强化遗忘融合用于多模态大语言模型
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。
ARGUS: 堆叠多视角身份马赛克注入用于主体保持的视频生成
机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） ； Xiamen University（厦门大学）
专题命中 多模态生成 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 提出ARGUS框架，通过堆叠多视角身份马赛克注入（SMII）将身份表示为紧凑动态分布，结合MLLM身份导演、无交叉对反事实训练等模块，在主体保持视频生成中达到SOTA。
Comments 13 pages, 3 figures
EvoLMM：具有连续奖励的自进化大型多模态模型
机构 * Mohamed bin Zayed University of AI（Mohamed bin Zayed人工智能大学） ； Aalto University（阿alto大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林肯大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出EvoLMM框架，通过单个骨干模型实例化提议者和求解者两个协作智能体，利用连续自奖励过程无监督地提升LMM推理能力，在ChartQA等基准上取得约3%的提升。
Comments 9 pages, 6 figures
基于扩散的多模态大语言模型的视觉冗余控制并行解码
机构 * Zhejiang University（浙江大学） ； ZJUI-UIUC Institute（ZJUI-UIUC研究院）
专题命中 多模态生成 ：multimodal(title,abstract)
AI总结 针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。
Comments 18 pages, 5 figures, preprint. Code is available at https://github.com/infiniteYuanyl/VRCD
合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道
机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学）
专题命中 多模态生成 ：multimodal(title)；分类 cs.AI
AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。
Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes
Journal ref Machine Learning with Applications, 25 (2026), 100959
物理信息驱动的生成式AI在半导体制造中的应用：通过构造强制生成模型中的硬物理约束
机构 * School of Electrical and Computer Engineering, University of Oklahoma（俄克拉荷马大学电气与计算机工程学院） ； Center for Quantum Research and Technology, University of Oklahoma（俄克拉荷马大学量子研究与技术中心） ； Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory（创新研究与工程智能神经形态与量子理解实验室） ； Material Science and Engineering Program, University of Oklahoma, Norman, OK 73019 USA（俄克拉荷马大学材料科学与工程项目，Norman, OK 73019 USA）
专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI
AI总结 针对半导体制造中生成模型必须满足硬物理约束的问题，本文提出通过构造集成物理信息（如物理信息扩散、PDE约束变分模型等）来强制约束，而非事后过滤，并给出四种集成模式和未来研究方向。
T2MM：一种支持基于探究建模的LLM架构
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI、cs.MM
AI总结 提出T2MM架构，利用LLM在生态建模软件VERA中生成交互式模型，优于全代码生成基线。
Comments 16 pages, 4 figures
MentisOculi: 揭示心智图像推理的局限性
机构 * Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MentisOculi基准，通过多步推理问题测试前沿模型利用视觉表示辅助推理的能力，发现视觉策略普遍无法提升性能，且统一多模态模型存在生成错误累积和无法利用真实可视化的问题。
Comments 9 pages, 8 figures, Accepted at ICML 2026
基于扩散的累积对抗净化方法用于视觉语言模型
机构 * KTH Royal Institute of Technology（皇家理工学院） ； Swiss Federal Institute of Technology Lausanne（洛桑联邦理工学院） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹中心） ； RISE Research Institutes of Sweden（瑞典RISE研究机构） ； Halmstad University（哈马碧大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出DiffCAP，一种基于扩散的对抗净化策略，通过理论证明对抗效应随扩散单调衰减，并利用噪声注入与VLM嵌入相似度阈值自适应净化，显著提升防御效果并加速去噪。
Comments Accepted to Transactions on Machine Learning Research (TMLR 2026)
开放域定制视频生成的综合生态系统
机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Seoul National University（首尔国立大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出百万级数据集PexelsCustom-1M和参数高效框架CustoMDiT，仅用8%额外参数实现定制视频生成，并构建千类基准OpenCustom，开源整个生态系统。
Comments 5 pages, 3 figures, 4 tables. Accepted by ICASSP 2026
P3D-Bench：用于参数化3D生成与结构推理的多模态大语言模型基准
机构 * Nanjing University（南京大学） ； Envision
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出P3D-Bench基准，通过参数化3D程序评估多模态大语言模型在几何精度、语义对齐和装配一致性上的表现，涵盖文本到3D、图像到3D和装配3D三类任务。
Comments Project page: https://spatiaos.github.io/projects/P3D-Bench
整流流中对比速度匹配的几何擦除
机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 提出GEM框架，通过对比速度匹配实现整流流模型中的概念擦除，结合生成流网络与教师引导的流匹配，有效抑制有害内容生成。
什么语义能经受住连接器的考验？视频编辑中VLM到DiT对齐的诊断
机构 * HKUST（香港理工大学） ； FDU（福建大学） ； ZJU（浙江大学） ； NUS（新加坡国立大学）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV
AI总结 本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题，通过提出TRACE-Edit数据集和诊断协议，发现连接器模块会导致细粒度结构语义的严重退化，挑战了原有假设。
扩散以协调：高效在线多智能体扩散策略
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 提出首个在线离线策略多智能体强化学习框架OMAD，利用扩散策略和松弛策略目标最大化缩放联合熵，实现高效探索与协调，在MPE和MAMuJoCo上样本效率提升2.5至5倍。
自然环境中机器人感知的跨模态基准测试
机构 * CSIRO Robotics, CSIRO, Australia（CSIRO机器人研究所，CSIRO，澳大利亚） ； University of Sydney (USyd), Australia（悉尼大学（USyd），澳大利亚） ； Queensland University of Technology (QUT), Australia（昆士兰理工大学（QUT），澳大利亚）
专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 针对自然环境中机器人感知的挑战，提出WildCross跨模态基准，用于大规模自然场景下的地点识别和度量深度估计，并扩展了度量深度估计实验。
Comments Accepted to the IEEE ICRA Workshop on Open Challenges for Rigorous Robot Perception 2026
人类引导的智能体AI用于多模态临床预测：来自AgentDS医疗基准的教训
机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 通过人类引导智能体AI在多模态临床预测任务中取得领先性能，提炼出领域知识引导特征工程、任务特定多模态融合和临床动机模型集成三大通用经验。
Comments Presented at the Data Challenge track at the 14th IEEE International Conference on Healthcare Informatics (ICHI) 2026 on June 3, 2026
M4FC：一个多模态、多语言、多文化、多任务的真实世界事实验证数据集
机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Ubiquitous Knowledge Processing Lab（ubiquitous知识处理实验室） ； Department of Computer Science, TU Darmstadt（TU Darmstadt计算机科学系） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） ； Department of Electrical Engineering, KU Leuven（KU Leuven电气工程系） ； Department of Computer Science, KU Leuven（KU Leuven计算机科学系）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL
AI总结 为解决现有事实验证数据集规模小、语言单一、任务局限等问题，提出包含4982张图片和6980条声明的多模态数据集M4FC，覆盖6个验证任务，并提供基线结果。
Comments Preprint under review. Code and data available at: https://github.com/UKPLab/M4FC
使用多模态AI代理进行可持续性评估
机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（保罗·G·艾伦计算机科学与工程学院，华盛顿大学） ； Computer Science and Engineering, University of Notre Dame（计算机科学与工程，诺丁汉大学） ； Electrical and Computer Engineering, Northeastern University（电气与计算机工程，东北大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出多模态多代理AI系统，模拟生命周期评估专家与利益相关者协作，自动估算电子设备碳足迹，将数据收集时间从数周缩短至一分钟，误差在19%以内。
Comments This article is published in Nature Electronics, and is available online at: https://www.nature.com/articles/s41928-026-01653-w
MealMeter：利用多模态感知与机器学习自动估计营养摄入
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 MealMeter通过整合多模态传感器数据与轻量级机器学习模型，实现高精度的营养摄入估计，其在碳水化合物的MAE和RMSRE分别达到13.2克和0.37，优于基线方法。
MSUE：多模态足球理解专家
机构 * South China University of Technology（华南理工大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 多模态评测 ：multi-modal(title)；分类 cs.CV、cs.AI
AI总结 提出MSUE多专家问答架构，结合VLM数据合成管道与LLM动态调度文本、图像、视频专家，在SoccerNet VQA挑战中达到0.95准确率，获第三名。
Comments 6 pages, 1 figures
MedVeriSeg: 教授LISA-like医学分割模型验证查询的有效性而无需额外训练
机构 * School of Aeronautics and Astronautics, Zhejiang University（浙江大学航空宇航学院） ； Southern Medical University（南方医科大学） ； School of Computer Science and Technology (School of Artificial Intelligence), Zhejiang Sci-Tech University（浙江科技学院计算机科学与技术学院（人工智能学院）） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出MedVeriSeg，一种无需训练的查询验证框架，使LISA-like医学分割模型能够拒绝虚假分割查询。通过相似性响应质量评分模块和轻量级路由多代理验证模块，提升验证鲁棒性，并构建MedVeriSeg-Bench基准，有效减少幻觉分割。
Comments 13 pages, 9 figures
OpenMedReason: 医学视觉语言模型的科学推理监督
机构 * York University（约克大学） ； Vector Institute（向量研究所） ； University of British Columbia（不列颠哥伦比亚大学） ； University of Toronto（多伦多大学） ； Unity Health Toronto / St. Michael’s Hospital（多伦多联合健康/圣迈克尔医院） ； University Health Network（大学健康网络） ； Arc Institute（弧研究所） ； Queen's University（女王大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出OpenMedReason，一个包含约45万图像-问题-答案实例的大规模开放医学推理语料库，其推理轨迹主要来自生物医学科学文章，并配套基准OpenMedReason-Bench进行细粒度评估，在监督微调和强化对齐中有效提升模型性能。
Comments 42 pages, 9 figures, 24 tables. Dataset and code: https://huggingface.co/datasets/neginb/OpenMedReason
MedCTA: 临床工具智能体基准
机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出MedCTA基准，基于放射影像、病理切片和报告等真实临床多模态输入，评估医疗AI智能体在工具检索、证据获取和集成方面的规划与执行能力。
Comments Project Page: https://ivul-kaust.github.io/MedCTA/ Code: https://github.com/IVUL-KAUST/MedCTA Data: https://huggingface.co/datasets/IVUL-KAUST/MedCTA
OpenVTON-Bench：用于可控虚拟试穿评估的大规模高分辨率基准
机构 * Renxing Intelligence, Hangzhou, China ； Hangzhou Dianzi University, Hangzhou, China（杭州电子科技大学）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出OpenVTON-Bench，包含约10万对高分辨率图像，通过DINOv3聚类和Gemini描述构建，并设计多模态评估协议，沿五个维度衡量试穿质量，与人类判断高度一致。
Comments Under review for the NeurIPS 2026 Datasets and Benchmarks Track
具身基准构建的智能自动化：流程、具身、模拟器与趋势
机构 * University of Electronic Science and Technology of China（电子科技大学） ； Qiyuan Lab（启元实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文综述具身智能基准构建的五阶段流程，分析从人工到自动化再到智能体闭环的转变，指出自动化将成本转向验证与治理。
理解跨传感器特征变化以实现可泛化的3D感知
机构 * Zhejiang University（浙江大学）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 针对雷达-相机BEV感知跨数据集性能下降问题，提出频域场景变化建模框架，通过合成多样源域视图并正则化融合表示，提升3D检测器鲁棒性，无需目标域样本。
RAIL: 基于CHC框架重新思考大型音频语言模型中的听觉智能
机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； Faculty of Psychology and Educational Sciences, Alexandru Ioan Cuza University of Iași（亚历山德鲁伊万库扎大学心理学与教育科学学院） ； School of Electronic Information, Wuhan University（武汉大学电子信息学院） ； School of Public Health, The University of Hong Kong（香港大学公共卫生学院） ； School of Computer Science, The University of Auckland（奥克兰大学计算机科学学院） ； Department of Data Science and Artificial Intelligence, Monash University（莫纳什大学数据科学与人工智能系）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 提出RAIL基准，基于CHC认知框架将听觉智能分解为五种核心能力，构建结构化评估任务，系统评测大型音频语言模型的认知行为。
大型语言模型在安全数据提取中的基准测试
机构 * SAP SE（SAP公司） ； Institute for Digital Transformation, Ravensburg-Weingarten University（拉文斯堡-魏恩加滕大学数字化转型研究所）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 针对安全数据表（SDS）的异构格式，本研究基准测试了四种大型语言模型（LLM）在文本与多模态处理下的提取性能，发现文本结合思维链提示的Gemini 1.5 Pro准确率最高（84%），但均未达到90%的可靠部署阈值。
Comments 18 pages, 8 figures, submitted to Applied Intelligence
MODF-SIR：面向社交智能推理的多智能体全模态蒸馏框架
机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院） ； Cloud and AI BU, Huawei（华为云与AI业务部） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院）
专题命中 多模态Agent ：omni-modal(title)；MLLM(abstract,abstract_cn)；multimodal(abstract)；multi-modal(abstract)
AI总结 提出基于轻量级多模态大语言模型的多智能体协作框架，通过知识蒸馏增强训练与推理，结合测试时适应、长尾事件提取和链式思维提示，在多个基准上取得最优结果。
IAPO：面向小型多模态代理工具使用的输入归因感知策略优化
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 提出输入归因感知策略优化（IAPO），通过强化学习对齐模型与教师模型的输入归因，提升多模态小语言模型的工具调用能力，在六个测试集上平均准确率提升3%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈