AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
FiRe：用于增强图像生成的细粒度多模态推理
机构 * KT Corporation（KT公司）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；image-text(abstract)；分类 cs.CV
AI总结 提出FiRe方法，通过细粒度多步推理和强化学习FiRe-GRPO，解决文本到图像生成中缺乏细粒度控制的问题。
审计多模态生成式搜索的可靠性
专题命中 多模态生成 ：multimodal(title,abstract)
AI总结 通过大规模审计Gemini 2.5 Pro系统，发现3.7%至18.7%的基于视频的生成式搜索声明未被引用来源支持，主要失败模式为不可验证的特异性与夸大声明。
Comments 14 pages, LaTeX, typos corrected, adding Data Availability section + examples in appendix, New plot(overview)
属性增强指令微调用于大型语言模型的多任务分子生成
机构 * School of Computer Science, Xiangtan University（湘潭大学计算机科学学院） ； College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Department of Computer Science, University of Tsukuba（东京大学理工学部） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）
专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI
AI总结 提出PEIT框架，通过多模态对齐预训练和指令微调，提升LLM在分子描述、文本分子生成、属性预测和多约束分子生成任务上的性能。
Comments 9
并非所有标记都同等重要：基于关键标记监督的动态上下文向量蒸馏用于长医学报告生成
机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； University of Technology Sydney（技术大学悉尼分校） ； School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 提出DIVE框架，通过关键标记监督和状态条件动态引导，解决长文本生成中标记级蒸馏忽略关键标记的问题，在医学报告生成任务上取得最佳性能。
Comments Preprint. 20 pages, 6 figures
黑盒成员推断攻击：针对图像生成模型的预训练数据
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出一种基于跨模态数据扰动的黑盒成员推断攻击框架SD-MIA，通过分析扩散模型对目标图像和扰动文本指令的去噪过程，有效检测预训练数据中的成员关系。
Comments 13 pages, 9 figures; CVPR 2026 camera-ready
BEAT: 节奏弹性对齐用于智能音乐引导的电影预告片生成
机构 * The University of Sydney（悉尼大学） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出BEAT框架，通过音乐-视觉对齐编码器MuVA和能量自适应动态规划算法Bar-DP，实现弹性多对一节奏对齐，用于端到端电影预告片生成。
先设计，后编码：无模板的美观幻灯片生成
机构 * School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Innovation Institution（上海创新研究院） ； Fudan University（复旦大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出DeepSlides层次化幻灯片生成流程，通过解耦设计与实现、引入SlideDesign数据集和多智能体强化学习训练范式，在无模板条件下生成高质量幻灯片。
通过最小切片传输计划的高效可迁移最优传输
机构 * Department of Computer Science, Vanderbilt University（范德比大学计算机科学系） ； Department of Mathematics, Florida State University（佛罗里达州立大学数学系） ； Department of Biostatistics & Bioinformatics, Duke University（杜克大学生物统计学与生物信息学系） ； Department of Electrical & Computer Engineering, Vanderbilt University（范德比大学电气与计算机工程系）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出最小切片传输计划（min-STP）框架，研究优化切片器在不同分布对间的可迁移性，并引入小批量公式以提高可扩展性，在点云对齐和流生成建模中实现一次性匹配和摊销训练。
D-OPSD：用于连续调优步蒸馏扩散模型的在线自蒸馏方法
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Z-Image Team, Alibaba Group（阿里集团Z-Image团队） ； University of California, San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出D-OPSD，一种在线自蒸馏训练范式，使步蒸馏扩散模型在监督微调中保持少步推理能力，通过让模型同时作为教师和学生，利用不同上下文条件（学生仅文本特征，教师多模态特征）最小化预测分布，学习新概念和风格而不牺牲原有少步能力。
Comments Project Page: https://vvvvvjdy.github.io/d-opsd/
Muddit: 通过统一离散扩散模型解放超越文本到图像的生成
机构 * M-E-AGI-Lab（M-E-AGI实验室）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出Muddit，一种统一离散扩散Transformer，结合预训练文本到图像骨干的强视觉先验与轻量文本解码器，实现跨文本和图像模态的快速并行生成，在质量和效率上优于大型自回归模型。
Comments Accepted to ICLR 2026. Codes and Supplementary Material: https://github.com/M-E-AGI-Lab/Muddit
NF-TrackLLM：用于LAE XL-MIMO系统的无人机轨迹与近场波束联合预测
专题命中 多模态生成 ：multi-modal(abstract)
AI总结 提出NF-TrackLLM框架，通过多模态语义感知和GPT-2时空推理，联合预测近场XL-MIMO系统中无人机轨迹和波束，实现高精度跟踪与波束预测。
加速的薛定谔-福尔默采样器
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出一种高效的随机龙格-库塔方案来加速薛定谔-福尔默采样器，用于复杂高维多模态分布采样，并证明其L^2-Wasserstein距离下的收敛阶为O(h^{3/2}|ln h|)。
MULTISEISMO: 面向跨模态地震理解的多模态地震数据集与模型
机构 * Pacific Northwest National Laboratory（太平洋西北国家实验室） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； Sandia National Laboratory（桑迪亚国家实验室） ； North Carolina State University（北卡罗来纳州立大学）
专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.CL
AI总结 针对地震学中多模态数据整合的缺失，构建了包含超过1.6万次地震事件的结构化多模态数据集MultiSeismo，并开发了专用多模态模型SeisModal，在跨模态地震推理任务上取得了优越性能。
Hi-SAM: 一种面向大规模推荐的分层结构感知多模态框架
机构 * Netease Cloud Music（网易云音乐）
专题命中 多模态评测 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 针对多模态推荐中语义ID离散化存在的次优分词和架构-数据不匹配问题，提出Hi-SAM框架，通过解耦语义分词器和分层记忆-锚点Transformer，在冷启动场景下显著提升推荐性能。
Comments Accepted at ACM KDD 2026 ADS
Athena: 利用数据高效的过程奖励模型增强多模态推理
机构 * Advanced Micro Devices Inc.（先进微器件公司） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出 Athena-PRM，一种多模态过程奖励模型，通过利用弱和强完成者之间的预测一致性高效生成高质量过程标签，在仅5000样本下显著提升复杂推理问题的逐步评估性能。
Comments TMLR 2026, https://openreview.net/forum?id=unWmplHccF
LiveK12Bench: 大型多模态模型真的征服了高中水平的考试吗？
机构 * Tencent PCG（腾讯PCG） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM
AI总结 本文提出动态多学科基准LiveK12Bench，通过自动化流水线和新颖的模拟考试评估方案，揭示大型多模态模型在真实考试场景下性能显著下降，尤其对复杂视觉布局敏感。
VIDA: 多模态机器翻译中视觉依赖歧义的数据集
机构 * Department of Informatics, Universität Hamburg（汉堡大学信息学院） ； Alibaba Group（阿里巴巴集团） ； Alibaba Cloud（阿里云）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出VIDA数据集，包含2500个精心策划的实例，用于评估多模态机器翻译中需要视觉证据才能解决的歧义，并引入以歧义消解为中心的指标，实验表明链式思维微调能提升跨分布歧义消解能力。
VT-Bench：视觉-表格多模态学习的统一基准
机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出首个视觉-表格多模态基准VT-Bench，涵盖9个领域14个数据集，评估23个模型，揭示视觉-表格学习的挑战。
Atari游戏挑战：多模态玩家体验评估的初步研究
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 通过收集游戏遥测、自我报告调查、生物特征和提示性回顾出声思维数据，研究多模态数据在玩家体验评估中的同步与分析方法，并探讨游戏难度对玩家体验的影响。
带符号双图学习的多模态信号恢复
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出一种联合信号恢复与双图学习的方法，通过矩阵正态先验和交替最小化求解非凸目标，并利用可展开网络实现参数学习，在合成与真实数据上优于现有方法。
Comments 34 pages, 10 figures, 2 tables. Submitted to APSIPA Transactions on Signal and Information Processing
RadarSim: 通过多模态神经场模拟单芯片雷达
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Bosch Research（博世研究） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV
AI总结 提出RadarSim，一种利用RGB相机高角分辨率从相机初始化的神经场生成多普勒雷达距离图像的统一可微渲染器，以解决雷达空间分辨率低的问题，并产生比纯雷达重建更清晰的几何和多普勒距离帧。
Comments Accepted to 3DV 2026. Project website: https://sally-chen.github.io/radar-sim/
OCR-Reasoning基准：揭示MLLMs在复杂文本丰富图像推理中的真实能力
机构 * South China University of Technology（华南理工大学） ； Huawei Technologies Co., Ltd（华为技术有限公司）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出OCR-Reasoning基准，包含1069个人工标注样本，覆盖6种核心推理能力和18个实际推理任务，通过双标注（最终答案和逐步推理过程）评估多模态大语言模型在文本丰富图像推理中的能力，发现最先进模型准确率均低于50%。
Comments ICLR 2026
AnchorDiff: 基于锚点图传播的无训练概念定位用于多模态扩散Transformer
机构 * School of Automation Science and Engineering（自动化科学与工程学院）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出AnchorDiff方法，通过锚点选择和混合图传播解耦语义定位与结构细化，解决多模态扩散Transformer中视觉混淆概念间的概念泄漏问题。
VisualNeedle: 信息密集场景中的主动视觉搜索基准
机构 * Hunyuan, Tencent（腾讯 Hunyuan） ； Peking University（北京大学） ； Zhejiang University（浙江大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型在细粒度感知基准中依赖捷径而非真实视觉证据的问题，提出VisualNeedle基准，通过反事实裁剪-黑化设置评估模型在信息密集场景中的主动视觉搜索能力，实验表明最佳模型准确率仅56.01%，落后人类63.00%。
PhyWorldBench：文本到视频模型中物理真实性的全面评估
机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； NVIDIA Research（NVIDIA研究） ； Northeastern University（东北大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出PhyWorldBench基准，通过1050个提示评估12个视频生成模型在物理规律遵循上的表现，并引入反物理类别，利用多模态大语言模型进行零样本评估。
Comments 35 pages, 21 figures
Journal ref ICLR 2026 oral
Furina: 碎片化不确定性驱动的拒绝不稳定攻击
机构 * School of Intelligence Science and Technology（智能科学与技术学院） ； State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 通过揭示大语言模型安全行为存在不稳定区域，提出多指标诊断框架并开发Furina攻击方法，利用碎片化场景提示诱导不确定性放大，实现高效越狱。
Comments This work is accepted as a regular paper at ICML 2026
当大脑存在分歧：生物模糊性是结构MRI合成淀粉样蛋白PET挑战的基础
机构 * Hawkes Institute, University College London, UK（霍克斯研究所，伦敦大学学院，英国） ； Department of Medical Physics and Biomedical Engineering, University College London, UK（医学物理与生物医学工程系，伦敦大学学院，英国） ； AINOSTICS Ltd, Manchester, UK（AINOSTICS有限公司，曼彻斯特，英国） ； Dementia Research Centre, UCL Queen Square Institute of Neurology, University College London, UK（痴呆研究中心，伦敦大学学院女王广场神经科学研究所，英国） ； UK Dementia Research Institute, London, UK（英国痴呆研究研究所，伦敦，英国） ； Department of Computer Science, University College London, UK（计算机科学系，伦敦大学学院，英国）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 通过控制实验证明，结构MRI到淀粉样蛋白PET合成性能受限的根本原因是生物模糊性（MRI与PET测量时间解耦的病理过程），而非模型架构能力，并表明引入血浆生物标志物等多模态信息可解决该问题。
Comments MICCAI 2026 accepted paper (no rebuttal)
解码科学实验图像：用于感知、理解和推理的SPUR基准
机构 * Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出SPUR基准，通过4264个问答对评估多模态大模型在科学实验图像上的细粒度感知、跨面板关系理解和专家级推理能力，揭示当前模型与专家水平的差距。
Comments Accepted to ACL 2026 Main Conference
稳定性意味着冗余：Delta注意力选择性停止用于高效长上下文预填充
机构 * Shanghai Jiao Tong University（上海交通大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 针对长上下文场景中预填充计算成本高的问题，提出一种无需训练的Delta注意力选择性停止策略（DASH），通过监控自注意力层更新动态来停止稳定令牌的处理，从而在不牺牲模型准确性和硬件效率的前提下实现预填充加速。
Comments Accepted to ACL 2026 main conference
TowerMind: 一个用于LLM作为智能体的塔防游戏学习环境与基准
机构 * Newcastle University（新castle大学） ； University of Auckland（奥克兰大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出TowerMind，一个基于塔防子类型的轻量级、多模态游戏环境，用于评估大语言模型在长期规划和决策中的能力，并揭示其与人类专家的性能差距及关键局限性。
Comments AAAI 2026 Oral
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈