AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
ReactBench：通过系统评估的多模态幻觉因果驱动基准
机构 * East China Normal University（华东师范大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出ReactBench基准，通过对抗性图像和诱导幻觉的查询，系统评估多模态大模型在关系擦除、反事实属性、变化追踪和密集计数等任务中的因果幻觉。
DMC-CF: 用于因果推理的动态多模态反事实QA基准
机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； Alibaba Group（阿里巴巴集团）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 针对现有因果推理数据集规模有限或基于非真实数据的问题，提出基于真实视频的大规模多模态因果反事实推理基准DMC-CF-Static，并利用动态图干预框架构建动态评估基准DMC-CF-Dynamic，实验表明当前多模态大模型在真实场景下的因果推理能力仍需大幅提升。
多模式呼吸衰竭预测的前瞻性评估：胸部X光片能否在电子健康记录信号之外提升性能？
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 本研究提出一种门控多模态框架，集成结构化电子健康记录时间序列数据和胸部X光片基础模型表示，用于前瞻性预测ICU患者24小时内是否需要有创机械通气，结果显示相比仅使用电子健康记录的模型和医生预测，多模态融合提高了区分度、敏感性和阳性预测值。
ConceptM$^3$oE：面向可解释计算病理学的概念引导多模态专家混合模型
机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Dell Children’s Medical Center（德尔儿童医疗中心） ； The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） ； University of Nevada, Reno（内华达大学里诺分校）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出ConceptM$^3$oE框架，通过概念引导的多模态专家混合路径嵌入概念形成，并利用残差路径保持性能与可解释性，在脑肿瘤分类中优于基线并提升小样本性能。
TelecomTS：面向时间序列与语言分析的多模态可观测性数据集
机构 * Yale University（耶鲁大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI
AI总结 本文提出TelecomTS，一个来自5G电信网络的大规模多模态可观测性数据集，通过保留绝对尺度信息的异质协变量和多样化下游任务（异常检测、根因分析、多模态问答），揭示了现有模型在处理可观测性数据的高噪声、突变特性时的不足。
重新思考多模态时间序列预测的后训练方法
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google Research（谷歌研究）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出PostTime后训练方法，结合监督微调和基于可验证奖励的强化学习，利用大语言模型根据多模态上下文修正数值时间序列基础模型的预测，显著提升多模态时间序列预测性能。
含文本图像的机器翻译系统比较评估
机构 * ValgrAI - Valencian Graduate School and Research Network for Artificial Intelligence（ValgrAI - 瓦伦西亚人工智能研究生学院和研究网络）
专题命中 多模态评测 ：multi-modal(abstract)；MLLM(abstract_cn)；分类 cs.CL
AI总结 本研究比较评估了三种机器翻译范式（模块化流水线、多模态大语言模型和端到端模型Translatotron-V）在含文本图像翻译任务上的性能，发现多模态大语言模型表现最佳。
MedMosaic：一个具有挑战性的多样化医学音频大规模基准
机构 * Centific Global Solutions Inc.（Centific全球解决方案公司） ； University of Maryland, College Park, MD, USA（马里兰大学学院市分校）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 为解决医学音频数据稀缺和现有基准不足的问题，提出MedMosaic数据集，包含多种医学音频类型和46701个问答对，用于评估语言和音频推理模型，实验表明推理仍具挑战性。
Comments Accepted at ICML 2026
ROVER: 面向对象中心视觉证据的路由用于基于多图像推理
机构 * Kuaishou Technology（快手科技）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出ROVER，一种轻量级可学习插件，通过对象中心差分注意力聚合上下文、蒸馏图像内线索并路由历史感知证据，实现高效全局视觉证据路由，在多图像推理中提升答案和定位精度。
FakeVLM-R1：通过思维链内化物理定律进行合成图像检测
机构 * Shanghai AI Lab（上海人工智能实验室） ； Nanjing University（南京大学） ； Sun Yat-Sen University（中山大学） ； Shenzhen University（深圳大学） ； Peking University（北京大学） ； Tsinghua University（清华大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出FakeVLM-R1框架，结合监督微调、组相对策略优化和批判性思维链机制，通过双向辩证推理和物理常识构建真实性反证，实现高精度、逻辑可解释的合成图像检测，解决现有方法的过度拒绝偏差。
RAISE：将RAG设计视为架构搜索问题
机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出将检索增强生成（RAG）系统的设计选择形式化为架构搜索问题，并构建RAISE框架和基准，通过标准化搜索空间和预算评估13种优化算法在7个数据集上的表现，发现优化性能高度依赖任务。
ChartAct: 动态图表理解基准
机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； MOE KLNN Lab, Xi’an Jiaotong University（西安交通大学MOE KLNN实验室）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出ChartAct基准，通过收集673个动态图表和1440个问答样本，评估多模态模型在交互式图表理解中的能力，发现现有模型表现有限。
大规模人工智能与基础模型在神经科学中的应用：综合综述
机构 * Department of Systems Engineering, Stevens Institute of Technology（系统工程系，史蒂文斯理工学院） ； Department of Neurology and Weill Institute for Neurosciences, University of California San Francisco（神经病学系和Weill神经科学研究所，旧金山大学） ； Duke Institute for Brain Sciences, Duke University（杜克大学脑科学研究所） ； Division of Systems Engineering, Department of Electrical and Computer Engineering, Boston University（系统工程 division，电气与计算机工程系，波士顿大学） ； Department of Neuroscience, School of Translational Medicine, Monash University（神经科学系，转化医学学院，莫纳什大学） ； Department of Neurology, Alfred Hospital, Melbourne, Victoria, Australia（神经病学系，阿尔弗雷德医院，墨尔本，维多利亚州，澳大利亚） ； Department of Radiology and Biomedical Imaging, University of California, San Francisco, CA, USA（放射学与生物医学成像系，旧金山大学，加州，美国） ； Department of Psychiatry and Behavioral Sciences, School of Medicine, Stanford University（精神病学与行为科学系，医学院，斯坦福大学） ； Wu Tsai Neurosciences Institute, Stanford University（吴氏神经科学研究所，斯坦福大学） ； Stanford Institute for Human-Centered AI, Stanford University（斯坦福大学人本人工智能研究所）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文综述了大规模AI模型在神经科学四个主要领域（神经影像与数据处理、脑机接口与神经解码、临床决策支持与转化框架、神经系统与精神疾病特定应用）的应用，展示了其在多模态数据整合、时空模式解释和临床转化方面的潜力，并强调了严格评估、领域知识整合、临床验证和伦理指南的重要性。
Comments Accepted for publication in Meta-Radiology
FORGE：面向工业数据集中生成式检索的语义标识符构建
专题命中 多模态评测 ：multimodal(abstract)
AI总结 提出FORGE基准，通过多视角分类和离线实验研究语义标识符构建策略，并设计无需完整GR训练的新评估指标，在淘宝线上A/B测试中实现交易量提升0.35%。
Comments Accepted by KDD 2026
MIRAGE：用于全脑fMRI编码的自适应多模态门控
机构 * Qwen3-Omni-30B-A3B-Thinking（通义千问3- Omni-30B-A3B-Thinking）
专题命中 多模态Agent ：multimodal(title,abstract)；omni-modal(abstract)
AI总结 提出MIRAGE框架，通过原生多模态骨干网络和自适应特征门控，实现全脑fMRI对自然视听刺激的高精度编码，并证明原生多模态特征优于后期融合的单模态特征。
Comments Preprint. First two author contributed equally
快门之前：3D场景中美学的且可执行的人像摄影规划
机构 * The Hong Kong Polytechnic University（香港理工大学）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出在3D场景中生成人像姿态、相机、照明和曝光方案的方法，通过构建摄影场景图实现美学引导的规划，生成视觉上引人注目且几何与光度可行的人像。
VLA-Trace: 通过表示与行为追踪诊断视觉-语言-动作模型
机构 * University of Science and Technology of China（中国科学技术大学） ； University of Manchester（曼彻斯特大学） ； Beihang University（北航） ； Fudan University（复旦大学） ； University of New South Wales（新南威尔士大学）
专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出VLA-Trace诊断框架，通过表示演化、因果控制归因和行为表现分析，揭示VLA模型在多模态知识向具身控制转化中的机制，发现不同模型在微调适应、多模态路由和语义遵循上的差异与局限。
GUITestScape：面向探索性GUI测试的开放集评估
机构 * Beijing Jiaotong University（北京交通大学） ； Independent Researcher（独立研究者）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.AI
AI总结 提出GUITestScape基准和GUIJudge评估器，通过覆盖交互与显示缺陷的508个预设缺陷及过程感知评估方法，解决现有GUI测试评估局限于预定义标注和交互缺陷的问题。
计划方式重要吗？LLM网络代理计划表示的实证研究
机构 * Concordia University（康科德大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Copenhagen（哥本哈根大学） ； Universite Claude Bernard Lyon（克莱尔蒙特-伯恩大学） ； McGill University（麦吉尔大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本研究提出PlanAhead框架，通过自动难度分类和四种计划表示（顺序子目标、叙述、伪代码、检查清单）的对比实验，发现计划表示形式和生成计划的LLM显著影响网络代理的鲁棒性和任务成功率。
Comments Extended version of paper submitted to EMNLP, waiting for acceptance
Battery-Sim-Agent: 利用LLM智能体进行电池逆参数估计
机构 * Peking University（北京大学） ； Microsoft Research（微软研究院） ； Zhejiang University（浙江大学） ； Chalmers University of Technology（皇家理工学院）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI
AI总结 提出Battery-Sim-Agent框架，将电池逆参数估计重构为推理任务，利用LLM智能体与高保真模拟器闭环交互，通过物理假设和结构化参数更新，显著优于贝叶斯优化等黑箱优化方法。
Embodied3DBench: 视觉语言模型低级具身空间智能的基准测试
机构 * CFCS, School of CS, PKU（计算机学院CFCS，北京大学） ； Jingdong Technology Information Technology Co., Ltd（京东科技信息技术有限公司）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 提出Embodied3DBench基准，通过6类任务（空间结构理解与交互导向感知）系统评估视觉语言模型在3D环境中的低级空间智能，并合成130万QA对训练数据以弥补能力差距。
结合准静态和高频实验对脑组织进行粘弹性表征
专题命中 多模态Agent ：multi-modal(abstract)
AI总结 通过准静态大应变流变仪和高频磁共振弹性成像实验，校准分数阶Kelvin-Voigt模型，统一不同时间尺度的脑组织力学行为。
离线多智能体强化学习通过序列得分分解
机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院） ； School of Computer Science, Tongji University, Shanghai, China（同济大学计算机科学学院） ； Vector Institute（向量研究所）
专题命中 多模态Agent ：multimodal(abstract)
AI总结 针对离线合作多智能体强化学习中联合动作空间高维和异质行为数据导致的策略分布偏移问题，提出序列得分函数分解方法，利用扩散模型从多模态离线数据中学习每个智能体的正则化信号，指导策略更新至高分、分布内区域，在多个粒子环境和多智能体MuJoCo基准上实现最先进性能。
Comments ICML 2026 Accepted
Journal ref Forty-Third International Conference on Machine Learning, 2026
轻量级多模态大语言模型驱动的输电设备经济高效缺陷分级
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CL
AI总结 提出基于多模态大语言模型的缺陷分级框架，通过上下文学习最大化商业模型潜力，并利用链式思考问答对微调轻量级模型，实现低成本高精度分级。
Comments 9pages, 6figures
利用深度估计增强热高斯泼溅
机构 * Technical University of Munich（技术大学慕尼黑） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与人工智能研究所） ； Human-Centered Computing and Extended Reality Lab（以人为本计算与扩展现实实验室） ； TUM University Hospital（技术大学慕尼黑医院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一种仅使用热红外图像和深度估计的单模态方法TDg，通过热到深度高斯泼溅推导辐射场，在渲染质量和训练时间上优于多模态基线。
Comments 8 pages, 4 figures. Accepted and will be published in ISPRS proceedings (ISPRS Congress 2026)
KairosAgent：融合语义推理的智能体时间序列预测
机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） ； Ant Group（蚂蚁集团）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出KairosAgent框架，通过结合基于LLM的推理器和基于TSFM的预测器，并引入强化学习范式，实现跨模态时间序列的零样本预测。
SDF-Net：面向光学-SAR船舶重识别的结构感知解耦特征学习
机构 * Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间利用技术与工程中心） ； Key Laboratory of Space Utilization, Chinese Academy of Sciences（中国科学院空间利用重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Software, Beihang University（北航软件学院）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 针对光学与SAR图像间辐射差异导致的船舶重识别挑战，提出SDF-Net，通过结构一致性约束和解耦特征学习，实现模态不变的身份特征提取，在HOSS-ReID数据集上达到最优性能。
SAGE: 面向令牌高效手语翻译的分段感知无词汇编码
机构 * CVSSP, University of Surrey, United Kingdom（CVSSP，萨里大学，英国）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出分段感知视觉标记化框架，通过手语分段将连续视频转换为离散视觉令牌，结合令牌级对比对齐和双层监督，在减少序列长度50%的同时，在PHOENIX14T基准上超越现有方法。
Comments Accepted in International Conference on Computer Vision (ICCV) Workshops. Code released at https://github.com/JianHe0628/SAGE
表示对齐依赖于线性结构
机构 * Massachusetts Institute of Technology（麻省理工学院）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI
AI总结 本文通过信号、偏差和噪声的三部分统计框架研究柏拉图表示假说，提出对齐源于对象与属性的线性关系，并通过稀疏自编码器提取线性特征、中心化和归一化减少偏差、以及数据稀缺导致噪声等证据支持该框架。
HyperVision: 一种通道自适应的地基高光谱视觉预训练骨干网络
机构 * Griffith University, Australia（格里菲斯大学，澳大利亚） ； Wuhan University, China（武汉大学，中国） ； Nanjing University of Science and Technology, China（南京理工大学，中国） ； Huaiyin Normal University, China（淮阴师范学院，中国） ； Massey University, New Zealand（马斯sey大学，新西兰）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 针对地基高光谱传感器配置差异、标签稀缺与不一致、数据集规模有限等问题，提出首个地基高光谱预训练骨干HyperVision，采用通道自适应动态嵌入、多源伪标签和跨模态知识蒸馏，在三个下游任务上取得最优性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈