AI 大模型
大模型数学、逻辑、规划、多步推理和测试时计算能力。
当自我信念误导：面向可验证奖励的强化学习的主动标签获取
机构 * Meituan（美团） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（新加坡国立大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 提出RLAVR框架，通过主动获取少量真实标签并与伪标签结合，利用CAG指标和CARE策略稳定训练并提升有限标注预算下的性能。
BacktestBench：面向自动化量化策略回测的大语言模型基准测试
机构 * Beijing Normal University（北京师范大学） ； Elmleaf Ltd.（Elmleaf公司）
专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI
AI总结 提出首个大规模自动化量化回测基准BacktestBench，包含18,246个问答对，并设计多智能体基线AutoBacktest，通过协调摘要器、检索器和编码器实现自然语言策略到可重复回测的转换。
Comments This paper has been accepted by KDD 2026 (Datasets and Benchmarks Track)
所有泄漏都重要，有些泄漏更重要：LLM回测中可解释的时间污染检测与缓解
机构 * Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学） ； Bridgewater AIA Labs（布里奇沃特AIA实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出基于Shapley值的声明级评估框架Shapley-DCLR和推理时架构TimeSPEC，用于检测和缓解LLM回测中的时间污染问题。
Comments 8 pages plus appendix
TS-Skill: 用于评估时间序列问答中分析技能的基准
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Samsung Research America（三星美国研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； Amazon（亚马逊）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 提出TS-Skill基准，通过三种可组合的分析技能（时间尺度选择、时间定位和跨区间整合）来诊断时间序列问答中模型的信号级能力，并开发SKEvol框架自动构建基准，实验揭示不同技能上的能力差距。
MDIA：HealthBench Professional上的多智能体诊断智能流水线
机构 * TietAI
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出MDIA多智能体诊断系统，通过7节点专业路由临床推理图架构，在非微调LLM上实现HealthBench Professional基准性能提升3.72个百分点，归因于系统架构设计而非提示工程。
Comments 33 pages, 10 figures
QASA: 面向鲁棒多模态情感分析的质量感知语义增强
机构 * School of Computer Science, South China Normal University（华南师范大学计算机学院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出QASA框架，利用扩散模型生成视觉和听觉增强样本，并通过解耦质量感知评分模块分配训练权重，以解决高质量数据稀缺问题，提升多模态情感分析的鲁棒性和泛化能力。
Comments 11 pages, 4 figures
IPR-1：交互式物理推理器
机构 * CARNEGIE MELLON UNIVERSITY（卡内基梅隆大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出IPR模型，通过世界模型滚动评分和强化VLM策略，结合物理中心动作代码PhysCode，在1000+异构游戏基准上实现鲁棒的物理推理，性能超越GPT-5并零样本迁移至未见游戏。
Comments Accepted by CVPR 2026. 13 pages of main text and 20 pages of appendices. Project page: https://mybearyzhang.github.io/ipr-1
VisualOverload: 在真正密集场景中探测VLM的视觉理解
机构 * Independent Researcher（独立研究者） ； JKU Linz（林茨JKU） ； MIT CSAIL ； Tübingen AI Center（图宾根人工智能中心） ； Stanford（斯坦福） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出VisualOverload基准，通过密集场景中的简单视觉任务测试VLM，发现最佳模型仅达69.5%准确率，揭示计数、OCR和逻辑一致性等关键缺陷。
Comments Accepted at CVPR 2026
PromptAudit: 审计基于LLM的漏洞检测中的提示敏感性
机构 * University of Central Florida（佛罗里达大学）
专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI、cs.LG
AI总结 提出PromptAudit框架，通过固定数据集、解码和解析仅变化提示策略，评估五种提示策略在五个开源模型上对1000个CVE（6074个代码样本，16种编程语言）的漏洞检测性能，发现标准思维链提示整体性能最佳，而提示敏感性是系统的一级属性。
FineBench: 细粒度人类活动理解的视觉-语言模型基准测试与增强
机构 * National Taiwan University（国立台湾大学） ； Google（谷歌） ； Independent Researcher（独立研究员）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 针对视觉-语言模型在细粒度人类活动理解上的不足，提出包含密集标注的长视频问答基准FineBench和增强框架FineAgent。
Comments CVPR'26 (Workshop on Video Large Language Models). Project Page: https://joslefaure.github.io/assets/html/finebench.html
折扣Beta-Bernoulli奖励估计用于基于可验证奖励的样本高效强化学习
机构 * KAIST（韩国科学技术院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 针对基于可验证奖励的强化学习样本效率低的问题，提出折扣Beta-Bernoulli奖励估计方法，利用历史奖励统计量降低估计方差并避免方差崩溃，在多个推理基准上显著提升性能。
Comments 14 pages, 3 figures
一种主动式多智能体对话框架用于评估自闭症中的社交语言障碍特征
机构 * Department of Computer Science（计算机科学系） ； University at Albany（阿尔巴尼大学） ； Department of Management Information System（管理信息系统系） ； West Virginia University（西弗吉尼亚大学） ； Department of Radiology（放射学系） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Humanities and Social Sciences（人文学与社会科学）
专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI
AI总结 提出TPA（思考、计划、询问）主动式多智能体对话框架，通过临床策略驱动的提问选择，在ADOS-2评估中实现82.1%的社交语言障碍特征覆盖率，比临床医生自动回放高16.6%。
GT-HarmBench：通过博弈论视角评估AI安全风险
机构 * ETH Zürich（苏黎世联邦理工学院） ； Berea College（贝雷学院） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（图宾根德国智能系统马克斯·普朗克研究所）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 提出GT-HarmBench基准，包含1535个高风险场景，基于博弈论结构（如囚徒困境、猎鹿博弈、斗鸡博弈）评估前沿AI模型在多智能体环境中的安全风险，发现模型在38%的高风险案例中未能选择对社会有益的行为，并验证了博弈论干预可提升18%的社会有益结果。
扩散语言模型的可学习性感知微调
机构 * Department of Computer Science and Engineering, Texas A\&M University, College Station, TX, USA（计算机科学与工程系，德克萨斯A&M大学，College Station, TX, USA） ； Department of Electrical and Computer Engineering, Texas A\&M University, College Station, TX, USA（电气与计算机工程系，德克萨斯A&M大学，College Station, TX, USA）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 针对扩散语言模型（DLM）推理能力提升问题，提出基于可学习性感知的微调算法LIFT，通过在不同扩散时间步对齐训练与信息可用性，在六个推理基准上超越现有SFT基线，在AIME'24和AIME'25上实现高达3倍的相对提升。
MedExpMem：适应经验记忆用于鉴别诊断
机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 提出MedExpMem经验记忆框架，通过存储和利用诊断失败中的判别经验，增强医学视觉语言模型的鉴别诊断能力，在放射学基准上最高提升7.0%准确率。
Comments MICCAI 2026 Early Accept. Submission Version
衡量跨模态协同：VLM可解释性的一个基准
机构 * University of Luxembourg（卢森堡大学） ； Luxembourg Institute of Health (LIH)（卢森堡健康研究院）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出Synergistic Faithfulness作为衡量VLM跨模态协同的指标，解决了传统单模态评估方法在评估VLM可解释性时的不足，通过引入Shapley交互指数，实现了对多模态协同的准确评估，同时提升了计算效率。
TextSeal: 一种用于溯源与蒸馏保护的本地化大语言模型水印
机构 * FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出TextSeal，一种先进的大语言模型水印技术，通过Gumbel-max采样引入双密钥生成以恢复输出多样性，并结合熵加权评分和多区域定位提升检测性能。该方法支持推测解码和多令牌预测等服务优化，不增加推理开销。在检测强度上严格优于基线方法SynthID-text，并对稀释具有鲁棒性，即使在混合的人类/AI文档中也能保持自信的本地化检测。理论上该方案无失真，经推理基准评估证实其保持下游性能；同时通过多语言人工评估（6000次A/B对比，5种语言）显示无明显质量差异。除了用于溯源检测外，TextSeal还具有'放射性'特性：其水印信号通过模型蒸馏传递，可检测未经授权的使用。
MoralityGym：用于评估序列决策代理中分层道德对齐的基准
机构 * University of the Witwatersrand（威特沃特斯兰大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出MoralityGym基准，通过将道德规范表示为有序的规范约束，评估序列决策代理中分层道德对齐的挑战，展示了98个伦理困境问题，并通过心理学和哲学的见解改进了伦理决策方法。
Comments Accepted at AAMAS 2026
Journal ref Proc of the 25th International Conference on Autonomous Agents and Multiagent Systems AAMAS 2026, Paphos, Cyprus, May 25 to 29, 2026, IFAAMAS
AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。
Comments 27 pages
通过语义层面奖励校准大型语言模型
机构 * Department of Computer Science and Engineering, University of California San Diego, La Jolla, California, USA（加州大学圣地亚哥分校计算机科学与工程系，拉贾尔，加利福尼亚州，美国） ； Halıcıoğlu Data Science Institute, University of California San Diego, La Jolla, California, USA（加州大学圣地亚哥分校Halıcıoğlu数据科学研究所，拉贾尔，加利福尼亚州，美国） ； Department of Statistics, Stanford University, Stanford, California, USA（斯坦福大学统计学系，斯坦福，加利福尼亚州，美国）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出了一种新的校准框架CSR，通过在语义空间中直接校准语言模型，避免了传统方法中因词汇化置信度导致的不一致问题，实验显示CSR在多个数据集上均能有效降低ECE并提高AUROC。
FT-Dojo: 向自主LLM微调迈进的语言代理
机构 * Peking University（北京大学） ； Nanjing University（南京大学） ； Microsoft Research Asia（微软亚洲研究院） ； The University of Chicago（芝加哥大学）
专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出FT-Dojo交互式基准环境，用于研究自主LLM微调，通过标准化任务接口、共享数据仓库、沙盒执行环境和反馈协议，开发了FT-Agent框架，实现了结构化迭代规划和多级反馈分析，实验显示FT-Agent在13个任务中表现优异，且展示了代理在故障恢复和长期规划中的能力。
Comments 26 pages, 6 figures, 11 tables
代理记忆的解剖结构：评估和系统限制的分类与实证分析
机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of California Davis（加州大学戴维斯分校） ； Texas A&M University（德克萨斯农工大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过分类和实证分析，探讨了代理记忆系统的架构和系统限制，揭示了现有系统在基准饱和效应、指标有效性、模型依赖性和内存维护开销等方面的问题，并提出了更可靠的评估方法和可扩展的系统设计方向。
END：早期噪声丢弃以实现高效有效的上下文去噪
机构 * Amazon（亚马逊）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出END方法，通过在早期层对输入序列进行分割和线性探针，有效识别并丢弃噪声部分，从而提升LLM在不同任务上的性能和效率，同时加深了对LLM内部上下文推理机制的理解。
进化编码代理进化什么？
机构 * Zuse Institute Berlin（柏林Zuse研究所） ； Technical University of Berlin（柏林技术大学） ； Hong Kong Baptist University（香港 Baptist大学） ； RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG
AI总结 本文研究了进化编码代理在数学发现和算法设计中通过任务特定反馈生成、修改和选择代码的过程，通过EvoTrace数据集和EvoReplay方法分析了进化过程中的机制，发现大部分得分提升来自少数几种编辑类型，并发现存在确定性的循环模式。
Comments 28 pages, 12 figures, 12 tables
LP-Eval: 用于衡量法律命题生成质量的评估标准和数据集
机构 * University of Copenhagen（哥本哈根大学） ； Umeå University（乌梅拉大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出LP-Eval，一种与法律专家共同设计的三步评估标准，用于评估法律命题的质量，通过专家标注的100个LLM生成的法律命题数据集，展示了LLM生成的命题质量较高，但专家评估发现基于经典案例的命题质量更高，同时发现基于评估标准的LLM判断更接近专家评估，但缺乏对细粒度区别的敏感性。
MINTEval: 评估长时间跨度智能体系统中的多目标干扰下的记忆
机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出MINTEval基准，用于评估智能体在长时间跨度和多目标干扰下的记忆表现，通过长连接上下文、多领域和多类型问题来测试记忆增强代理的鲁棒性和泛化能力。
Comments Equal contribution; order decided by a coin flip. Code and data: https://github.com/amy-hyunji/MINTEval
通过国际象棋解构大型语言模型中的泛化与记忆
机构 * Technical University of Munich（慕尼黑技术大学）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过国际象棋测试环境，研究大型语言模型中泛化与记忆能力的区别，发现模型在相关先验知识稀疏时性能显著下降，表明系统泛化能力有限，需超越规模的机制来实现鲁棒性。
WARC-Bench：基于网络存档的GUI子任务执行基准
机构 * Uniphore
专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出WARC-Bench，一个基于网络存档的GUI子任务执行基准，通过438个任务评估多模态AI代理在子任务上的能力，实验表明SFT和RLVR方法在提升子任务执行效果上取得显著成果。
通过代理指标预测大语言模型的下游性能
机构 * Mila – Quebec AI Institute & McGill University（魁北克AI研究院与麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； ServiceNow Research Periodic Labs（ServiceNow研究周期实验室）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出通过聚合候选模型的下一个token分布中的token级统计信息（如熵、top-k准确率和专家token排名）来构建代理指标，以更准确地预测大语言模型的下游性能，优于传统的损失和计算量基线方法。
Comments Preprint. 31 pages
STT-Arena：一种更现实的工具使用环境，包含时空动态
机构 * Hong Kong Institute of AI for Science, City University of Hong Kong（香港人工智能科学研究院，香港城市大学） ； Department of Data Science, City University of Hong Kong（数据科学系，香港城市大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Li Auto Inc.（李汽有限公司） ； Independent Researcher（独立研究者）
专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出STT-Arena基准测试，旨在评估大型语言模型在面对时空动态变化时的适应性规划能力，发现现有模型在处理此类动态问题时存在显著不足，并提出改进方法STT-Agent-4B以提升性能。
Comments Work in progress
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈