大模型推理能力

NVIDIA-labs OO Agents: Native Python Object-Oriented Agents

NVIDIA实验室的OO智能体：原生Python面向对象智能体

Paul Furgale, Severin Klingler, James Nolan, Matt Staats, Gaia Di Lorenzo, Elisa Martinez Abad, Christian Schüller, Razvan Dinu, Alessio Devoto, Pascal Berard, Gal Kaplun, Elad Sarafian, Riccardo Roveri, Leon Derczynski, Ricardo Silveira Cabral

机构 * NVIDIA-labs（英伟达实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出NOOA这一Python框架构建可靠AI智能体，采用智能体即Python对象的编程模型，结合六个面向模型的理念，证明当前模型能有效使用此接口并在相关测试中表现良好，为智能体开发提供新途径。

StabilityBench: Benchmarking Instability in LLMs

StabilityBench：评估大语言模型中的不稳定性

Emma Kondrup, Zachary Yang, Anne Imouza, Reihaneh Rabbany

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型实际行为难测、现有评估协议有局限的问题，提出StabilityBench基准测试工具，通过注入现实模拟增强现有基准，应用于四个基准测试评估九个模型，发现性能不稳定，还提出StabilityBench-Mini以实现更现实评估。

ConfidenceBench: Evaluating Confidence Calibration in Large Language Models

ConfidenceBench：评估大语言模型中的置信度校准

Matthew ffrench-Constant, Daniel Yang, Xinmeng Huang, Sanyam Kapoor

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型在特定场景下仅靠准确性不足的问题，提出ConfidenceBench校准基准，用Brier分数评估15个前沿LLMs口头置信度，经实验发现模型准确性与校准差异大，证明口头置信度校准是LLM可靠性重要维度，补充了基于准确性的评估。

Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain

电信-GAIA：电信领域智能体的双语基准测试

Dmitrii Khizbullin, Zaid Alyafeai, Abdelrahman Eldesokey, Nourah AlSultan, Raghad Alshalan, David R. Pugh, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； stc（沙特电信公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 介绍电信-GAIA双语多模态基准测试，含100个人工验证问答任务，需多跳推理，跨越多种异构源。以沙盒化Docker环境提供，通过规范化精确字符串匹配评分。评估发现其具有挑战性，为企业智能体提供测试平台和构建基准测试的模板。

Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models

基于超网络的大语言模型知识注入的缩放定律

Nischay Dhankhar, Dos Baha, Abulhair Saparov

机构 * Nace AI（Nace人工智能公司） ； Purdue University（普渡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型训练时知识注入问题，核心方法是用超网络生成LoRA适配器，主要贡献是发现超网络注入能力随规模变化规律，能可靠进行分布外泛化，为训练时适应提供新基础及缩放定律。

Comments Preprint, 22 pages, 14 figures. Dataset collection available at https://huggingface.co/collections/nace-ai/hypernetwork-datasets

Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX

在英特尔 TDX 下对 NVIDIA H100 上的机密 GPU 推理进行基准测试

Wei Wang, Abdul Hyee Waqas, Burns Smith

机构 * Mozilla 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 研究在英特尔 TDX 下 NVIDIA H100 GPU 上，比较标准与机密计算模式对语言模型推理的影响。通过两个模型实验，测量多项指标，发现机密模式会使首次令牌时间增加、全局令牌吞吐量下降，较大模型更早饱和，为容量规划提供参考。

Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards

超越分数预测：基于强化学习和评分标准奖励的基于大语言模型的作文评分与反馈生成

Xuefeng Jin, Jiashuo Zhang, Teng Cao, Bin Yang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究基于大语言模型的作文评分与反馈生成，提出RLAES框架，通过强化学习联合优化。引入RFE评估框架，提出AGFO和ACR方法。实验表明RFE能捕捉一致性，RLAES-AGFO在评分性能上最佳，保持反馈质量同时避免反馈退化。

Comments 12 pages, 4 figures, 9 tables

Supra Cognitive Modes: A Routed Architecture for Agent Memory

超认知模式：一种用于智能体记忆的路由架构

Joshua Tobkin, David Yang

机构 * Supra Research（超研） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究智能体记忆工作负载，提出超认知模式（SCM）架构，通过共享摄取底层及相关机制处理查询，在三个基准上进行表征，给出参考运行成绩等，展示了一种路由配置及故障模式，验证了相关设计。

Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges

基于多模态语言模型的计算幽默：方法、数据集、评估及挑战

Tuo Liang, Zhe Hu, Disheng Liu, Jing Li, Yu Yin

机构 * Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究聚焦于单图像和多面板作品中的视觉幽默理解，通过与先前综述对比，按能力层次组织文献，综合基准设计等内容，追溯领域转变，指出进展的主要障碍包括易出现捷径的评估、文化覆盖有限等问题。

HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers

HALLMARK：诊断大语言模型引用验证器中的三种失败模式

Patrik Reizinger, Wieland Brendel

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型引用验证器的失败模式，通过HALLMARK基准测试评估多种验证器，发现误报率决定验证器是否可部署，并具体指出三种失败模式，强调误报率是部署瓶颈，未检测到的伪造对科学记录代价更高。

Comments 59 pages, 7 figures, 40 tables. Benchmark and code: https://github.com/rpatrik96/hallmark (v1.2.0); verification tool: https://github.com/rpatrik96/bibtexupdater (v1.5.0)

Logical Judgments Under Pressure: Diagnosing Syllogistic Stability with Learned Soft Prefixes

压力下的逻辑判断：用学习到的软前缀诊断三段论稳定性

Brian K Chen

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究在三段论推理基准前加软前缀，探究学习到的上下文压力对模型逻辑判断的影响，发现软前缀能改变正确答案，在多模型测试中效果优于随机对照，主要影响是答案偏好，不同模型有显著差异。

Comments 41 pages, 6 figures

FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches

2026年国际足联世界杯作为语言模型预测代理的无污染基准：四个模型、一个博彩公司和104场比赛

Jiacheng Ding, Cong Guo, Jason Xu

机构 * University of Memphis（孟菲斯大学） ； QuantaInsight（量子洞察） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 介绍WC2026-Agents基准和数据集，用于评估大语言模型作为世界杯预测代理。四个前沿模型对104场比赛运行相同循环，与博彩市场数据配对。揭示模型预测虽有相同首选，但在决策质量等方面差异大，可衡量校准等方面。

DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening

DS@GT在eRisk 2026的ARC：用于对话式抑郁症筛查的具有结构化算法指导的混合多智能体大语言模型系统

Victor Gong, David Guecha

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 介绍DS@GT参加eRisk 2026对话式抑郁症筛查挑战赛，其系统历经三个阶段，最终采用混合配置并添加算法组件。提交三次运行结果，混合运行3表现出色，以低成本超付费基线，验证较弱开源模型经算法监督可与专有模型竞争。

Comments Conference and Labs of the Evaluation Forum (CLEF), 19 pages, 5 figures

On-Policy Delta Distillation

策略内增量蒸馏

Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

机构 * NAVER AI Lab（NAVER人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究基于策略内蒸馏，引入新的增量信号作为蒸馏奖励，提出策略内增量蒸馏方法。实验表明该方法能显著改进策略内蒸馏，使推理语言模型在短训练期内表现出色，优于传统方法。

Comments 19 pages, 4 figures, 12 tables

OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios

OmniaBench：跨多样场景对通用人工智能智能体进行基准测试

Chengyu Shen, Yujie Fu, Gangtao Xin, Yanheng Hou, Wenlong Fei, Guojie Zhu, Jiawei Li, Hongcheng Gao, Runming He, Zhen Hao Wong, Meiyi Qiang, Hao Liang, Zhao Cao, Hao Jiang, Chong Chen, Wentao Zhang

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型向通用智能体演变，现有基准测试有局限的问题，引入OmniaBench。通过多渠道获取场景知识形成分类法，构建可执行环境并合成任务，还引入能力分类法等。其数据集含多任务，对前沿模型构成挑战，能表征通用智能体能力边界。

MemoHarness: Agent Harnesses That Learn from Experience

MemoHarness：从经验中学习的智能体控制层

Yue Huang, Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, Yi Nian, Haomin Zhuang, Zheyuan Liu, Yue Zhao, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对智能体控制层设计影响行为但改进方法窄且多重用单一全局控制层的问题，提出自适应框架MemoHarness，通过分解控制层、存储经验并检索应用，在多基准测试中优于固定控制层，证明执行经验可构建更具适应性的控制层。

Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs

只需持续提示：评估视觉语言模型中的重复苏格拉底式提示

Shayda Moezzi, Bishoy Galoaa, Lorena Genua, Taskin Padir, Sarah Ostadabbas

机构 * Northeastern University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉语言模型在反复提示下的稳定性，引入JKP多轮评估框架，用三种策略对模型提问，在STAR基准子集上评估GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B，发现重复提示利弊兼具且因模型而异，揭示了模型压力反应概况。

The Refusal Residue: When Probes Catch Alignment Faking and When They Don't

拒绝残差：探测何时能捕捉到对齐造假以及何时不能

Aman Mehta

机构 * Snowflake AI Research（Snowflake AI 研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究对齐造假中隐藏状态能否揭示输出隐藏内容，对13个模型扫描，发现Qwen3 - 32B和Llama - 3.1 - 8B存在自然造假及不对称拒绝残差，样本检测有模型条件性，还发布五控制测量框架用于对齐造假检测。

Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026. 12 pages, 4 figures

Fine-Tuned Multi-Agent Framework for Detecting OCEAN in Life Narratives

用于在生活叙事中检测大五人格的微调多智能体框架

Rasiq Hussain, Darshil Italiya, Joshua Oltmanns, Mehak Gupta

机构 * Southern Methodist University（南卫理公会大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究旨在从文本中准确评估人格，提出微调多智能体框架，通过掩码语言建模和心理测量监督让子智能体针对特质采用不同视角，评判大语言模型生成预测，经实验验证该方法可扩展且可解释，突出多智能体推理优势。

CANDI: Contextual Alignment for Niche Domains Question Answering

CANDI：特定领域问答的上下文对齐

Megha Chakraborty, Darssan L. Eswaramoorthi, Het Riteshkumar Shah, Madhur Thareja, Michelle A Ihetu, Harshul Raj Surana, Kaushik Roy, Amit Sheth

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对专业领域大语言模型评估问题，提出CANDI-QA数据集，含两类问答对。评估多种语言模型，给出MTSS-Net框架。揭示特定领域上下文对齐挑战及当前模型局限，为上下文感知语言模型研究提供关键基准。

Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

超越莎莉-安妮任务：使用认知谢林点评估大语言模型中的心理理论

Roberta Rocca, Sami Boukortt, Geoff Keeling, Winnie Street

机构 * Paradigms of Intelligence Team（智能范式团队） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究旨在解决大语言模型心理理论评估问题，引入认知不对称谢林任务，通过要求模型在不同认知透明度下收敛于语义谢林点来评估其功能性ToM能力，发现能力差距及协调失败原因，指出社会推理和认知跟踪是瓶颈，为LLM评估与发展提供目标。

Efficiently Adapting Spoken Language Models for the Singaporean Context

高效地使口语语言模型适应新加坡语境

Ng Jia Sheng Jason

机构 * xData Home Team Science & Technology Agency (HTX)（新加坡内政团队科技局） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对原始训练数据不可用且需多语言口语交互的情况，将开源口语语言模型适应新加坡语境。核心方法是结合LoRA微调等技术，构建多语言数据集。贡献是HT - Moonstone（5B）在多数任务表现出色，口音和性别识别佳，且原始语音问答能力损失小。

Comments 10 pages, 2 figures

Self-Guided Test-Time Training for Long-Context LLMs

长上下文语言模型的自引导测试时训练

Xinyu Zhu, Zhe Xu, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Kaushik Rangadurai, Hua Zhi, Frank Shyu, Sandeep Pandey, Luke Simon, Yu Meng, Xi Liu

机构 * Meta AI ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长上下文语言模型处理中单纯扩窗口不能有效利用长输入、准确率易降的问题，提出自引导测试时训练（S-TTT）方法，通过模型识别证据跨度并仅对选定跨度训练，在两个基准上提升了模型准确率。

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

Jet-Long：使用动态双焦点旋转位置编码的高效长上下文扩展

Haozhan Tang, Zerui Wang, Yuxian Gu, Song Han, Han Cai

机构 * NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对现代语言模型长上下文应用中零样本上下文扩展问题，提出Jet-Long方法，通过动态双焦点RoPE及相关技术，在推理时开销小，在多种模型和基准测试中表现优异，还能推广到其他架构且超参数弹性强。

Comments added discussion of AdaGroPE and LaMPE (Findings of ACL 2026) with clarified contribution

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

迈向对大语言模型微调中记忆知识无法泛化原因的机理理解

Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型微调中记忆知识无法泛化的问题，用自修补技术监测知识渗透动态，发现与知识电路未对准假设一致，还设计启发式策略验证，跨域实验证明发现具稳健性。

Collective Intelligence with Foundation Models

基于基础模型的集体智能

J. de Curtò, I. de Zarzà

机构 * Department of Computer Applications in Science \& Engineering, BARCELONA Supercomputing Center, 08034 Barcelona, Spain Escuela Técnica Superior de Ingeniería (ICAI), Universidad Pontificia Comillas, 28015 Madrid, Spain Human Centered AI, Data \& Software, LUXEMBOURG Institute of Science 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何将多个基础模型协调成合作推理系统，提出多智能体框架，含求解器、批评和聚合智能体及评分模块。通过消融研究比较四种配置，发现模型异质性是性能提升关键，能提高逐步准确率、降低方差，还讨论了相关原则、方法及对应用人工智能的影响。

Comments Accepted as a book chapter in "Advances in Global Applied Artificial Intelligence" (G. A. Tsihrintzis, M. Virvou, N. G. Bourbakis, L. C. Jain, Eds.), authenticated version will be published in Springer series: Learning and Analytics in Intelligent Systems

Comprehensive Evaluation of Large Language Model Responses: A Multi-Factor Scoring System

大语言模型回答的综合评估：一种多因素评分系统

Yiming Gai, Junde Lu, Xuefei Huang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； Data Science and Intelligent Computing Laboratory, Hangzhou International Innovation Institute, Beihang University, Hangzhou, Zhejiang（北京航空航天大学杭州国际创新研究院数据科学与智能计算实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型回答质量评估，提出多因素评分范式，融合准确性等多方面因素，通过图形用户界面可视化结果，在TruthfulQA数据集上评估揭示模型优缺点，为知识工程和模型优化提供新途径。

Out-of-Distribution Generalization of Risk Aversion in Language Models

语言模型中风险规避的分布外泛化

Kristina Zhang, Junior Chinomso Okoroafor, Benjamin Maltbie, Andrew Lin, Abhitej Bokka, Elliott Thornley

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究训练人工智能在资源方面规避风险能否泛化至高风险场景。通过引入RiskAverseOOD基准测试，用多种方法使模型在低风险时规避风险，发现其能部分泛化至高风险，不同规模和模型家族也有类似效果，但一致性不足。

Comments ICML 2026 Agents in the Wild workshop

PACE: A Proxy for Agentic Capability Evaluation

PACE：智能体能力评估的代理框架

Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao, Daniel Lee, Aditya Bharat Soni, Vincent Lo, Xiang Yue, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出PACE框架，通过从非智能体评测中选取原子实例构建代理基准，以低成本高精度预测智能体基准性能，在14个模型上实现MAE<4%、Spearman>0.80。

COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows

COMFYCLAW：面向图像生成工作流的自进化技能工具包

Zongxia Li, Dawei Liu, Fuxiao Liu, Yuhang Zhou, Xiyang Wu, Jingxi Chen, Jing Xie, Xiaomin Wu, Lichao Sun

机构 * University of Maryland（马里兰大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nvidia（英伟达） ； Lehigh University（里海大学） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出COMFYCLAW框架，通过类型化图编辑、区域级VLM验证器和渐进式技能库进化，提升ComfyUI工作流构建的代理可靠性和性能，在多个基准上取得最佳平均评分。