大模型推理能力

Unified Deployment-Aware Evaluation of Open Reasoning Language Models

统一的部署感知开放推理语言模型评估

Md Motaleb Hossen Manik, Ge Wang

机构 * Department of Computer Science, Rensselaer Polytechnic Institute（理海理工学院计算机科学系） ； Department of Biomedical Engineering, Rensselaer Polytechnic Institute（理海理工学院生物医学工程系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(summary_cn,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出了一种统一的开放推理语言模型评估方法，通过四个基准测试（ARC-Challenge、GSM8K、MATH 1-3级和TruthfulQA MC1）对七种配置进行评估，结合零样本、链式思维（CoT）和少量样本CoT提示策略，分析模型在准确率、延迟、内存使用等多目标下的表现，强调部署感知的多目标优化问题。

MotionMERGE: A Multi-granular Framework for Human Motion Editing, Reasoning, Generation, and Explanation

MotionMERGE: 一种用于人体动作编辑、推理、生成和解释的多粒度框架

Bizhu Wu, Jinheng Xie, Wenting Chen, Zhe Kong, Jianfeng Ren, Linlin Shen, Ruibin Bai, Rong Qu

机构 * Computer Vision Institute, School of Computer Science and Software Engineering, Shenzhen University（计算机视觉研究院，计算机科学与软件工程学院，深圳大学） ； Guangdong Key Laboratory of Intelligent Information Processing, Shenzhen University（广东省智能信息处理重点实验室，深圳大学） ； School of Computer Science, University of Nottingham Ningbo China（Nottingham Ningbo 中国计算机科学学院） ； Department of Electrical and Computer Engineering, National University of Singapore（电子与计算机工程系，新加坡国立大学） ； Department of Radiation Oncology, Stanford University（放射肿瘤科，斯坦福大学） ； Sun Yat-sen University（中山大学） ； School of Computer Science, University of Nottingham（计算机科学学院，Nottingham大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract,abstract_cn)；CoT(abstract,abstract_cn)

AI总结 本文提出MotionMERGE框架，通过细粒度语言引导的动作控制、跨粒度协同预训练和细粒度动作-语言对齐，实现了更精确的动作生成、理解和编辑，并建立了新的细粒度文本驱动动作编辑和动作引导推理基准。

Code-Guided Reasoning for Small Language Models: Evaluating Executable MCQA Scaffolds

为小型语言模型引导的推理：评估可执行的多项选择题问答框架

Prateek Biswas, Dhaval Patel, Vedant Khandelwal, Shuxin Lin, Amit Sheth

机构 * IBM New York City,NY（IBM纽约市） ； University of South Carolina（南卡罗来纳大学） ； Artificial Intelligence Institute at University of South Carolina（南卡罗来纳大学人工智能学院） 纠错

专题命中 推理评测 ：reasoning(title,summary_cn)；分类 cs.LG

AI总结 本文提出Code-Guided Reasoning（CGR）评估协议和生成程序资源，用于衡量可执行推理框架如何提升小型语言模型在多项选择题问答任务中的表现，通过实验展示了使用可执行框架带来的性能提升。

Comments 28 Pages, 18 Figures

Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning

基于不确定性感知的结构LLM推理的分布能量模型

Shireen Kudukkil Manchingal, Abhey Kalia, Fernanda Gonçalves, Shebin Rawther

机构 * Oxford Dynamics Harwell Science and Innovation Campus（牛津动力学哈威尔科学与创新校园） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种分解的能量函数，结合了学习的质量评分器和确定性分析约束惩罚，用于验证结构LLM输出。该方法通过两步推理循环触发目标再生或 abstention，能够在多个基准测试中超越单次Qwen-72B，并减少约束违反。

Counterfactual Likelihood Tests for Indirect Influence in Private Reasoning Channels

反事实可能性测试用于私人推理通道中的间接影响

Alexander Boesgaard Lorup

机构 * Openhagen 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种反事实可能性测试方法，用于衡量私人推理通道之间的影响力，通过替换上游私人块为匹配长度的供体块，并固定公共令牌序列和下游目标，测量下游目标的负对数似然变化，以评估私人和公共通道中的直接和间接影响。

Comments 12 pages, 4 figures, 5 tables

ReCrit: Transition-Aware Reinforcement Learning for Scientific Critic Reasoning

ReCrit: 基于过渡意识的强化学习用于科学批评推理

Wanghan Xu, Yuhao Zhou, Hengyuan Zhao, Shuo Li, Dianzhi Yu, Zhenfei Yin, Yaowen Hu, Fengli Xu, Wanli Ouyang, Wenlong Zhang, Lei Bai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Oxford（牛津大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出ReCrit框架，通过强化学习解决科学批评推理中的过渡意识问题，改进了批评准确性。

Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries

在取消学习后使用头部条件化的候鸟审计推理轨迹记忆化声明

Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * Northeastern University, USA（东北大学） ； University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University, USA（南方 Methodist 大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究通过在DeepSeek-R1-Distill-Qwen-7B上使用LoRA记忆化的虚构作者和NPO取消学习，结合六token候鸟头部条件，审计推理轨迹记忆化声明，发现正向解析器拆分绕过间隙本身并不能识别隐藏的权重级记忆化，也不能排除其存在。

MixRea: Benchmarking Explicit-Implicit Reasoning in Large Language Models

MixRea: 在大型语言模型中评估显式-隐式推理的基准测试

Yuanqing Cai, Ziyi Huang, Minhao Liu, Lixin Duan, Wen Li, Yanru Zhang

机构 * DeepMind ； DeepSeek-AI ； Anthropic ； Qwen ； Touvron ； Team 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出MixRea基准测试，用于评估大型语言模型在显式和隐式推理任务中的表现，发现即使最佳模型也存在注意力不足的问题，并提出PRCP方法来改进推理能力。

Comments 12 pages, 6 figures, 4 tables

Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification

通过基于人设的对抗性链式思考视觉语言模型验证实现被动施工现场安全监控

Ananth Sriram, Neel Mokaria, Rajveer Singh

机构 * Department of Computer Science, University of Maryland, College Park, MD, USA（大学马里兰学院计算机科学系，马里兰州科利尔帕克，MD，美国） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；分类 cs.AI

AI总结 本文提出了一种被动的施工现场安全监控方法，通过三阶段架构处理视频数据，结合细调的YOLO11、SAM 3和Qwen3-VL-8B-Instruct模型，利用基于人设的对抗性链式思考协议提高合规性验证和幻觉控制，主要贡献是第三阶段提示设计，提升了12%的精度。

Comments 10 pages, 4 figures. First place, Ironsite.ai Spatial Intelligence Hackathon, University of Maryland, February 2026. Code available at https://github.com/ananthsriram1/ironsite-hackathon-project-safety_assistant

EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs

EgoCoT-Bench: 用于MLLMs的 grounded 和可验证的 operation-centric 思维链推理基准测试

Yang Dai, Dian Jiao, Tianwei Lin, Wenqiao Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出EgoCoT-Bench，一个用于评估MLLMs在第一人称视角下细粒度操作中心推理能力的基准测试，包含3172个可验证的问答对，涵盖感知、预见和高层次推理等任务，旨在解决现有基准测试在细粒度推理和证据验证方面的不足。

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

PRISM：一个程序化空间-时间推理的基准测试

Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出PRISM基准测试，通过大规模人类校准的指令-代码对（共10,372个，比之前基准大20倍），评估语言模型生成空间正确动画输出的能力，并揭示执行成功率与空间正确率之间的显著差距。

Prompting language influences diagnostic reasoning and accuracy of large language models

提示语言影响大型语言模型的诊断推理和准确性

Adrien Bazoge, Josselin Corvellec, Sofiane Djillali Sid-Ahmed, Pierre-Antoine Gourraud

机构 * Data Clinic, Nantes University Hospital（数据诊所，南特大学医院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本研究探讨了提示语言对大型语言模型在临床诊断推理和准确性上的影响，通过比较英语和法语性能，发现四种模型在英语环境下表现更优，而o3模型未表现出语言效应，表明提示语言是影响模型临床性能的关键因素。

Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models

重新审视一个令人头疼的问题：一种用于语言模型的语义推理基准

Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang

机构 * University of Science and Technology Beijing（北京科技大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出SemanticQA基准，用于评估语言模型在语义短语处理任务中的表现，通过整合现有多词表达资源并重新组织为统一测试平台，涵盖通用词汇现象及三种细粒度类别，评估不同架构和规模的语言模型在提取、分类、解释及任务组合中的性能，揭示语义推理任务中模型性能的显著差异，为提升语言模型在非平凡语义短语上的理解能力提供见解。

Comments ACL 2026 (Oral), 24 pages, 22 figures, 14 tables

Beyond Classification Accuracy: Neural-MedBench and the Need for Deeper Reasoning Benchmarks

超越分类准确度：Neural-MedBench与更深层次推理基准的需求

Miao Jing, Mengting Jia, Junling Lin, Zhongxia Shen, Huan Gao, Mingkun Xu, Shangyang Li

机构 * School of Physics Science and Technology, Beijing University of Posts and Telecommunications（北京邮电大学物理科学与技术学院） ； Guangdong Institute of Intelligence Science and Technology（广东智能科学技术研究院） ； Beijing Chaoyang Hospital, Capital Medical University（北京朝阳医院） ； Sleep Medical Center, Huzhou Third Municipal Hospital, Affiliated Hospital of Wenzhou Medical University（湖州第三人民医院睡眠医学中心，温州医科大学附属医院） ； University of Macau（澳门大学） ； Renyixun Health Technology Co., Ltd（仁颐讯健康科技有限公司） ； Academy for Advanced Interdisciplinary Studies, Peking University（北京大学交叉学科研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出Neural-MedBench，一个专门用于测试多模态神经病学推理能力的基准，揭示现有医疗数据集过于强调分类准确度的问题，并通过系统评估发现模型推理失败而非感知误差主导性能下降，强调需要兼顾广度与深度的评估框架。

Comments 23 pages, 12 figures

Journal ref ICLR'2026

PERL: Parameter Efficient Reasoning in CLIP Latent Space

PERL：在CLIP潜在空间中实现参数高效的推理

Simone Carnemolla, Salvatore Calcagno, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

机构 * University of Catania（卡塔尼亚大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出PERL，一种在CLIP潜在空间中通过迭代潜在推理实现参数高效适应的框架，该方法在多个基准测试中表现出最佳的参数-性能权衡，仅需约6K可训练参数即可实现强的新型类别准确率和竞争性的迁移性能。

Comments Submitted to NeurIPS 2026

ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation

ChromaFlow: 一种关于在工具增强代理评估中编排开销的负消融研究

Tarun Mittal

机构 * Octave-X 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究通过ChromaFlow框架分析了在工具增强自主推理中编排开销的影响，发现更激进的编排并未提升整体性能，反而增加了操作噪声，并强调了编排升级、确定性提取、证据协调、提供者健康门控和显式运行门控等作为可靠自主代理评估的第一要求。

Comments 12 pages, 6 tables, 1 figure. Updated with follow-up strict-provider full-Level-1 diagnostic

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches

并非所有标记都值得缓存：学习语义感知的淘汰策略用于LLM前缀缓存

Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu

机构 * Peking University（北京大学） ； FirestAI ； Tsinghua University（清华大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Southeast University（东南大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 本文提出了一种语义感知的前缀缓存淘汰策略SAECache，通过多队列架构、语义感知的标记加权机制和全适应的在线学习方案，提高了LLM服务中前缀缓存的效率，从而在不同工作负载下实现了显著的TTFT提升。

1GC-7RC: One Graphic Card -- Seven Research Challenges! How Good Are AI Agents at Doing Your Job?

1GC-7RC：一张图形卡——七个研究挑战！AI代理在做你的工作方面有多好？

Robin-Nico Kampa, Fabian Deuser, Anna Bößendörfer, Konrad Habel, Norbert Oswald

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出1GC-7RC基准测试，通过七个跨领域机器学习任务评估AI代理在从头设计、实现和训练模型的能力，揭示了不同代理在隐式机器学习知识、规划能力和时间预算管理方面的差异。

How do LLMs Compute Verbal Confidence

LLMs如何计算言语自信

Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Veličković

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了大型语言模型如何内部生成言语自信评分，通过实验发现自信评分在回答生成后被缓存并用于后续输出，揭示了模型自我评估的机制。

What Do Evolutionary Coding Agents Evolve?

进化编码代理进化什么？

Nico Pelleriti, Sree Harsha Nelaturu, Zhanke Zhou, Zongze Li, Max Zimmer, Bo Han, Sebastian Pokutta

机构 * Zuse Institute Berlin（柏林Zuse研究所） ； Technical University of Berlin（柏林技术大学） ； Hong Kong Baptist University（香港 Baptist大学） ； RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了进化编码代理在数学发现和算法设计中通过任务特定反馈生成、修改和选择代码的过程，通过EvoTrace数据集和EvoReplay方法分析了进化过程中的机制，发现大部分得分提升来自少数几种编辑类型，并发现存在确定性的循环模式。

Comments 28 pages, 12 figures, 12 tables

LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation

LP-Eval: 用于衡量法律命题生成质量的评估标准和数据集

Shanshan Xu, Johan Lindholm, Amogh Raina, Henrik Palmer Olsen, Daniel Hershcovich

机构 * University of Copenhagen（哥本哈根大学） ； Umeå University（乌梅拉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LP-Eval，一种与法律专家共同设计的三步评估标准，用于评估法律命题的质量，通过专家标注的100个LLM生成的法律命题数据集，展示了LLM生成的命题质量较高，但专家评估发现基于经典案例的命题质量更高，同时发现基于评估标准的LLM判断更接近专家评估，但缺乏对细粒度区别的敏感性。

MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems

MINTEval: 评估长时间跨度智能体系统中的多目标干扰下的记忆

Hyunji Lee, Justin Chih-Yao Chen, Joykirat Singh, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MINTEval基准，用于评估智能体在长时间跨度和多目标干扰下的记忆表现，通过长连接上下文、多领域和多类型问题来测试记忆增强代理的鲁棒性和泛化能力。

Comments Equal contribution; order decided by a coin flip. Code and data: https://github.com/amy-hyunji/MINTEval

Disentangling generalization and memorization in large language models using chess

通过国际象棋解构大型语言模型中的泛化与记忆

Leonard S. Pleiss, Maximilian Schiffer, Robert K. von Weizsaecker

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过国际象棋测试环境，研究大型语言模型中泛化与记忆能力的区别，发现模型在相关先验知识稀疏时性能显著下降，表明系统泛化能力有限，需超越规模的机制来实现鲁棒性。

WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

WARC-Bench：基于网络存档的GUI子任务执行基准

Sanjari Srivastava, Gang Li, Cheng Chang, Rishu Garg, Manpreet Kaur, Charlene Y. Lee, Yuezhang Li, Yining Mao, Ignacio Cases, Yanan Xie, Peng Qi

机构 * Uniphore 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出WARC-Bench，一个基于网络存档的GUI子任务执行基准，通过438个任务评估多模态AI代理在子任务上的能力，实验表明SFT和RLVR方法在提升子任务执行效果上取得显著成果。

VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving

VL-DPO：基于视觉语言的偏好对齐自动驾驶微调

Zhefan Xu, Ghassen Jerfel, Marina Haliem, Qi Zhao, Jeonhyung Kang, Khaled S. Refaat

机构 * Waymo 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。

Comments Published in International Conference on Robotics and Automation (ICRA), 2026 8 pages, 6 figures, 4 tables

An LLM-Based System for Argument Mining

基于LLM的论证挖掘系统

Paulo Pirozelli, Victor Hugo Nascimento Rocha, Fabio G. Cozman, Douglas Aldred

机构 * Universidade de São Paulo Center for Artificial Intelligence (C4AI)（圣保罗大学人工智能中心（C4AI）） ； Instituto Mauá de Tecnologia Núcleo de Sistemas Eletrônicos Embarcados (NSEE)（马乌阿技术研究所电子系统嵌入核（NSEE）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出一个基于大语言模型的端到端系统，用于从自然语言文本中提取论证并构建抽象论证图，通过多阶段流程识别论证组件、选择相关元素并揭示其逻辑关系，实验表明该系统能有效恢复论证结构并在不同标注方案下表现良好。

Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs

Soohak：一个由数学家精心编订的基准，用于评估大语言模型的研究级数学能力

Guijin Son, Seungone Kim, Catherine Arnett, Hyunwoo Ko, Hyein Lee, Hyeonah Kang, Jiang Longxi, Jin Yun, JungYup Lee, Kyungmin Lee, Sam Yoosuk Kim, Sang Park, Seunghyeok Hong, SeungJae Lee, Seungyeop Yi, Shinae Shin, SunHye Bok, Sunyoung Shin, Yonghoon Ji, Youngtaek Kim, Hanearl Jung, Akari Asai, Graham Neubig, Sean Welleck, Youngjae Yu, Akshelin R, Alexander B. Ivanov, Boboev Muhammadjon, Chae Young Han, Christian Stump, Cooper R. Anderson, Dmitrii Karp, Dohyun Kwon, Dongryung Yi, DoYong Kwon, Duk-Soon Oh, Eunho Choi, Giovanni Resta, Greta Panova, Huiyun Noh, Hyungryul Baik, Hyungsun Bae, Inomov Mashrafdzhon, Jeewon Kim, Jeong-Rae Kim, Ji Eun Lee, Jiaqi Liu, Jieui Kang, Jimin Kim, Jon-Lark Kim, Joonyeong Won, Junseo Yoon, Junwoo Jo, Kibeom Kim, Kiwoon Kwon, Mario Kummer, Max Mercer, Min Hoon Kim, Minjun Kim, Nahyun Lee, Ng Ze-An, Nicolas Libedinsky, Rafał Marcin Łochowski, Raphaël Lachièze-Rey, Robert Auffarth, Ruichen Zhang, Sejin Park, Seonguk Seo, Shin Jaehoon, Sunatullo, Taewoong Eom, Yeachan Park, Yongseok Jang, Youchan Oh, Zhaoyang Wang, Zoltán Kovács

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出Soohak基准，通过64位数学家自主编写439道问题，评估大语言模型在研究级数学问题上的能力，同时引入拒绝子集以测试模型对不恰当问题的识别能力。

Comments Under review, For questions or model-evaluation requests, contact $guijin.son@snu.ac.kr$

CogScale: Scalable Benchmark for Sequence Processing

CogScale: 用于序列处理的可扩展基准

Yannis Bendi-Ouis, Romain de Coudenhove, Xavier Hinaut

机构 * Mnemosyne ； Inria（法国国家信息与自动化技术研究所） ； ENS PSL（巴黎社会科学高等学院） ； École normale supérieure (Ulm)（巴黎高等师范学院） ； Bordeaux, France（法国波尔多） ； Paris, France（法国巴黎） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CogScale，一个包含14个可扩展合成任务的基准，用于评估不同架构在不同参数规模下的认知和记忆能力，通过标准化轻量框架加速架构创新验证。

Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents?

时间到REFLECT：我们能否信任LLM裁判来评估基于证据的研究代理？

Leyao Wang, Yanan He, Peng Chen, Asaf Yehudai, Yixin Liu, Rex Ying, Michal Shmueli-Scheuer, Arman Cohan

机构 * Yale University（耶鲁大学） ； IBM Research（IBM研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出REFLECT基准，用于评估LLM裁判在代理环境中的细粒度失败检测，揭示当前LLM裁判在推理、工具使用和报告质量上的可靠性不足，为构建更可靠的评估流程提供指导。

Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection

多智能体大语言模型辩论中的顺序共识：一种基于Wald-SPRT的计算控制器与基于校准的故障检测

Andrea Morandi

机构 * Cisco（思科） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出了一种基于Wald-SPRT的计算控制器，用于多智能体大语言模型辩论，通过校准来检测故障，从而在保证准确性的同时减少计算资源的使用。