大模型推理能力

Comprehensive Evaluation of Large Language Model Responses: A Multi-Factor Scoring System

大语言模型回答的综合评估：一种多因素评分系统

Yiming Gai, Junde Lu, Xuefei Huang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； Data Science and Intelligent Computing Laboratory, Hangzhou International Innovation Institute, Beihang University, Hangzhou, Zhejiang（北京航空航天大学杭州国际创新研究院数据科学与智能计算实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型回答质量评估，提出多因素评分范式，融合准确性等多方面因素，通过图形用户界面可视化结果，在TruthfulQA数据集上评估揭示模型优缺点，为知识工程和模型优化提供新途径。

Trading Human Curation for Synthetic Augmentation in RLVR

在RLVR中用合成增强替代人工策展

Akshansh, Leonardo Rosa Rodrigues, Michael Korostelev, Youssef Hassan, Mark E. Whiting

机构 * Pareto AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过预指定、门控过滤的增强任务替代人工策展任务，在RLVR中实现成本效益权衡，并保持泛化性能。

Comments 21 pages, 5 main-text figures, 4 appendix figures. Preprint

Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety

机构红队测试：部署规则而非模型，因果性地塑造多智能体人工智能安全

Yujiao Chen

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究多智能体人工智能安全中部署规则的影响，提出机构红队测试方法，通过IABench-CA实例化，发现规则改变集体安全、无安全默认规则、身份显著性是机制，还打包成安全案例工作流程认证规则区域并明确风险义务。

Evaluation of Multilingual Ability to Use Spatial Deictic Expressions in Vision-Language Models

视觉语言模型中使用空间指示表达式的多语言能力评估

Kaito Watanabe, Taisei Yamamoto, Tomoki Doi, Hitomi Yanaka

机构 * The University of Tokyo（东京大学） ； Riken（理化学研究所） ； Tohoku University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究聚焦视觉语言模型的空间推理能力，通过开发基准评估其使用四种语言空间指示表达式的多语言能力，实验发现测试模型使用指示词方式与人类不同，特别是在依距离选指示词方面。

Comments Accepted to ACL SRW 2026

A knowledge-augmented dataset of high-risk driving scenarios with LLM annotations for autonomous driving

一个用于自动驾驶的具有大语言模型注释的高风险驾驶场景知识增强数据集

Heye Huang, Jingguang Li, Zhiyuan Zhou, Paul Liang, Mingyu Wu, Kitae Jang, Jianqiang Wang

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Fudan University（复旦大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究自动驾驶中高风险场景数据不足问题，核心方法是构建K-Risk数据集，整合多源轨迹数据并利用大语言模型生成注释，主要贡献是为自动驾驶开发和评估提供标准化基础。

Comments 22 pages, 9 figures

The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI

驾驭效应：编排设计如何设定企业智能体人工智能的代币经济学

Muayad Sayed Ali, Aliaksandra Novik, Anji Boddupally, Artem Yavorskyi, Chris Nickerson, Daniel Rica, Emily DuGranrut, Felix Leung, Garrett Prince, Grace Barnett, Heath Robinson, Hosain Al Ahmad, Jesse Resnick, Juan Carlos Farah, Jyothi Swaroop Meruga, Leonid Kuznetsov, Luke Gorham, Marie Schmoll, Michael Paciullo, Saumya Das, Sharath Sheripally, Tommy Griscom, Mykyta Osadchyi, Neha Mantri, Nick Westrum, Olivia Benowitz, Parikshith Kulkarni, Radik Chernyshov, Rakshith Vasudev, Rohith Nadimpally, Vikas Gangadevi, Waseem AlShikh

机构 * Writer, Inc.（作家公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究智能体人工智能开发中代币最大化问题及应对方法，核心方法是通过控制交换实验凸显驾驭层作用，主要贡献为证明驾驭层可降低成本、提升效率和质量，且效率提升适用于所有模型，质量提升与模型强度相关。

Psy-Chronicle:A Structured Pipeline for Synthesizing Long-Horizon Campus Psychological Counseling Dialogues

Psy-Chronicle: 一个用于合成长周期校园心理辅导对话的结构化流水线

Chaogui Gou

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出Psy-Chronicle，一种结构化数据生成框架，用于合成长周期校园心理辅导对话，通过生成学期跨度的时间压力事件图和学生与辅导员代理的交互模拟，构建了包含100个学生档案和9万条对话的CPCD数据集，并通过CPCD-Bench评估模型的长周期校园辅导能力，实验结果表明CPCD有效提升了模型的会话级响应生成和长周期记忆召回能力。

Thinking Ahead: Foresight Intelligence in MLLMs and World Model

提前思考：多模态语言模型和世界模型中的预见智能

Zhantao Gong, Liaoyuan Fan, Qing Guo, Xun Xu, Xulei Yang, Shijie Li

机构 * College of Software, Nankai University, China（南开大学软件学院） ； The University of Hong Kong, China（香港大学） ； NKIARI, Shenzhen Futian, China（NKIARI，深圳福田，中国） ； AAIS & VCIP, Nankai University, China（AAIS与VCIP，南开大学，中国） ； A*STAR Institute of Advanced Intelligence and Computing, Singapore（新加坡A*STAR先进智能与计算研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究定义预见智能，引入FSU-QA数据集，对视觉语言模型在预见任务中全面研究，发现当前模型不足。该数据集可评估世界模型，增强预见推理，微调小模型能超大型先进模型，为开发下一代模型提供基础，还验证了评估协议。

Comments Accepted by ECCV 2026

From My View to Yours: Learning Egocentric Cues from Exocentric Video using Privileged Egocentric Supervision

从我的视角到你的视角：利用特权自我中心监督从外中心视频中学习自我中心线索

Dominick Reilly, Manish Kumar Govind, Le Xue, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； Elorian AI 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究针对视觉语言模型难以从外中心视频推断自我中心属性的问题，提出Ego2ExoVLM框架，利用时间同步视频对及特权监督，通过两个组件实现此能力，在多任务评估中取得领先性能。

Comments ECCV 2026

Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning

Agon：具有隐式推理对手评分的竞争性跨模型强化学习

Vladislav Beliaev

机构 * Independent Researcher（独立研究者） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对可验证奖励强化学习只评最终答案的问题，提出Agon方法，让两个竞争模型相互评分，通过轮流扮演角色隐式判断推理，在难题上提升了模型表现，且该排序在多种场景和模型家族中可复制。

Comments 15 pages, 7 figures, 8 tables

User identity conditions moral wrongness ratings in non-reasoning large language models

用户身份影响非推理大语言模型的道德错误评级

Willem Fourie, Isabel Ray, Gray Manicom

专题命中 其他推理 ：reasoning(title,abstract)

AI总结 研究通过行为自下而上方法，评估两个非推理大语言模型，发现用户身份影响其道德错误评级，严重伤害行为有上限效应，有争议规则行为有角色条件性变化，为人工智能价值对齐讨论提出问题并助力重构。

Diversity Without Fidelity: A Solver-Sampler Mismatch in Multi-Agent LLM Negotiation Simulation

当推理模型损害行为模拟：多智能体大语言模型谈判中的求解器-采样器不匹配

Sandro Andric

专题命中 其他推理 ：reasoning(abstract,comments)；分类 cs.AI、cs.LG

AI总结 研究指出推理增强模型在模拟行为时可能表现不佳，通过三个多智能体谈判环境实验发现，有界推理能产生更多样且妥协导向的轨迹，强调模拟应将模型视为采样器而非求解器。

Comments 20 pages, 2 figures. Substantially revised. Formerly titled "When Reasoning Models Hurt Behavioral Simulation: A Solver-Sampler Mismatch in Multi-Agent LLM Negotiation"

Toward Robust Open-set Adaptation: Synapse Consolidation Inspired by Rac1/MAPK Pathways

在开放测试流中学习并适应未知

Xiao Zhang, Tianyu Hu, Juntao Lyu, Qianchuan Zhao, Huimin Ma

机构 * University of Science and Technology Beijing（北京科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出SyCo方法，通过Rac1和MAPK路径实现参数高效适应，解决LLM在动态任务中的适应问题，实验表明其在18个NLP数据集上表现优异。