大模型推理能力

How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories

它认为有多难？分析大型语言模型思维链轨迹中感知步骤的推理能量

Hui Wei, Junda Wu, Sheldon Yu, Sizhe Zhou, Yizhu Jiao, Ming Zhong, Bowen Jin, Tong Yu, Shijia Pan, Jiawei Han, Julian McAuley

机构 * UC Merced（加州大学默塞德分校） ； UC San Diego（加州大学圣迭戈分校） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Adobe Research（奥多比研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出SARE框架量化LLM思维链各步骤的推理能量，发现推理能量不均匀、错误轨迹关键节点能量更低，SARE特征性能优于或匹配输出置信度基线，揭示内部几何动态含预测信息。

Comments 13 pages, 3 figures

On the Generalization of Steering Vectors for Chain-of-Thought Faithfulness

论用于思维链忠实性的引导向量的泛化性

Matthew Nguyen, Kyle Cox, Austin Meek, Iván Arcuschin

机构 * University of Virginia（弗吉尼亚大学） ； University of Delaware（特拉华大学） ； Poseidon Research（波塞冬研究院） 纠错

专题命中 推理评测 ：chain-of-thought(title)；CoT(abstract,abstract_cn)；reasoning(abstract)；分类 cs.AI

AI总结 该研究针对三个模型探究提升思维链忠实性的引导向量的泛化性，发现其效果主要由评估设置决定，且仅对最大型模型有效，引导可减少未被确认的提示使用。

Do LLMs Hold Their Values? MANTA: A Multi-Turn Adversarial Benchmark for Animal Welfare Reasoning

LLMs 是否坚持其价值观？MANTA：一个用于动物福利推理的多轮对抗性基准

Isabella Luong, Joyee Chen, Sankalpa Ghose, David Williams-King, Linh Le, Allen Lu

机构 * SPAR ； Compassion Aligned Machine Learning（同情对齐机器学习） ； NUS（新加坡大学） ； Mila（Mila研究所） ； ERA Cambridge（剑桥ERA） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出 MANTA 基准，通过多轮对抗性对话评估大语言模型在动物福利推理中的价值观稳定性和道德敏感性，发现单轮基准无法捕捉的排名变化和物种-压力交互效应。

Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements

大型语言模型（LLMs）的财务推理是否可信？针对长期财务报表的现实测试

Xinke Tong, Xuanming Zhang, Tianyi Tang, An Yang, Jiatu Hu, Guojie Lin, Zhenzhen Shi, Lingfeng Zeng, Boyu Yang, Bing Zhao, Hu Wei, Lin Qu, Dayiheng Liu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 该研究针对LLMs的财务推理可信度，构建含对抗陷阱的FinIndices基准测试，发现其存在知识与结构瓶颈，监督微调可部分恢复结构化逻辑。

Comments The FinIndices dataset is publicly available at https://huggingface.co/datasets/User158072/Finindice

DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain

DRIP-R：零售领域决策与推理在现实政策模糊性下的基准测试

Hsuvas Borkakoty, Sebastian Pohl, Cheng Wang, Bei Chen, Yufang Hou

机构 * Interdisciplinary Transformation University Austria（跨学科转型大学奥地利） ； Amazon Berlin（亚马逊柏林） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL、cs.AI

AI总结 DRIP-R基准测试通过现实零售政策模糊性构建无唯一正确解决方案的场景，评估LLM在模糊政策下的决策与推理能力，揭示其固有的系统性挑战。

Comments 10 pages

Benchmarks Are Not Monolithic: Sample-Level Auditing and Orchestration for LLM Evaluation

基准并非单一整体：面向大语言模型评估的样本级审计与编排

Philipp D. Siedler, Jordan Sassoon

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出样本级审计的元评估框架，标注五大基准的内部异质性，可编排复合基准子集实现模型能力针对性评估，为基准重组提供原则性方法。

Semantics of Subterfuge: Benchmarking Legal Deception Detection Against General-domain State-of-the-Art

欺骗的语义：针对通用领域最先进模型的法律欺骗检测基准测试

Theekshana Samaradiwakara, Nisansa de Silva, George C. Lobb

机构 * University of Moratuwa（莫拉图瓦大学） ； The Law Office of George C. Lobb（乔治·C·洛布律师事务所） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对法律领域的自动欺骗检测，对比了微调Transformer模型与大型语言模型在通用和法律数据集上的表现，发现领域敏感性显著，思维链提示效果逊于直接分类，强调需开发适配法律领域的可解释系统。

Comments 5 pages paper

Journal ref ICAIL 2026

When Iterative RAG Beats Ideal Evidence: A Diagnostic Study in Scientific Multi-hop Question Answering

当迭代RAG优于理想证据：科学多跳问答中的诊断研究

Mahdi Astaraki, Mohammad Arshi Saloot, Ali Shiraee Kasmaee, Hamidreza Mahyar, Soheila Samiee

机构 * Faculty of Engineering, McMaster University, Canada（麦斯特大学工程学院，加拿大） ； BASF Canada Inc., Canada（巴斯夫加拿大公司，加拿大） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过化学多跳问答数据集，诊断发现迭代检索-推理循环在科学领域显著优于静态RAG上限，揭示了阶段式检索的优势与失败模式。

Comments 51 pages, 29 figures, Published in Transactions on Machine Learning Research (05/2026). OpenReview: https://openreview.net/forum?id=pa5TnBdyDP

Journal ref Transactions on Machine Learning Research (05/2026), ISSN 2835-8856

Towards the Holographic Characteristic of LLMs for Efficient Short-text Generation

向LLMs的全息特性迈进：为高效短文本生成而努力

Shun Qian, Bingquan Liu, Chengjie Sun, Zhen Xu, Baoxun Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Platform and Content Group, Tencent（腾讯平台与内容组） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HOLO插件，利用语言模型的全息特性提升短文本生成效率，通过提取目标关键词并补充平行文本生成，实现高效生成。

Data Turnstile: A Scalable Open Framework for Function-Calling Data Generation

Data Turnstile：面向函数调用数据生成的可扩展开源框架

Goutham Ramakrishnan, Megha Sharma

机构 * Amazon AGI（亚马逊AGI） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 该研究提出开源框架Data Turnstile，可基于用户定义API规范生成高质量函数调用合成训练数据，经其微调的小型语言模型在BFCL、τ²-bench等基准上性能大幅提升，缩小了与更大规模模型的差距。

Comments 16 pages

SciFigPlag-Bench: A Benchmark for Provenance-Aware Scientific Figure Plagiarism Detection

SciFigPlag-Bench：面向来源感知的科学图片抄袭检测基准

Zhiying Cui, Minghao Yang, Linlin Gao, Jie Liu, Pengyuan Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出SciFigPlag-Bench基准，用于科学图片的来源感知抄袭检测，含四类任务，实验发现视觉语言模型在细粒度来源推理等方面仍有挑战。

Comments 30 pages, 18 figures

Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

模型还是控制？一种以交互为中心的智能体故障定位分类法

Harsh Raj, Vipul Gupta, Anas Mahmoud, Razvan-Gabriel Dumitru, Darvin Yi, Aakash Sabharwal, Yunzhong He

机构 * Scale 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出以交互为中心的智能体故障分类法，将故障定位到交互及责任组件，适用于多类智能体架构，经评估具有良好可重复性与结构一致性。

Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges

模型链：面向偏见鲁棒性大语言模型评判器的跨模型审计

Qian Wang, Zhanzhi Lou, Zhenheng Tang, Nuo Chen, Bingsheng He

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究针对LLM评判器的认知偏见问题，提出跨模型审计流程CoM，发现审计器身份的关键作用，制定偏见特异性审计器选择规则，在多模型多偏见实验中取得优于基线的准确率。

Comments WIP

Quality Action Assurance: Multimodal Verification of Examiner Claims in VR OSCEs

质量行动保证：虚拟现实客观结构化临床考试中考官声明的多模态验证

Harry Rogers, Sally Shiels, Ashley Tomlinson, James Thomas, James Aylward, Nathan Gauge, Helen Higham, Alison Noble

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对VR儿科OSCEs中考官评分受主观因素影响问题，提出多模态框架QAA，结合约束时间动作对齐模型与大语言模型，通过对比动作与真实事件序列验证考官声明，提升了评估的公平性。

M3MAD-Bench: Multi-Dimensional Evaluation of Multi-Agent Debate Across Domains and Modalities

M3MAD-Bench: 多智能体辩论在不同领域和模态中真的有效吗？

Ao Li, Jinghui Zhang, Luyu Li, Yuxiang Duan, Lang Gao, Mingcai Chen, Weijun Qin, Shaopeng Li, Fengxian Ji, Ning Liu, Lizhen Cui, Xiuying Chen, Yuntao Du

机构 * Shandong University（山东大学） ； MBZUAI ； Nanjing University of Posts and Telecommunications（南京邮电大学） ； BOB Cloud（BOB云） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 M3MAD-Bench通过多领域、多模态和多维指标评估多智能体辩论方法的有效性，提供全面的性能-成本分析。

Comments Accepted by ACMMM 2026

Repository-Aware Metamorphic Relation Generation for Augmented Reality Applications using Large Language Models

基于大型语言模型的增强现实应用的仓库感知变形关系生成

Dibyendu Brinto Bose, Jiawei Qin, Chris Brown

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出一种结合仓库级上下文与推理编排的流水线，利用大型语言模型生成优化的变形关系，在142个移动AR仓库数据集上验证了该方法可构建可靠的领域相关测试预言，能有效检测代码变异。

Wrong and More Confident: A Field Experiment on Large Language Models Taking a Graduate Economics Exam

错误且更自信：语言模型参加研究生经济学考试的实地实验

Piyush Akimitsu

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究语言模型在研究生经济学考试中面对误导性信息的表现，通过GERB实验发现误导性信息降低正确答案概率，不同类型模型受影响无显著差异，错误答案有完整解释且模型自信，不对照答案难以发现错误。