大模型推理能力

LLM-as-a-Verifier: A General-Purpose Verification Framework

LLM-as-a-Verifier：一种通用验证框架

Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 测试时计算 ：verifier(title,title_cn)；reasoning(abstract)；test-time compute(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该工作将验证确定方案正确性的能力作为大模型新扩展轴，提出无需额外训练的通用LLM验证框架，生成连续评分，在多基准上取得SOTA性能，还可用于强化学习等场景。

Comments Code: https://github.com/llm-as-a-verifier/llm-as-a-verifier Website: https://llm-as-a-verifier.com

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

大语言模型的是非偏差反映答案顺序和措辞，而非道德判断的转变

Haonan Huang

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在道德困境判断中的是非偏差，通过交叉对称化等心理测量方法区分逻辑判断、词汇等因素，发现前沿模型立场与形式无关，部分模型存在顺序和词汇偏差，最小模型可总结伪像，强调跨框架测量模型重视内容。

Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation

具有跨情节记忆和策略蒸馏的自我审查强化学习

Muhammad Zain Amin, Kibele Sebnem Yildirim

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对强化学习中环境反馈稀疏或延迟问题，提出自我审查强化学习框架，通过策略梯度优化自我审查，经选择性蒸馏内化改进到基础策略，用跨情节记忆保留成功审查，在GSM8K基准上评估，该框架优于基线且学习效率更高。

Comments 9 pages, 2 figures

Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning

利用离线强化学习学习控制大语言模型智能体的执行框架

Haiwen Yi, Xinyuan Song

机构 * University of Toronto（多伦多大学） ； Emory University（埃默里大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出将大语言模型智能体的执行框架视为可学习控制层，通过有限 horizon 的框架马尔可夫决策过程，利用离线强化学习训练轻量级控制器，在多领域实验中改进验证行为、提高任务质量，证明框架控制可学习且离线支持有局限。

Comments 17 pages, 7 figures

FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference

FreqDepthKV：用于长上下文语言模型推理中稳健的键值缓存压缩的频率引导深度共享

Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera

机构 * Instituto de Investigación en Visión Artificial（人工视觉研究所） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对长上下文语言模型推理中键值缓存成本问题，提出FreqDepthKV方法，将相邻层键值状态分解，通过在线探测器分配缓存模式，在多基准测试中保持任务准确性，提升解码吞吐量并降低内存，实现高效压缩。

Comments 11 pages, 2 figures