大模型推理能力

Latent Reasoning with Normalizing Flows

基于归一化流的潜在推理

Guancheng Tu, Xiangjun Fu, Suhao Yu, Yao Tang, Haoqiang Kang, Lianhui Qin, Yizhe Zhang, Jiatao Gu

机构 * University of Pennsylvania（宾夕法尼亚大学） ； UC San Diego（圣地亚哥大学） ； Meta 纠错

专题命中 测试时计算 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 提出NF-CoT框架，通过归一化流在LLM内部建模连续潜在思维，保留自回归生成、概率采样、KV缓存解码和似然估计等优势，在代码生成任务中提升通过率并降低推理成本。

EVE: A Generator-Verifier System for Generative Policies

EVE: 一种生成策略的生成-验证系统

Yusuf Ali, Gryphon Patlin, Karthik Kothuri, Jeremiah Coholich, Muhammad Zubair Irshad, Wuwei Liang, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Toyota Research Institute（丰田研究院） ； Symbotic Inc.（Symbotic公司） 纠错

专题命中 测试时计算 ：verifier(title,abstract)；reasoning(abstract)；test-time compute(abstract)

AI总结 本文提出EVE系统，通过生成-验证框架在测试时提升预训练生成策略的性能，利用零样本视觉语言模型验证者进行动作优化，无需额外训练。

Escaping the Verifier: Learning to Reason via Demonstrations

摆脱验证者：通过示范学习推理

Locke Cai, Max Ryabinin, Ivan Provilkov

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：verifier(title,abstract)；reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RARO方法，通过逆强化学习从专家示范中学习强大的推理能力，无需任务特定的验证者，从而在多个评估任务中实现了显著的性能提升。

MPCoT: Reward-Guided Multi-Path Latent Reasoning for Test-Time Scalable Vision-Language-Action

MPCoT: 奖励引导的多路径潜在推理用于测试时可扩展的视觉-语言-动作

Boyang Zhang, Lianlei Shan

机构 * Department of Electrical and Computer Engineering, Boston University（波士顿大学电气与计算机工程系） ； Department of Computer Science, Tsinghua University（清华大学计算机系） 纠错

专题命中 测试时计算 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出MPCoT框架，通过奖励引导的多路径潜在推理，在保持零推理令牌和原始动作接口的同时，提升长时域和高不确定性控制任务中的VLA策略性能。

Comments 14 pages, 5 figures, submitted to CoRL

Unsupervised Skill Discovery for Agentic Data Analysis

面向智能体数据分析的无监督技能发现

Zhisong Qiu, Kangqi Song, Shengwei Tang, Shuofei Qiao, Lei Liang, Huajun Chen, Shumin Deng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DataCOPE框架，通过无监督验证器引导从探索轨迹中发现可复用的数据分析技能，在报告式和推理式分析任务上分别提升平均得分9.71%和32.30%。

Comments Work in progress

Self-Commitment Latency: A Reward-Free Probe for Prompted Implicit Hacking

自承诺延迟：一种用于提示隐式劫持的无奖励探针

Bonan Shen, Youting Wang, Dingyan Shang, Tao Ning

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出自承诺延迟指标，通过测量推理上下文对模型自身最终答案的承诺时机，无需奖励信号即可检测提示隐式劫持，在GSM8K数据集上达到AUROC 0.878-0.926。

On Advantage Estimates for Max@K Policy Gradients

关于 Max@K 策略梯度的优势估计

Shota Takashiro, Soichiro Nishimori, Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Gouki Minegishi, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对稀疏奖励下推理模型后训练困难，提出一种新的优势估计方法 MaxPO，通过 Leave-Two-Out 基线实现中心化优势，降低梯度方差并提升性能。

SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization

SkillComposer: 学习演化智能体技能以实现特化与泛化

Qi Zhang, Zhaopeng Feng, Xiaonan Shi, Xiaomeng Hu, Chu Liu, Pengjun Xie, Xiaobin Wang, Jieping Ye, Bryan Hooi, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Tongyi Lab（通义实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SkillComposer框架，通过创建、改进和合并三种可学习操作，使语言模型在推理时自我演化技能，支持离线、在线和混合部署模式，在多个基准上提升性能。

Comments Under Review