Xiaohongshu（小红书）

Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards

从失败中学习：具有可验证奖励的纠正导向策略优化

Mengjie Ren, Jie Lou, Boxi Cao, Xueru Wen, Hongyu Lin, Xianpei Han, Le Sun, Xing Yu, Yaojie Lu

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Xiaohongshu Inc（小红书公司） 纠错

AI总结 本文提出CIPO方法，通过将失败轨迹转化为纠正监督，提升大语言模型的推理和纠错能力，在11个基准测试中优于基线方法。

Comments Work on progress

Anti-Length Shift: Dynamic Outlier Truncation for Training Efficient Reasoning Models

反长度偏移：动态异常截断用于训练高效的推理模型

Wei Wu, Liyi Chen, Congxi Xiao, Tianfu Wang, Qimeng Wang, Chengqiang Lu, Yan Gao, Yi Wu, Yao Hu, Hui Xiong

机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaohongshu Inc.（小红书公司） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

AI总结 本文提出动态异常截断方法，通过在训练时抑制冗余token，提升推理模型的效率与性能，实验显示在AIME-24上推理token使用减少78%且准确率提升。

Comments Accepted by ACL2026