Meituan（美团）

OPERA: Aligning Open-Ended Reasoning via Objective Perplexity-based Reinforcement Learning

OPERA: 通过基于客观困惑度的强化学习对齐开放式推理

Wenxuan Jiang, Zining Fan, Zijian Zhang, Xuecheng Wu, Hongming Tan, Haoyang Dai, Xiaoyu Li, Xuezhi Cao, Ninghao Liu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Meituan Longcat Team（美团龙猫团队） ； Peking University（北京大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

AI总结 提出OPERA方法，利用困惑度动态作为内在奖励信号，结合冷启动数据合成和困惑度优先的推理轨迹选择，实现开放式任务中对齐，在Qwen3-8B上达到开源模型最优。

Comments 21 pages, 8 figures

BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents

BiPACE：基于双模拟引导与动作反事实估计的LLM智能体策略优化

Hanyang Wang, Weijieying Ren, Yuxiang Zhang, Ding Cao, Zhizhao Zeng, Ke Zeng, Tianxiang Zhao

机构 * University of Chicago（芝加哥大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Stanford University（斯坦福大学） ； University of Science and Technology of China（中国科学技术大学） ； Meituan（美团） 纠错

AI总结 针对分组强化学习中状态-动作信用分配不匹配问题，提出BiPACE优势估计器，通过双模拟引导的状态聚类和动作反事实基线，在无需批评网络或额外采样的前提下提升LLM智能体训练效果。

Beyond Next-Observation Prediction: Agent-Authored World Modeling for Sequential Decision Making

超越下一观测预测：面向序贯决策的智能体自创世界建模

Guangfeng Cai, Kaibing Yang, Shuo He, Yu Li, Shengtian Yang, Jiaqi Lv, Lei Feng

机构 * Southeast University（东南大学） ； Meituan（美团） 纠错

AI总结 提出智能体自创世界建模（AAWM），根据策略决策需求构建训练目标，而非预测下一观测，实验证明其比下一观测预测提供更有效的学习信号。

Comments 16 pages, 4 figures, 6 tables