语言大模型 / LLM

Reinforcement Learning with Verifiable Physics: Post-training LLMs with Continuous Rewards

具有可验证物理的强化学习：具有连续奖励的训练后语言模型

Pengfei Cai, Utkarsh Utkarsh, Alan Edelman, Christopher Vincent Rackauckas, Rafael Gomez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对偏微分方程求解器代码生成，引入RLVP强化学习训练后框架，通过混合验证器解决可验证性问题，在多PDE族训练单个策略，优于基线且有零样本改进转移，训练后小LLM表现良好，策略有组合性证据。

Helpfulness Hurts: Domain-Dependent Degradation of Mid-Trained Compassion Values Under Post-Training

帮助有害：后训练中领域依赖的中期训练同情价值观退化

Jasmine Brazilek, Juliana Seawell

机构 * Compassion Aligned Machine Learning (CaML)（同情心对齐机器学习实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究后训练数据领域对中期训练同情价值观的影响，发现帮助性训练比编程训练更显著降低动物同情和道德推理能力，但跨语言迁移存在差异。

Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

通过多模态基于人类反馈的强化学习偏好对齐实现汉喃手稿到现代越南语的直接图像翻译

Thi Kim Trang Vo, Nghia Hieu Nguyen, Ha Minh Tan

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 针对汉喃手稿到现代越南语翻译的挑战，提出多模态基于人类反馈的强化学习偏好对齐框架，结合四个流生成越南语，比较PPO、DPO和KTO，结果显示各有优劣，且多模态偏好优化能补充监督学习提升翻译质量。

Comments Accepted Paper at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR)

Predictive Divergence Masks for LLM RL

用于大语言模型强化学习的预测性散度掩码

Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

机构 * Tencent Hunyuan（腾讯混元） ； UIUC（伊利诺伊大学厄巴纳 - 香槟分校） ； NUS（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型强化学习中PPO方向标准不足，提出预测性散度掩码，通过判断策略梯度步骤对散度的影响改进训练，针对离散softmax策略推导预测并开发轻量级估计器，提升不同模型规模和精度设置下的强化学习训练效果。

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPO：从专家轨迹上的模仿到智能体策略优化

Yixiong Chen, Alan Yuille

机构 * Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型智能体基于专家轨迹训练只学动作序列、难应对错误的问题，提出Agentic-DPO方法，通过转化专家轨迹为状态条件偏好监督，结合策略保持增强，实现低成本智能体策略优化，实验验证其有效性。

MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment

MJ：通过分解信用分配实现多轮语言模型越狱

Junyoung Park, Namgyu Park, Sechan Lee, Yoon-Chan Jhi, Jihoon Cho, Sangdon Park

机构 * POSTECH GSAI（浦项科技大学全球人工智能学院） ； Samsung SDS（三星 SDS） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对多轮语言模型越狱的信用分配难题，提出DC-GRPO框架，通过结合即时和未来信用为各轮次分配学习信号，经静态和动态加权规则实例化，在多模型和基准测试中显著优于现有方法，核心优势在于轮次级组相对信用分配。

Comments 29 pages. Warning: This paper contains examples of harmful content

Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

超越欧几里得裁剪：通过黎曼等距策略优化克服大语言模型强化学习中的探索崩溃

Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Mingxuan Wang, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型强化学习中PPO-Clip的探索崩溃问题，提出黎曼等距策略优化（RIPO）方法，通过保证黎曼流形上等距策略更新平衡探索与利用，在七个竞争级基准上显著超越现有算法。

Comments ICML 2026

Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization

通过深度特征锚定偏好优化打破流式目标说话人提取中的质量-可懂度权衡

Shuhai Peng, Jinjiang Liu, Hui Lu, Liyang Chen, Guiping Zhong, Jiakui Li, Shiyin Kang, Zhiyong Wu

机构 * Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； SenseTime（商汤科技） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究流式目标说话人提取中的质量-可懂度权衡问题，提出扩大Conformer卷积核及基于WavLM的DPO微调策略，实现了相对可懂度10.9%的提升，同时音频质量和说话人相似度也有改善。

FdAudio: MeanFlow-Anchored Fréchet-Distance Post-Training for One-Step Text-to-Audio Generation

FdAudio：用于一步文本到音频生成的均值流锚定弗雷歇距离训练后处理

Kuan-Po Huang, Bo-Ru Lu, Ho-Lam Chung, Shih-Hsin Wang, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） ； Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 研究针对几步采样文本到音频生成模型一步生成质量落后的问题，提出FdAudio方法，通过多表示弗雷歇距离损失优化分布，并引入均值流一致性目标防止多步退化，在几步系统中提升了一步生成质量且解决了多步退化问题。

Comments Project website: https://fdoneaudio.github.io/

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP：深度搜索智能体的溯源引导信用分配

Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究深度搜索智能体强化学习中奖励-信用不匹配问题，提出STAMP方法，通过基于参考的验证器和首次曝光归因确定信用，经符号保留优势调制注入信用，实验表明该方法能提升GRPO基线分数。

Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry

自担风险：在认知不对称下大语言模型在语用合作方面存在困难

Hannah VanderHoeven, Abhijnan Nath, Nikhil Krishnaswamy

机构 * Situated Grounding and Natural Language (SIGNAL) Lab（情境基础与自然语言（SIGNAL）实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在多方协作任务部分信息条件下的语用推理能力，形式化协作认知不对称概念，评估其作为说话者和倾听者合作能力，发现虽有一定语用能力但信息不完整时仍有挑战，部分失败模式与格赖斯准则违反有关。

BRIDGE: Bridging Reasoning In Distillation Gap Elimination via Structure-Aware Masking

通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏课程学习

Bowen Yu, Sheng Zhang, Binhao Wang, Yi Wen, Jingtong Gao, Bowen Liu, Zimo Zhao, Shanshan Ye, Wanyu Wang, Maolin Wang, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏，提升学生模型的准确率和输出简洁性。

Comments 13 pages, 12 figures. Accepted at SDM 2026

SETA: Scaling Environments for Terminal Agents

SETA：终端智能体的扩展环境

Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

机构 * Imperial College London（帝国理工学院） ； University College London（伦敦大学学院） ； SambaNova（桑巴诺瓦公司） ； KAUST（阿卜杜拉国王科技大学） ； Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； University of Waterloo（滑铁卢大学） ； RadixArk（基数方舟公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对终端智能体训练扩展难的问题，提出SETA框架，含SETA - Synth和SETA - Evol两个管道及统一验证机制，构建了SETA - Env数据集。实验显示该数据集能为终端智能体提供优质训练环境，推动相关研究发展。

VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

VGGRPO：迈向世界一致的视频生成的4D潜在奖励

Zhaochong An, Orest Kupyn, Théo Uscidda, Andrea Colaco, Karan Ahuja, Serge Belongie, Mar Gonzalez-Franco, Marta Tintore Gazulla

机构 * Google（谷歌） ； University of Oxford（牛津大学） ； CREST-ENSAE, Institut Polytechnique de Paris（巴黎综合理工学院CREST-ENSAE） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)

AI总结 VGGRPO通过引入4D潜在几何模型和组相对策略优化，提升视频生成的几何一致性与稳定性，避免VAE解码的高计算开销。

Comments Accepted at ECCV 2026. Project Page: https://zhaochongan.github.io/projects/VGGRPO

EvoGuard: An Extensible Agentic RL-based Framework for Practical and Evolving AI-Generated Image Detection

EvoGuard: 一种基于代理强化学习的可扩展框架，用于实际和演化的AI生成图像检测

Chenyang Zhu, Maorong Wang, Jun Liu, Ching-Chun Chang, Isao Echizen

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（国家信息研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本文提出EvoGuard框架，利用多模态大语言模型和非MLLM检测器，通过能力感知的动态编排机制实现高效AIGI检测，优化后无需细粒度标注，实验表明其在准确性和可扩展性上均达最优。

Comments Template changed

From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence

从世界行动模型到具身大脑：开放世界物理智能路线图

Yuanzhi Liang, Xufeng Zhan, Haibin Huang, Chi Zhang, Xuelong Li

机构 * IEEE 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究针对通用人工智能中物理世界推理行动的进展零散问题，提出以具身大脑为中心的物理智能协同进化路线图，利用世界行动模型等，通过物理框架、共享契约和闭环训练等构建模块化智能栈，推动物理智能发展。

Comments Ongoing work

Implicit Neural Networks as Static Controllers: Certificates and Performance Separation

作为静态控制器的隐式神经网络：证书与性能分离

Giuseppe C. Calafiore, Laurent El Ghaoui

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 研究将隐式神经网络用作静态控制器，提出其隐式表示，为有限维线性时不变系统开发分析理论及综合方法，经训练和检查得到控制器，还建立约束控制分离结果，显示INC在特定系统中成本更小。

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

MixFlow训练：用慢插值混合减轻曝光偏差

Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究扩散模型训练-测试差异问题，提出MixFlow方法，利用慢流现象的慢插值混合对预测网络后处理，在类条件图像生成和文本到图像生成实验中验证有效，在RAE模型的ImageNet生成任务上取得好结果。

Comments CVPR 2026