语言大模型 / LLM

Steering Frozen LLMs: Adaptive Social Alignment via Online Prompt Routing

引导冻结的大型语言模型：通过在线提示路由实现适应性社会对齐

Zeyu Zhang, Xiangxiang Dai, Ziyi Han, Xutong Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Washington（华盛顿大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；RLHF(abstract)

AI总结 本文提出CCLUB框架，通过系统提示路由实现适应性社会对齐，解决部署时静态策略无法应对动态安全规范的问题，实验显示其在累积奖励和子最优差距上优于基线方法。

Via Negativa for AI Alignment: Why Negative Constraints Are Structurally Superior to Positive Preferences

通过否定来实现AI对齐：为什么否定约束在结构上优于积极偏好

Quan Cheng

机构 * Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；preference optimization(abstract)

AI总结 本文探讨了通过否定约束而非积极偏好进行AI对齐的结构优势，提出基于波普尔的证伪逻辑，指出否定信号方法在避免趋炎附势和提升效果上的有效性。

Comments 9 pages, position paper

CHARM: Calibrating Reward Models With Chatbot Arena Scores

CHARM：通过聊天机器人竞技场分数校准奖励模型

Xiao Zhu, Chenmien Tan, Pinzhen Chen, Rico Sennrich, Huiming Wang, Yanlin Zhang, Hanxu Hu

机构 * Alibaba Group（阿里巴巴集团） ； Queen’s University Belfast（贝尔法斯特女王大学） ； University of Zurich（苏黎世大学） ； Singapore University of Technology（新加坡科技设计大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CHARM方法，通过利用Chatbot Arena的Elo分数校准奖励模型，减少模型偏好偏差，提升奖励模型的准确性和公平性。

GDPO-SR: Group Direct Preference Optimization for One-Step Generative Image Super-Resolution

GDPO-SR：基于群直接偏好优化的一步生成图像超分辨率

Qiaosi Yi, Shuai Li, Rongyuan Wu, Lingchen Sun, Zhengqiang Zhang, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 本文提出GDPO-SR，通过整合RL方法提升一步生成图像超分辨率性能，引入噪声感知扩散模型和群相对优势计算策略，优化局部细节。

GASP: Guided Asymmetric Self-Play For Coding LLMs

GASP：指导性的非对称自我对弈用于编码大语言模型

Swadesh Jana, Cansu Sancaktar, Tomáš Daniš, Georg Martius, Antonio Orvieto, Pavel Kolev

机构 * University of Tübingen（图宾根大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 GASP通过引入真实数据目标问题，改进了非对称自我对弈方法，提升了LiveCodeBench上的pass@20指标，并解决了其他方法无法达到的难题。

Comments Accepted at ICLR 2026 Workshop on AI with Recursive Self-Improvement (RSI 2026) as Spotlight, and ICLR 2026 Workshop on Lifelong Agents (LLA 2026)

LibraGen: Playing a Balance Game in Subject-Driven Video Generation

LibraGen：在以主题驱动的视频生成中进行平衡游戏

Jiahao Zhu, Shanshan Lao, Lijie Liu, Gen Li, Tianhao Qi, Wei Han, Bingchuan Li, Fangfang Liu, Zhuowei Chen, Tianxiang Ma, Qian HE, Yi Zhou, Xiaohua Xie

机构 * Pazhou Laboratory (Huangpu)（黄埔实验室（ Pazhou）） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 LibraGen通过平衡视频生成基础模型的内在先验与主题到视频能力，提出了一种新的框架，采用质量优先策略和动态分类器自由引导方案，提升生成效果。

DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay

DyJR: 通过动态Jensen-Shannon回放在强化学习中保持多样性

Long Li, Zhijian Zhou, Tianyi Wang, Weidi Xu, Zuming Huang, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

机构 * Griffith University, Australia（澳大利亚格里菲斯大学） ； Fudan University, China（复旦大学） ； Beijing University of Post（北京邮电大学） ； Shanghai Innovation Institute, China（上海创新研究院） ； Shanghai Academy of Artificial Intelligence for Science, China（上海人工智能科学研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DyJR方法，通过动态参考分布和Jensen-Shannon散度正则化，在强化学习中保持多样性，提升数学推理和Text-to-SQL任务性能。

Comments 14 pages, 3 figures

Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting

通过后过渡重加权实现保守的离线机器人策略学习

Wanpeng Zhang, Hao Luo, Sipeng Zheng, Yicheng Feng, Haiweng Xu, Ziheng Xi, Chaoyi Xu, Haoqi Yuan, Zongqing Lu

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） ； BeingBeyond 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出PTR方法，通过后验过渡重加权实现保守的离线机器人策略学习，根据样本后作用后果的可归因性分配信用，提升对异质机器人数据的适应性。

PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis

PhysGM：用于前馈4D合成的大型物理高斯模型

Chunji Lv, Zequn Chen, Donglin Di, Weinan Zhang, Hao Li, Wei Chen, Yinjie Lei, Changsheng Li

机构 * Beijing Institute of Technology（北京理工大学） ； Li Auto（利汽车） ； Harbin Institute of Technology（哈尔滨工业大学） ； Sichuan University（四川大学） ； Suzhou Research Institute, Harbin Institute of Technology（哈尔滨工业大学苏州研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 PhysGM通过单图像联合预测3D高斯表示和物理属性，实现高效4D渲染。该方法采用物理感知重建模型和直接偏好优化，提升模拟精度并降低计算成本。

Comments CVPR 2026