语言大模型 / LLM

Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

几何冲突：解释和控制LLM持续微调中的遗忘

Yuanyi Wang, Yifan Yang, Su Lu, Yanggan Gu, Pengkai Wang, Wenjun Wang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Jialun Cao, Shing-Chi Cheung, Hongxia Yang

机构 * The Hong Kong Polytechnic University, PolyU（香港理工大学，PolyU） ； The Hong Kong University of Science and Technology, HKUST（香港科学与技术大学，HKUST） ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究LLM持续微调中的遗忘现象，通过任务几何分析揭示遗忘驱动因素及控制方法，提出GCWM算法提升模型保留与最终性能。

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

基于探索的优化用于测试时大语言模型推理

Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本文提出EDO框架，通过扩展奖励偏差探索目标到迭代后训练，提升大语言模型推理中的探索与利用平衡，实验表明ED-iDPO和ED-GRPO在推理能力和多样性上优于基线模型。

Comments Accepted by TMLR 2026

Distributionally Robust Token Optimization in RLHF

强化学习中对抗性令牌优化

Yeping Jin, Jiaming Hu, Ioannis Ch. Paschalidis

机构 * Department of System Engineering（系统工程系） ； Boston University（波士顿大学） ； Department of Math & Statistics（数学与统计学系） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。

How Instruction and Reasoning Data shape Post-Training: Data Quality through the Lens of Layer-wise Gradients

指令和推理数据如何塑造训练后阶段：通过层梯度的视角探讨数据质量

Ming Li, Yanhong Li, Ziyue Li, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Allen Institute for AI（Allen人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过层梯度的谱分析，揭示了高质量指令和推理数据对大语言模型训练后阶段的影响，统一了数据评估指标，并展示了数据质量与训练稳定性之间的关系。

Comments ACL2026, camera-ready

Code Mixologist : A Practitioner's Guide to Building Code-Mixed LLMs

代码调酒师：构建代码混合LLM的从业者指南

Himanshu Gupta, Pratik Jayarao, Chaitanya Dwivedi, Neeraj Varshney

机构 * Arizona State University（亚利桑那州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文探讨了代码混合和切换在大语言模型中的挑战，提出统一的分类体系和实用指南，涵盖数据、建模和评估方法，分析现有评估实践并讨论安全问题。

Comments 8 pages main paper, 13 pages total

Sparse Reward Subsystem in Large Language Models

大语言模型中的稀疏奖励子系统

Guowei Xu, Mert Yuksekgonul, James Zou

机构 * Tsinghua University（清华大学） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究揭示大语言模型隐藏状态中稀疏神经元构成奖励子系统，识别价值神经元和多巴胺神经元，用于预测模型置信度和指导推理过程。

CachePrune: Teaching LLMs What Not to Follow via KV-Cache Editing

CachePrune: 通过KV缓存编辑教LLMs不遵循指令

Rui Wang, Junda Wu, Yu Xia, Tong Yu, Ruiyi Zhang, Ryan Rossi, Subrata Mitra, Lina Yao, Julian McAuley

机构 * Adobe Research（Adobe研究院） ； University of California San Diego（加州大学圣地亚哥分校） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 CachePrune通过KV缓存编辑识别并修剪指令跟随相关神经元，降低间接提示注入攻击成功率，同时保持LLM执行用户指令的能力。

A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

一对GRPO家族的统一：从隐式到显式的偏好约束用于稳定和通用的RL对齐

Hao Yu

机构 * Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种统一的偏好基于RL优化框架，通过Soft-Pair-GRPO和Hard-Pair-GRPO两种变体，解决了主流配对偏好学习中政策更新不稳定、梯度方向模糊等问题，提升了对齐质量与训练稳定性。

What should post-training optimize? A test-time scaling law perspective

在测试时间视角下，后训练应优化什么？

Muheng Li, Jian Qian, Wenlong Mou

机构 * Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系） ； Department of AI and Data Science, The University of Hong Kong（香港大学人工智能与数据科学系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了测试时间预算不匹配场景下，基于奖励尾部统计的后训练优化方法，提出TEA和Prefix-TEA估计器提升最佳N性能。

Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States

你的语言模型就是其自身的批评者：具有从演员内部状态估计价值的强化学习

Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

机构 * Graduate School of Data Science（数据科学研究生院） ； Seoul National University（首尔国立大学） ； Computer Science and Engineering（计算机科学与工程） 纠错

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出POISE方法，通过利用策略模型内部信号在强化学习中实现高效的基线估计，减少方差并提高训练稳定性，适用于数学推理任务。

Comments Under Review; Project Page: https://elijah0430.github.io/poise/

Interactive Critique-Revision Training for Reliable Structured LLM Generation

交互式批评-修订训练用于可靠的结构化大语言模型生成

Fei Xu Yu, Zuyuan Zhang, Mahdi Imani, Nathaniel D. Bastian, Tian Lan

机构 * The George Washington University（乔治华盛顿大学） ； Northeastern University（东北大学） ； United States Military Academy（美国军事学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DPA-GRPO方法，通过生成器-验证器游戏中的结构化验证干预，提升结构化决策的准确性与一致性，实验显示其在TaxCalcBench TY24上优于零样本生成和生成器-only RL基线。

Composing Policy Gradients and Prompt Optimization for Language Model Programs

将策略梯度与提示优化组合用于语言模型程序

Noah Ziems, Dilara Soylu, Lakshya A Agrawal, Isaac Miller, Liheng Lai, Chen Qian, Kaiqiang Song, Meng Jiang, Dan Klein, Matei Zaharia, Karel D'Oosterlinck, Christopher Potts, Omar Khattab

机构 * University of Notre Dame（诺特大学） ； Stanford University（斯坦福大学） ； UC Berkeley（伯克利大学） ； Anyscale ； CMU（卡内基梅隆大学） ； Zoom, Inc.（Zoom公司） ； Contextual AI ； MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文研究了如何将GRPO与自动提示优化结合，以提升多提示程序的性能，实验表明这种组合在分类、多跳搜索和隐私保护委托任务中平均提升准确率11%。

Comments ACM CAIS 2026. Lakshya*, Dilara*, and Noah* contributed equally to this work

Skill-R1: Agent Skill Evolution via Reinforcement Learning

Skill-R1：通过强化学习实现智能体技能进化

Yash Vishe, Rohan Surana, Xunyi Jiang, Zihan Huang, Xintong Li, Nikki Lijing Kuang, Tong Yu, Ryan A. Rossi, Jingbo Shang, Julian McAuley, Junda Wu

机构 * UC San Diego（UC圣地亚哥大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Skill-R1通过强化学习框架实现实例级递归技能优化，利用可验证奖励训练轻量级技能生成器，提升智能体在复杂多步骤任务中的表现。

Offline Preference Optimization for Rectified Flow with Noise-Tracked Pairs

离线偏好优化用于具有噪声跟踪配对的校正流

Yunhong Lu, Qichao Wang, Hengyuan Cao, Xiaoyin Xu, Min Zhang

机构 * Zhejiang University（浙江大学） ； Shanghai Institute for Advanced Study-Zhejiang University（上海先进研究院-浙江大学） ； Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉科学研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 本文提出PNAPO框架，通过保留生成胜败图像的先验噪声，改进校正流的偏好优化，提升稳定性和样本效率。

Comments Accepted by ICML 2026

Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents

Evolving-RL: 端到端优化经验驱动的自我进化能力

Zhiyuan Fan, Wenwei Jin, Feng Zhang, Bin Li, Yihong Dong, Yao Hu, Jiawei Li

机构 * Xiaohongshu Inc.（小红书公司） ； School of Computer Science, Peking University（北京大学计算机学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出Evolving-RL框架，通过联合优化经验提取与利用能力，提升大模型在新型任务中的适应能力，实验显示在ALFWorld和Mind2Web任务中取得显著性能提升。

Comments 17pages, 5 figures

Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models

训练后探索恢复：大型推理模型的潜在探索解码

Wenhui Tan, Fiorenzo Parascandolo, Enver Sangineto, Jianzhong Ju, Zhenbo Luo, Qian Cao, Rita Cucchiara, Ruihua Song, Jian Luan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； MiLM Plus, Xiaomi Inc., Beijing, China（小米公司北京MiLM Plus团队） ； University of Modena and Reggio Emilia（莫德纳和雷吉奥艾米莉亚大学） ； University of Pisa, Italy（比萨大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Latent Exploration Decoding方法，通过累积中间后验并选择熵最大配置来提升推理模型的pass@1和pass@16准确率，同时增强强化学习中的探索能力。

Comments Project Page: https://github.com/AlbertTan404/LED

Improving Inverse Folding for Peptide Design with Diversity-regularized Direct Preference Optimization

通过多样性正则化的直接偏好优化改进肽设计的反向折叠

Ryan Park, Darren J. Hsu, C. Brian Roland, Maria Korshunova, Chen Tessler, Shie Mannor, Olivia Viessmann, Bruno Trentini

机构 * Stanford University（斯坦福大学） ； NVIDIA（英伟达） ； Technion - Israel Institute of Technology（技术学院-以色列理工学院） ； Flagship Pioneering（旗领先锋） ； University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过改进的直接偏好优化方法，结合多样性正则化和领域特定先验，提升肽设计中反向折叠模型的序列多样性和结构一致性，实验表明在OpenFold生成结构条件下，模型在结构相似度上取得显著提升。

Comments Preprint. 10 pages plus appendices

FaVChat: Hierarchical Prompt-Query Guided Facial Video Understanding with Data-Efficient GRPO

FaVChat: 基于数据高效GRPO的层次提示-查询引导的面部视频理解

Fufangchen Zhao, Songbai Tan, Xuerui Qiu, Linrui Xun, Wenhao Jiang, Jinkai Zheng, Hehe Fan, Jian Gao, Danfeng Yan, Ming Li

机构 * State Key Laboratory of Networking and Switching Technology, BUPT（北京邮电大学网络与交换技术国家重点实验室） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Institute of automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； Central South University（中南大学） ； Zhejiang University（浙江大学） ； College of communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 FaVChat通过层次化提示引导框架提取面部动态细节信息，结合数据高效GRPO策略提升学习效率，实现在面部视频理解任务中的优越性能。

SCORP: Scene-Consistent Multi-agent Diffusion Planning with Stable Online Reinforcement Post-Training for Cooperative Driving

SCORP：具有稳定在线强化学习后训练的场景一致多智能体扩散规划用于协作驾驶

Haojie Bai, Aimin Li, Ruoyu Yao, Xiongwei Zhao, Tingting Zhang, Xing Zhang, Lin Gao, and Jun Ma

机构 * School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Middle East Technology University (METU)（中东技术大学） ； Robotics and Autonomous Systems Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）机器人与自主系统方向） ； School of Computer Science and Technology, Qinghai University（青海大学计算机科学与技术学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 SCORP通过场景条件多智能体去噪架构和两层马尔可夫决策过程提升多智能体协作驾驶的场景一致性和效率，实验表明其在安全性和效率指标上优于现有基线方法。

f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment

f-GRPO 与 beyond：基于发散性的强化学习算法用于通用大语言模型对齐

Rajdeep Haldar, Lantao Mei, Guang Lin, Yue Xing, Qifan Song

机构 * Department of Statistics, Purdue University（普渡大学统计学系） ； Department of Statistics, Michigan State University（密歇根州立大学统计学系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.LG

AI总结 本文提出f-GRPO和f-HAL算法，通过发散性估计提升大语言模型对齐效果，在数学推理任务中改进GRPO并缓解奖励黑客问题。

Generative Adversarial Post-Training Mitigates Reward Hacking in Live Human-AI Music Interaction

生成对抗式后训练缓解实时人机音乐交互中的奖励黑客

Yusong Wu, Stephen Brade, Aleksandra Teng Ma, Tia-Jane Fowler, Enning Yang, Berker Banar, Aaron Courville, Natasha Jaques, Cheng-Zhi Anna Huang

机构 * Mila, Quebec Artificial Intelligence Institute, Université de Montréal（蒙特利尔大学人工智能研究所，魁北克机器学习研究院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； Massachusetts Institute of Technology（麻省理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Washington（华盛顿大学） ； McGill University（麦吉尔大学） ； Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 本文提出一种对抗训练方法，通过政策生成轨迹缓解生成序列模型后训练中的奖励黑客问题，提升音乐伴奏的多样性与和谐性。

Comments v3: fix the Figure numbering bugs

AI Alignment via Incentives and Correction

通过激励与修正实现AI对齐

Rohit Agarwal, Joshua Lin, Mark Braverman, Elad Hazan

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文从法律经济学威慑模型视角探讨AI对齐问题，提出通过激励机制和修正过程解决AI行为与对齐目标的平衡问题，构建双代理模型分析奖励设计对求解器和审计器行为的影响。

Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping

文本到图像模型的强化后训练与超线性优势塑造

Haoyuan Sun, Jing Wang, Yuxin Song, Yu Lu, Bo Fang, Yifu Luo, Jun Yin, Pengyu Zeng, Miao Zhang, Tiantian Zhang, Xueqian Wang, Shijian Lu

机构 * Nanyang Technological University（南洋理工大学） ； Baidu Inc.（百度公司） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） ； Jimei University（集美大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 本文提出超线性优势塑造方法，通过信息几何视角优化文本到图像模型的后训练过程，提升训练效率和生成质量，减少奖励黑客问题。

RewardHarness: Self-Evolving Agentic Post-Training

RewardHarness: 自我进化代理的后训练

Yuxuan Zhang, Penghui Du, Bo Li, Cong Wei, Junwen Miao, Huaisong Zhang, Songcheng Cai, Yubo Wang, Dongfu Jiang, Yuyu Zhang, Ping Nie, Wenhu Chen, Changqian Yu, Kelsey R. Allen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Kolors Team, Kuaishou Technology（快手团队） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Waterloo（滑铁卢大学） ； Etude AI ； Tsinghua University（清华大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 RewardHarness通过自我进化代理框架，利用少量人类偏好示例迭代优化工具库，实现高效图像编辑评估，准确率达47.4%，超越GPT-5 5.3个百分点。

Comments Project page: https://rewardharness.com

DGPO: Beyond Pairwise Preferences with Directional Consistent Groupwise Optimization

DGPO: 超越成对偏好与方向一致的组级优化

Mengyi Deng, Zhiwei Li, Xin Li, Tingyu Zhu, Yulan Yuan, Zhijiang Guo, Wei Wang

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou), China（香港科学与技术大学（广州）信息中心，中国） ； The Hong Kong University of Science and Technology, Hong Kong SAR（香港科学与技术大学，香港特别行政区） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出DGPO框架，通过组级监督信号和多候选比较建模方向一致性，提升偏好优化的准确性和多样性，实验显示在多个数据集上平均提升3.6%。

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero：从零数据开始的自主开放生成自我学习

Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of Virginia（弗吉尼亚大学） ； University of Maryland（马里兰大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 G-Zero通过无验证器的共进化框架实现自主改进，利用Hint-δ内在奖励量化生成模型在无辅助响应与带提示响应间的预测偏移，通过GRPO训练提出者模型持续针对生成器的盲区，同时通过DPO优化生成器内部化提示引导的改进。

Preference Learning for AI Alignment: a Causal Perspective

偏好学习用于AI对齐：一种因果视角

Katarzyna Kobalczyk, Mihaela van der Schaar

机构 * Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从因果视角出发，探讨了基于偏好数据的奖励建模在对齐大语言模型与人类价值观中的关键作用，提出因果工具箱以解决因果误识别、偏好异质性和用户特定因素的混淆问题，并提出未来研究的方向。

Journal ref Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025

Crosslingual On-Policy Self-Distillation for Multilingual Reasoning

跨语言在线策略自蒸馏用于多语言推理

Yihong Liu, Raoyuan Zhao, Michael A. Hedderich, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出COPSD方法，通过将高资源语言的推理行为迁移到低资源语言，提升多语言推理能力，实验显示其在17种低资源非洲语言上表现优异，优于GRPO。

Comments preprint

dFlowGRPO: Rate-Aware Policy Optimization for Discrete Flow Models

dFlowGRPO：面向离散流模型的速率感知策略优化

Zhengyan Wan, Yidong Ouyang, Panwen Hu, Qiang Sun

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； East China Normal University（东华大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Toronto（多伦多大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出dFlowGRPO框架，用于离散流模型的强化学习，支持多种概率路径和非掩码源分布，通过轨迹概率推导和去噪马尔可夫决策过程，提升文本到图像生成和多模态理解任务性能。

Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria

Auto-Rubric as Reward：从隐含偏好到显式多模态生成标准

Juanxi Tian, Fengyuan Liu, Jiaming Han, Yilei Jiang, Yongliang Wu, Yesheng Liu, Haodong Li, Furong Xu, Wanhua Li

机构 * Nanyang Technological University（南洋理工大学） ； Ant Group（蚂蚁集团） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Auto-Rubric as Reward框架，通过显式标准分解替代隐含权重优化，提升多模态生成模型对人类偏好的对齐效果，实验证明显式标准能更可靠地实现数据高效对齐。

Comments 28 pages, 10 figures, 11 tables