大模型对齐与安全

Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model

南贝格4.2 - 3B：以紧凑模式解锁智能体能力

Nanbeige Lab, :, Chen Yang, Chengrui Huang, Fufeng Lan, Hanhui Chen, Hao Zhou, Huatong Song, Jiaqi Cao, Jiaying Zhu, Jinlin Niu, Kai Wang, Lisheng Huang, Qiliang Liang, Ran Le, Ruixiang Feng, Shuang Sun, Tao Gu, Tao Zhang, Tianyu Luo, Yang Song, Yun Xing, Yuntao Wen, Ziyao Xu, Zongchao Chen, Zongqiang Li

机构 * Nanbeige LLM Lab（南北贝大语言模型实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 介绍南贝格4.2 - 3B紧凑通用智能体模型，通过特定预训练方式构建，利用多种强化学习方法提升质量与效率，在多任务和基准测试中表现出色，优于更大模型，有潜力成为紧凑本地个人助手。

Domyn-Small: A European 10B Reasoning Language Model

Domyn-Small：一个欧洲的100亿参数推理语言模型

Simone Angarano, Francesco Bertolotti, Federico D'Ambrosio, Michele Resta, Alessandro Rognoni, Nicolò Ruggeri, Dario Salvati, Andrea Valenti, Alberto Veneri, Martin Cimmino

机构 * CINECA（意大利国家计算应用研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 介绍了基于9万亿令牌多语言数据预训练的100亿参数推理语言模型Domyn-Small，经持续预训练、监督微调、强化学习等训练后管道，实现双模式推理，在与对等模型对比中平衡了准确性与效率，还发布了相关权重及开源框架。

Comments 27 pages, 5 figure

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

莫尔：让模型为稳健的跨域知识编辑指引自身方向

Jea Kwon, Jiwon Kim, Dong-kyum Kim, Meeyoung Cha

机构 * Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究针对语言模型训练后知识编辑核心能力退化问题，提出莫尔方法，通过从模型自身解码分布采样估计保留协方差，无需外部数据，可作插入组件。实验表明该方法能在多模型上扩展保留能力，提升准确率，凸显分布对齐对无损编辑的关键作用。

Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

无外部表达的知识：探索经典中文语言模型的泛化边界

Jiuting Chen, Yuan Lian, Hao Wu, Tianqi Huang, Hiroshi Sasaki, Makoto Kouno, Jongil Choi

机构 * Eaglewood Japan Co., Ltd.（日本鹰木公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究通过训练纯经典中文语料库的Transformer模型，探讨模型能否区分已知与未知输入，并揭示内部与外部不确定性之间的差异。

Comments 27 pages, 4 figures, supplementary material included

PlotTwist: A Creative Plot Generation Framework with Small Language Models

PlotTwist: 一种利用小语言模型的创意情节生成框架

Abhinav Thorat, Ravi Kolla, Jyotin Goel, Madhav Kataria, Niranjan Pedanekar

机构 * Sony Research India（索尼印度研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

AI总结 PlotTwist通过结构化框架使小语言模型生成高质量前提条件情节，优于大型模型，且在多个叙事质量维度上表现优异。

Comments 28 pages, 3 figures

OR Else: A Differentiable Trust Region for Policy Optimization

OR 否则：用于策略优化的可微信赖域

Chinmay Rane, Kanishka Tyagi, Michael Manry

机构 * Quantiphi Inc（昆蒂菲公司） ； Self Machines Inc（自机器公司） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究 PPO 和 GRPO 中裁剪代理目标导数突变问题，提出用输出重置（OR）规则优化。通过对比实验，在广义优势估计下 PPO-OR 有更高奖励模型得分，组相对优势下 GRPO-OR 虽平均得分未升但差异更小，OR 改变了优化行为但奖励效果有别。

Comments 22 pages, 5 figures

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

言语化采样：如何减轻模式坍塌并释放大语言模型的多样性

Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现偏好数据中的典型性偏差致大语言模型模式坍塌，引入言语化采样策略。该策略能促使模型说出响应概率分布，经实验验证可显著提升创意写作等多方面性能，为模式坍塌提供新视角及实用补救方法。

Comments 83 pages, 31 figures, 44 tables. Code is available at https://github.com/CHATS-lab/verbalize-sampling

Multimodal Integrated Knowledge Transfer to Large Language Models through Preference Optimization with Biomedical Applications

通过偏好优化整合多模态知识以增强大语言模型的多模态知识转移（生物医学应用）

Zhanliang Wang, Da Wu, Quan Nguyen, Zhuoran Xu, Kai Wang

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 MINT通过偏好优化整合多模态知识，提升大语言模型在生物医学任务中的表现，特别是在罕见遗传疾病预测和组织类型分类中取得显著成效。

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

HiPO：用于大语言模型自适应推理的分层偏好优化

Darsh Kachroo, Arjun Prasaath Anbazhagan, Adriana Caraeni, Brennan Lagasse, Kevin Zhu

机构 * Vellore Institute of Technology（维洛雷理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Northwestern University（西北大学） ； Yale University（耶鲁大学） ； Algoverse AI Research（Algoverse AI研究） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 HiPO通过分层优化提升大语言模型在复杂推理任务中的表现，结合偏好优化与结构化推理的优势，实现更高效的训练和更一致的输出。

Comments 12 pages, 4 figures, 6 tables. Includes ablation study across Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct on 5 math reasoning benchmarks (GSM8K, MATH500, Minerva, AIME24, Gaokao2023). GPT-4.1 used for structured evaluation of reasoning quality

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

最佳中的更优N：通过上下文学习生成预对齐响应

Eric Lei, Hsiang Hsu, Chun-Fu Chen

机构 * JPMorganChase Global Technology Applied Research（摩根大通全球技术应用研究） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出Best-of-Better-$N$框架应对响应质量限制问题，利用检索高奖励示例及重写步骤，通过上下文学习使预训练模型输出分布向高奖励区域转移，在安全对齐和数学推理基准测试中有更好表现。

TaoSR-AGRL: Adaptive Guided Reinforcement Learning Framework for E-commerce Search Relevance

TaoSR-AGRL：用于电子商务搜索相关性的自适应引导强化学习框架

Jianhui Yang, Yiming Jin, Pengkun Jiao, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Tsinghua University（清华大学） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） ； Fudan University（复旦大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 电商搜索中查询-产品相关性预测很关键，现有方法有局限。提出TaoSR-AGRL框架，通过规则感知奖励塑造和自适应引导重放两大创新，提升模型推理能力，在实验中表现优于基线，已成功部署。

Comments Accepted to The Web Conference (WWW) 2026, Industry Track, Oral

Journal ref Proceedings of the ACM Web Conference 2026 (WWW '26), 2026, pp. 7955-7966

Training Therapeutic Judges and Multi-Agent Systems for Human-Aligned Mental Health Support

训练治疗性评判者与多智能体系统以实现人类对齐的心理健康支持

Mizanur Rahman, Abeer Badawi, Elahe Rahimi, Laleh Seyyed-Kalantari, Frank Rudzicz, Enamul Hoque, Elham Dolatabadi

机构 * York University（约克大学） ； Vector Institute（向量研究所） ； Connected Minds ； Dalhousie University（达尔豪斯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个框架，通过两阶段训练（TheraJudge评判者与TheraAgent多智能体系统）将治疗性响应生成转化为决策优化问题，显著提升心理健康LLM的治疗质量。

ProfiLLM: Utility-Aligned Agentic User Profiling for Industrial Ride-Hailing Dispatch

ProfiLLM: 面向工业网约车调度的效用对齐智能用户画像

Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

机构 * Didichuxing Co. Ltd（滴滴出行科技有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.CY

AI总结 提出ProfiLLM，一种通过工具增强全局知识挖掘和效用对齐画像探索的智能LLM数据管道，解决工业网约车调度中大规模行为日志的用户画像问题，在滴滴生产系统中实现AUC提升6.14%、GMV提升4.35%。

S-SPPO: Semantic-Calibrated Self-Play Preference Optimization

S-SPPO：语义校准的自对弈偏好优化

Xiwen Chen, Wenhui Zhu, Jingjing Wang, Peijie Qiu, Zhipeng Wang, Huayu Li, ZhengXiao He, Xuanzhao Dong, Prayag Tiwari, Mingkun Xu, Yujian Xiong, Feng Luo, Abolfazl Razi, Brendan Hogan Rappazzo, Anderson Schneider, Yuriy Nevmyvaka

机构 * University of Arizona, USA（亚利桑那大学） ； Arizona State University, USA（亚利桑那州立大学） ； Now at Google LLC, work done at Rice University（现就职于谷歌公司，曾就职于里士大学） ； Clemson University, USA（克莱姆森大学） ； Washington University in St. Louis, USA（圣路易斯华盛顿大学） ； Halmstad University, Sweden（哈姆斯塔德大学） ； Guangdong Institute of Intelligence Science and Technology, China（广东智能科学与技术研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对自对弈偏好优化（SPPO）中因偏好预测过度自信导致策略退化的问题，提出双空间语义校准框架S-SPPO，通过语义门控监督校准和潜在排斥表示校准，在保持博弈结构的同时提升对齐性能。

Comments Accepted by ICML2026

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

面向隐私敏感的临床信息抽取的自提示小型语言模型

Yao-Shun Chuang, Tushti Mody, Uday Pratap Singh, Shirindokht Shiraz, Chun-Teh Lee, Ryan Brandon, Muhammad F Walji, Xiaoqian Jiang, Bunmi Tokede

机构 * McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校麦克威廉斯生物医学信息学学院） ； School of Public Health, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校公共卫生学院） ； School of Dentistry, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校牙科学院） ； Willamette Dental and Skourtes Institute（威廉特牙科与斯库尔特斯研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对牙科病历中非结构化、领域特定且隐私敏感的命名实体识别挑战，提出一种本地可部署的自提示框架，通过多提示集成推理和基于QLoRA的微调及直接偏好优化，使小型语言模型在Qwen2.5-14B-Instruct上达到微宏F1分数0.864/0.837。

From Consumption to Reflection: Designing Human-AI Relations for Stable Reasoning

从消费到反思：为稳定推理设计人-人工智能关系

Rikard Rosenbacke, Carl Rosenbacke, Victor Rosenbacke, Martin McKee

机构 * Faculty of Medicine, Lund University（吕勒欧大学医学院） ； Department of Economics, Lund University School of Economics and Management（吕勒欧大学经济学与管理学院经济系） ； Department of Health Services Research and Policy, London School of Hygiene & Tropical Medicine（伦敦卫生与热带医学学院健康服务研究与政策系） 纠错

专题命中 偏好对齐 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 提出关系反思智能（RRI），一种推理时治理层，通过可审计的推理循环实现反思，将人机交互转变为联合推理系统，以补偿双方局限并实现稳定推理。

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

GenTSE: Enhancing Target Speaker Extraction via a Coarse-to-Fine Generative Language Model

GenTSE: 通过粗到细的生成语言模型增强目标说话人提取

Haoyang Li, Xuyi Zhuang, Azmat Adnan, Ye Ni, Wei Rao, Shreyas Gopal, Eng Siong Chng, Boon Siew Han, Yuanjin Zheng

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Southeast University, China（东南大学，中国） ； Schaeffler Hub for Advanced REsearch (SHARE) at Nanyang Technological University, Singapore（南洋理工大学Schaeffler先进研究 hub（SHARE），新加坡） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出GenTSE，一种两阶段解码器仅生成语言模型，先预测粗语义标记再生成细声学标记，结合冻结语言模型条件训练和直接偏好优化，在Libri2Mix上超越先前基于语言模型的系统。

Comments Accepted to Interspeech2026

Better Literary Translation: A Multi-Aspect Data Generation and LLM Training Approach

更好的文学翻译：多维度数据生成与大语言模型训练方法

Zhihao Lin, Ziqi Zhu, Hao Huang, Guanghui Wang, Peiyang He

机构 * Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出多维度迭代优化框架，通过专门的大语言模型生成高质量翻译参考和偏好数据，结合监督微调和强化学习（GRPO）提升文学翻译质量，在MetaphorTrans英中文学翻译基准上达到与Claude Sonnet 4.5竞争的性能。

Comments Accepted by ACL 2026 Industry

Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning

隔离LLM词汇偏差：一种无人工标注的三角化偏好学习阶段度量

Xiaoyang Ming, Jose Hernandez, Thomas Stephan Juzek

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种无需人工标注的三角化偏好偏移分数（Triangulated Preference Shift score），通过对比人类标准、基础模型和指令变体，量化偏好学习阶段引入的词汇偏差。

Comments 7 pages, 2 figures, 1 table

Journal ref The International FLAIRS Conference Proceedings, 39(1) (2026)

In-Context Reward Adaptation for Robust Preference Modeling

上下文奖励自适应用于鲁棒偏好建模

Zhenyu Sun, Zheng Xu, Ermin Wei

机构 * Northwestern University（西北大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Transformer的上下文奖励自适应框架，通过少量偏好示例和人类反应时间辅助信号，在线建模多样且未见的人类偏好，实现鲁棒的偏好建模和分布偏移适应。

CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval

CoHyDE: 用于工具检索的LLM改写器与稠密编码器的迭代协同训练

Vaishali Senthil, Ashutosh Hathidara, Sebastian Schreiber

机构 * SAP Labs（SAP实验室） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出CoHyDE方法，通过迭代协同训练稠密编码器和LLM改写器，结合对比学习和偏好对齐，在工具检索任务中同时提升标准查询和模糊查询的性能。

Human-Guided Harm Recovery for Computer Use Agents

面向计算机使用代理的人类引导式危害恢复

Christy Li, Sky CH-Wang, Andi Peng, Andreea Bobu

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对LM代理在计算机系统中执行操作后的危害恢复问题，通过用户研究定义偏好对齐的恢复维度，提出基于奖励模型对候选恢复计划重排序的方法，并构建BackBench基准测试，实验表明该方法优于基线代理。

AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens

AdvJudge-Zero：通过对抗控制令牌在LLM作为评判者中实现二元决策翻转

Tung-Ling Li, Yuhao Wu, Hongliang Liu

机构 * Palo Alto Networks（帕洛阿尔托网络公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出AdvJudge-Zero方法，通过从评判模型自身分布中采样低困惑度令牌，无需梯度优化即可将LLM评判者的二元判决从“否”翻转为“是”，并基于发现的令牌池提出防御策略以增强评判鲁棒性。

DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

DeepInterestGR: 利用多模态大语言模型挖掘深度多兴趣用于生成式推荐

Yangchen Zeng, Zhenyu Yu, Zhiyuan Hu, Wenxin Zhang, Jinze Wang, Rongfeng Guo

机构 * Southeast University（东南大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CY、cs.LG

AI总结 提出DeepInterestGR框架，通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化，解决生成式推荐中的浅层兴趣问题，在三个Amazon数据集上显著提升推荐性能。

DocAtlas: Multilingual Document Understanding Across 80+ Languages

DocAtlas: 跨80多种语言的多语言文档理解

Ahmed Heakl, Youssef Mohamed, Abdullah Sohail, Rania Elbadry, Ahmed Nassar, Peter W. J. Staar, Fahad Shahbaz Khan, Imran Razzak, Salman Khan

机构 * MBZUAI（穆罕默德·本·拉谢德人工智能研究所） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出DocAtlas框架，通过构建高保真的OCR数据集和基准测试，覆盖82种语言和9个评估任务，利用双重管道生成精确的结构注解，展示了直接偏好优化在多语言适应中的有效性，提升了领域内和领域外的准确率。

Comments Under submission

Structured Style-Rewrite with Chain-of-Thought Planning for Low-Resource Character Dialogue

结构化风格重写与思维链规划用于低资源字符对话

Chanhui Zhu

机构 * Guangdong University of Finance（广东金融学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出了一种结构化风格重写框架，结合思维链规划，以解决低资源条件下中文字符驱动生成中的风格分离问题，通过分解角色风格为可解释的格式签名、语法和语用维度，并利用思维链监督进行显式风格规划，实验表明该方法在保持语义忠实性的同时提升了风格质量。

Comments 30 pages, 5 figures. Preprint

PhyWorld: Physics-Faithful World Model for Video Generation

PhyWorld: 用于视频生成的物理忠实世界模型

Pu Zhao, Juyi Lin, Timothy Rupprecht, Arash Akbari, Chence Yang, Rahul Chowdhury, Elaheh Motamedi, Arman Akbari, Yumei He, Chen Wang, Geng Yuan, Weiwei Chen, Yanzhi Wang

机构 * Northeastern University（东北大学） ； University of Georgia（佐治亚大学） ； Tulane University（路易斯安那大学） ； EmbodyX 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。

Fine-tuning Large Language Model for Automated Algorithm Design

微调大语言模型用于自动化算法设计

Fei Liu, Rui Zhang, Xi Lin, Zhichao Lu, Qingfu Zhang

机构 * City University of Hong Kong（香港城市大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文探讨了微调大语言模型以提升其在自动化算法设计中的性能，提出了一种多样性感知的排名策略和直接偏好优化方法，通过实验验证了任务特定微调在不同算法设计任务中的有效性。

Self-Improving Tabular Language Models via Iterative Reward-Guided Post-Training

通过迭代奖励引导的后训练改进表格语言模型

Yunbo Long, Tejumade Afonja, Guangya Hao, Alexandra Brintrup, Mario Fritz

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； CISPA Helmholtz Center for Information Security, Saarbrücken, Germany（德国萨尔布吕肯信息安全中心） ； The Alan Turing Institute, London（伦敦阿兰·图灵研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了通过生成-评分-对齐协议进行迭代奖励引导的后训练，提出了一种基于组相对对齐的方法TabGRAA，通过比较高分和低分生成组的组平均策略/参考对数比来改进表格语言模型，在五个混合类型基准上优于额外监督微调，并在保真度和下游效用之间实现了最佳平均权衡，同时保持经验隐私诊断接近监督基线。