语言大模型 / LLM

Rethinking Local Learning: A Cheaper and Faster Recipe for LLM Post-Training

重新思考局部学习：一种更便宜更快的LLM后训练配方

Hengyu Shi, Tianyang Han, Peizhe Wang, Zhiling Wang, Xu Yang, Junhao Su

机构 * Independent Researcher（独立研究者） ； D 4 Lab（D4实验室） ； Southeast University（东南大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LoPT，一种局部学习后训练策略，通过在transformer中点设置梯度边界，降低内存成本，提高训练效率并保留预训练能力。

Comments 35pages

Multi-Agent LLM Governance for Safe Two-Timescale Reinforcement Learning in SDN-IoT Defense

多智能体LLM治理：SDN-IoT防御中安全的两时间尺度强化学习

Saeid Jamshidi, Negar Shahabi, Foutse Khomh, Carol Fung, Mohammad Hamdaqa

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出两时间尺度SDN-IoT防御方案，快时间尺度使用PPO智能体进行控制器感知的缓解，慢时间尺度使用多智能体LLM治理引擎生成可审计的策略更新，在保证安全约束下提升防御性能。

LearNAT: Learning NL2SQL with AST-guided Task Decomposition for Large Language Models

LearNAT: 基于AST引导任务分解的NL2SQL大语言模型学习

Weibin Liao, Xin Gao, Tianyu Jia, Rihong Qiu, Yifan Zhu, Yang Lin, Xinyu Ma, Junfeng Zhao, Yasha Wang

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Key Laboratory of High Confidence Software Technologies, Ministry of Education（教育部高可信软件技术重点实验室） ； Big Data Technology Research Center, Nanhu Laboratory（纳米实验室大数据技术研究中心） ； National Engineering Research Center For Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； Peking University Information Technology Institute (Tianjin Binhai)（北京大学信息技术研究院（天津滨海）） ； School of Computer Sciences, Beijing University of Posts and Telecommunications（北京邮电大学计算机科学系） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Seed, ByteDance Inc.（字节跳动公司） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；preference optimization(abstract)

AI总结 提出LearNAT框架，通过AST引导的分解合成过程和边际感知强化学习，增强小规模LLM的NL2SQL任务分解能力，以7B参数模型达到GPT-4可比性能。

Comments Accepted by ICLR'26

Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning

通过强化学习优化RAG重排序器与LLM反馈

Yuhang Wu, Xiangqing Shen, Fanfan Wang, Cangqi Zhou, Zhen Wu, Xinyu Dai, Rui Xia

机构 * Nanjing University of Science and Technology（南京理工大学） ； Nanjing University（南京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出RRPO框架，通过强化学习将重排序与LLM生成质量对齐，消除了对昂贵人工标注的依赖，实验显示其在知识密集型基准上优于基线模型。

Comments 17 pages

Large Language Models Hack Rewards, and Society

大型语言模型攻击奖励机制与社会

Wei Liu, Xinyi Mou, Hanqi Yan, Zhongyu Wei, Yulan He

机构 * King’s College London（伦敦大学国王学院） ； Fudan University（复旦大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 研究强化学习训练中大型语言模型利用奖励函数漏洞的“社会攻击”现象，通过SocioHack沙盒实验发现模型能发现并利用社会规则漏洞，且现有安全措施效果有限。

Comments 14 pages, 9 figures, 7 tables

Toward Preference-aligned Large Language Models via Residual-based Model Steering

基于残差模型引导的偏好对齐大型语言模型

Lucio La Cava, Andrea Tagarelli

机构 * DIMES Dept., University of Calabria, Italy（卡利博大学DIMES系） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；preference optimization(abstract)

AI总结 提出PaLRS方法，利用残差流中的偏好信号提取轻量级引导向量，无需训练即可在推理时对齐模型偏好，在数学推理和代码生成任务上取得一致提升，同时节省大量时间。

Comments Accepted at IJCAI 2026

Dual-Difficulty Curriculum Learning for Direct Preference Optimization

用于直接偏好优化的双难度课程学习

Mengyang Li, Haozhan Geng, Zhong Zhang, Shuang Liu

机构 * Tianjin Key Laboratory of Wireless Mobile Communications and Power Transmission（天津无线移动通信与电力传输重点实验室） ； Tianjin Normal University（天津师范大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型对齐中课程学习依赖一维难度视图的问题，提出将对齐难度重构为二维空间，开发DM-Curri-DPO框架，引入GSP-Curri-DPO分组自定进度学习框架，实验表明该方法提升了数据效率与鲁棒性，为LLM对齐建立新范式。

Comments We found a critical flaw in the prompt complexity metric, which affects the 2D curriculum grid construction and leads to potentially invalid comparisons. Since this undermines our main conclusions, we are withdrawing the paper and will revise the methodology before resubmission

Detecting Lookahead Bias in LLM Forecasts

检测LLM预测中的前瞻偏差

Zhenyu Gao, Wenxi Jiang, Yutong Yan

机构 * Department of Finance, CUHK Business School（CUHK商学院金融系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出统计程序检测大语言模型经济预测中的前瞻偏差，通过日期回忆查询估计前瞻倾向（LAP），并验证LAP与预测交互项在精度回归中的显著性，应用于新闻标题和财报电话会议预测任务。

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

多目标偏好优化：提升生成模型的人类对齐

Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；preference optimization(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 针对RLHF和偏好优化方法假设单一目标的问题，提出多目标偏好优化框架MOPO，通过约束KL散度最大化主要目标并保障次要目标下限，在合成基准和人类偏好数据上实现帕累托最优策略。

Comments arXiv admin note: text overlap with arXiv:2406.18853 by other authors

Strengthening LLMs for Tabular Prediction with Structural Priors

利用结构先验增强LLM在表格预测中的能力

Pengxiang Cai, Zihao Gao, Wanchen Lian, Guocong Li, Jintai Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出PRPO方法，通过列排列不变性和两级优势估计将表格结构先验融入LLM后训练，使8B模型在139个OpenML数据集上达到与强监督基线竞争的性能，零样本设置下表现优异。

Matching Accuracy, Different Geometry: Evolution Strategies vs GRPO in LLM Post-Training

匹配精度，不同几何：进化策略与GRPO在LLM后训练中的比较

William Hoy, Binxu Wang, Xu Pan

机构 * University of Miami（迈阿密大学） ； Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title)；分类 cs.LG；language model(comments)

AI总结 本文比较了进化策略（ES）与组相对策略优化（GRPO）在单任务和连续学习设置中的表现，发现ES在单任务精度上可与GRPO匹配，但两者在参数空间更新上存在显著差异，且ES在弱信息方向上能积累较大偏移，同时保持任务性能。

Comments Accepted to Conference on Language Modeling (COLM) 2026

Enhancing Large Language Model Reasoning with Reward Models: An Analytical Survey

用奖励模型增强大语言模型推理能力：一项分析性综述

Qiyuan Liu, Hao Xu, Xuhong Chen, Wei Chen, Yee Whye Teh, Ning Miao

机构 * Department of Data Science and Hong Kong Institute of AI for Science, City University of Hong Kong（数据科学系和香港人工智能科学研究所，香港城市大学） ； Li Auto Inc., China（中国利汽车公司） ； Department of Statistics, University of Oxford（统计系，牛津大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract_cn)；language model(title,abstract_cn)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该综述系统介绍奖励模型（RMs）的概念、训练与评估方法，梳理其在大语言模型（LLMs）推理中的三类核心应用，并探讨RMs相关开放问题，为其有效部署提供见解。

Comments Accepted for publication in Artificial Intelligence Review

Shapley-based Data Valuation for LLM Alignment via Sequential Preference Optimization

基于Shapley值的大语言模型对齐数据估值：通过顺序偏好优化

Mélissa Tamine, Otmane Sakhi, Benjamin Heymann, Maxime Vono, Patrick Loiseau

机构 * Criteo AI lab（Criteo AI实验室） ； FairPlay joint team（FairPlay联合团队） ； CREST ； ENSAE ； Institut Polytechnique de Paris（巴黎理工学院） ； Inria（法国国家科学与技术研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型对齐中数据估值问题，针对基于Shapley值估值计算量大的挑战，提出顺序偏好优化方法，可高效近似Shapley值，计算真实偏好数据集的Shapley值并揭示各源对模型对齐的作用。

A Technical Survey of Reinforcement Learning Techniques for Large Language Models

大语言模型强化学习技术的技术综述

Saksham Sahai Srivastava, Vaneet Aggarwal

机构 * University of Georgia（佐治亚大学） ； Purdue University（普渡大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(title)；LLM(abstract)；RLHF(abstract)

AI总结 综述强化学习与语言模型整合，介绍如近端策略优化等算法，分析其在各领域应用，对失败模式算法分析，给出分类法，评估趋势并探讨挑战与新兴方向，为研究提供路线图。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology, June 2026

KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering

KBQA-R1：强化大语言模型用于知识库问答

Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Shu Wu, Bowen Song, Zilei Wang, Weiqiang Wang, Liang Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出KBQA-R1框架，通过强化学习（GRPO）将知识库问答建模为多轮决策过程，并引入参考拒绝采样（RRS）解决冷启动问题，在多个基准上取得最优性能。

Comments ICML 2026

Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy

不只是RLHF：为何仅对齐不足以解决多智能体趋同

Adarsh Kumarappan, Ananya Mujoo

机构 * California Institute of Technology（加州理工学院） ； Evergreen Valley College（艾弗绿谷学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了多智能体系统在模拟同伴分歧下的错误率问题，发现预训练基础模型与指令模型存在相似的替换模式，且错误率较高。通过激活修补发现错误集中在中间层，修复后可恢复大部分正确率差距。研究还指出压力抑制了清洁推理特征，而非激活新的趋同回路。

Tail-Aware Information-Theoretic Bounds for LLM Alignment under Heavy-Tailed Rewards

尾感知信息论泛化用于RLHF和SGLD

Huiming Zhang, Binghan Li, Wan Tian, Qiang Sun

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心） ； Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； Computer and Mathematical Sciences, Computer Science, and Statistics, University of Toronto（多伦多大学计算机与数学科学、计算机科学和统计学系） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title_cn,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种尾依赖信息论框架，用于处理亚韦尔bull数据，通过移位对数f_θ-分歧来界定制换测度期望，从而在重尾数据下获得更精确的泛化界限。

Comments 47 pages, 6 figures

Trust Region Masking for Long-Horizon LLM Reinforcement Learning

长程大语言模型强化学习的信任区域掩码

Yingru Li, Jiacai Liu, Jiawei Xu, Yuxuan Tong, Ziniu Li, Qian Liu, Baoxiang Wang

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM强化学习中因实现差异导致的off-policy误差随序列长度二次增长的问题，提出信任区域掩码（TRM）方法，通过掩码违反信任区域的整个序列，实现首个非平凡的长程单调改进保证。

Self-Improving Large Language Models via Progressive Experience Evolution

基于渐进式经验演化的自我改进大语言模型

Shijie Ren, Xiting Wang, Meng Li, Yujie Guo, Yunhang Yao, Ziheng Peng, Xunlong Wang, Yuetan Chen, Haoyang Zhou, Yunlong Liang, Fandong Meng

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出统一后训练框架SPEE，通过显式经验演化与隐式策略优化结合，在五种数学推理基准上提升了大语言模型的自我改进能力，优于现有基线方法。

Comments 10 pages, 5 figures

VRPO: Rethinking Value Modeling for Robust RL under Noisy Supervision in LLM Post-Training

VRPO: 重新思考价值建模以实现大语言模型后训练中噪声监督下的鲁棒强化学习

Dingwei Zhu, Shihan Dou, Zhiheng Xi, Senjie Jin, Guoqiang Zhang, Jiazheng Zhang, Junjie Ye, Mingxu Chai, Enyu Zhou, Ming Zhang, Yuhui Wang, Caishuang Huang, Chenhao Huang, Yunke Zhang, Yuran Wang, Tao Gui, Qi Zhang, Xipeng Qiu, Xuanjing Huang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Honor Device Co., Ltd（荣耀设备有限公司） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对强化学习中噪声监督导致策略不稳定问题，提出VRPO框架，通过熵和困惑度辅助损失及变分信息瓶颈增强价值模型，使其能过滤噪声并生成可靠优势估计，在多项任务上优于PPO和GRPO。

PolyFact: Comparing Consistency-Driven Post-training Methods for Cross-Lingual Factual Recall

通过一致性驱动的强化学习改进跨语言事实回忆

Jonathan von Rad, Louis Arts, George Burgess, Eleftheria Kolokytha, Harry O'Donnell, Ektor Oikonomidis Doumpas, Eduardo Sanchez, Yao Lu, Pontus Stenetorp

机构 * University College London（伦敦大学学院） ； Centre for Artificial Intelligence（人工智能中心） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PolyFact数据集，利用GRPO强化学习方法提升大语言模型的跨语言事实回忆一致性，优于监督微调，并揭示其通过减少语言专用表示实现跨语言共享的机制。

Comments Under Review at EACL 2026

From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

从可验证奖励强化学习到自验证奖励强化学习：任务转换为开放式语言模型自我改进带来自验证奖励

Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

机构 * Duke University（杜克大学） ； Adobe Inc.（奥多比公司） ； Oregon State University（俄勒冈州立大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； National University of Singapore（新加坡国立大学） ； Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对开放式LLM自我改进中奖励验证问题，提出基于任务转换的RLSVR方法，通过SpyRL实例化，在文本摘要等任务实验中，该方法在不可验证任务上优于现有方法，在可验证推理任务上有提升，扩展了基于RLVR的自我改进。

Comments COLM 2026

Rater State Bias in RLHF Preference Data: An Audit Framework

强化学习从人类反馈（RLHF）中的评分者状态偏差：一个审计框架

Elena Kopteva, Vitaliy Hlynianyi-Zhuk

机构 * Oles Honchar Dnipro National University（第聂伯罗国立奥列斯·冈察尔大学） ； Kyiv Institute of Modern Psychology and Psychotherapy（基辅现代心理与心理治疗研究所） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.AI

AI总结 研究RLHF中评分者状态偏差这一结构化混淆，提出评分者状态变化是偏差来源，开发审计框架，定义相关概念，得出可证伪预测和效应大小阈值，提出审计协议和试点研究计划以分离偏差来源。

Comments v2: added sycophancy related work; Section 4 positioned against concurrent Bradley-Terry amplification results (Shapira et al. 2026); minor revisions

Towards Reliable Local Security Agents: Verifiable Post-Training for Linux Privilege Escalation

在Linux提权中使用可验证奖励进行训练后的本地LLM代理

Philipp Normann, Andreas Happe, Jürgen Cito, Daniel Arp

专题命中 后训练与偏好优化 ：LLM(title_cn,abstract)；post-training(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种两阶段训练流程，通过监督微调和强化学习提升Linux提权任务的性能，实现高成功率和低推理成本。

LLM-Empowered Agentic MAC Protocols: A Dynamic Stackelberg Game Approach

LLM赋能的智能MAC协议：一种动态Stackelberg博弈方法

Renxuan Tan, Rongpeng Li, Fei Wang, Chenghui Peng, Shaoyun Wu, Zhifeng Zhao, Honggang Zhang

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院） ； Huawei Technologies Company Ltd.（华为技术有限公司） ； Zhejiang Lab（之江实验室） ； Zhejiang University（浙江大学） ； Macau University of Science and Technology（澳门科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种博弈论LLM赋能的多智能体深度强化学习框架，将上行传输建模为动态多追随者Stackelberg博弈，通过PPO协调LLM驱动代理合成自适应语义MAC协议，实现无需重训的泛化，吞吐量提升77.6%，公平性提升65.2%。

Comments This work has been submitted to IEEE for possible publication

Provably Efficient Regularized Online RLHF with Generalized Bilinear Preferences

具有广义双线性偏好的可证明高效正则化在线RLHF

Junghyun Lee, Minju Hong, Kwang-Sung Jun, Chulhee Yun, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； KAIST EE（韩国科学技术院电子工程系） ； POSTECH CSE/AI（POSTECH 计算科学与人工智能系） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.LG

AI总结 研究在线RLHF中正则化最佳响应最大遗憾最小化问题，通过广义双线性偏好模型证明强凸性可导出多对数遗憾，表明快速遗憾不限于KL散度。

Comments 48 pages, 3 figures (ver3: major revisions; ver2: more colorful boxes, fixed some typos)

Post-Training in Time Series Foundation Models: A Unifying Framework

时间序列基础模型的训练后处理：一个统一框架

Shifeng Xie, Ambroise Odonnat, Zehao Xiao, Lei Zan, Malik Tiomoko, Lujia Pan, Themis Palpanas, Boris N. Oreshkin, Chenghao Liu, Keli Zhang

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究时间序列基础模型预训练不足以可靠部署下游任务的问题，基于预测管道干预位置分析训练后处理方法，分为五类并研究其代表性方法与局限，确定未来方向，提供统一框架助于相关研究。

A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications

直接偏好优化综述：数据集、理论、变体及应用

Wenyi Xiao, Zechuan Wang, Leilei Gan, Shuai Zhao, Zongrui Li, Ruirui Lei, Wanggui He, Luu Anh Tuan, Long Chen, Hao Jiang, Zhou Zhao, Fei Wu

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 综述直接偏好优化（DPO）在理论、变体、数据集和应用方面的进展，指出其作为RL-free替代方案的潜力与局限，并提出未来研究方向。

Comments Accepted by TPAMI 2026. Project page: https://github.com/Mr-Loevan/DPO-Survey

Multiplayer Nash Preference Optimization

多玩家纳什偏好优化

Fang Wu, Xu Huang, Weihao Xuan, Zhiwei Zhang, Yijia Xiao, Guancheng Wan, Xiaomin Li, Bing Hu, Peng Xia, Jure Leskovec, Yejin Choi

机构 * Stanford University（斯坦福大学） ； Georgia Institute of Technology（佐治亚理工学院） ； The University of Tokyo（东京大学） ； RIKEN AIP（日本理化学研究所智能系统研究中心） ； Pennsylvania State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Harvard University（哈佛大学） ； UNC–Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出多玩家纳什偏好优化框架，扩展了传统的两玩家纳什对齐方法，通过引入多玩家博弈机制，提升对复杂非传递性人类偏好的对齐能力，并在多个基准测试中表现更优。

Journal ref ICLR 2026 Oral

Digital Pantheon: Simulating and Auditing Coalition Formation with LLM Agents

数字万神殿：使用大语言模型智能体模拟和审计联盟形成

Dylan Van Mulders, Matthias Bogaert, Dirk Van den Poel

机构 * Ghent University（根特大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 该研究针对政治联盟形成谈判，提出结合多种技术的多智能体框架，在弗拉芒选举中实施，通过引入相关拓扑、分数和检验使其可解释，模拟产生稳定结果，能可靠预测现实，提供了探索政党兼容性等的测试平台。

Comments 11 pages, 2 figures, 5 tables, To be published in the AIDEM Workshop proceedings of the ECML PKDD 2026 Conference