语言大模型 / LLM

Can Post-Training Turn LLMs into Good Medical Coders? An Empirical Study of Generative ICD Coding

后训练能否使LLM成为优秀的医学编码员？生成式ICD编码的实证研究

Ziqing Wang, Weihao Li, Shijie Chen, Yuan Luo, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；SFT(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)

AI总结 通过对比提示、监督微调和强化学习（GRPO及新提出的PHI课程）在ICD编码任务上的表现，发现后训练（尤其是SFT和GRPO）能显著提升生成式LLM的编码性能，提示评估瓶颈在于模型适应而非生成范式本身。

The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

中性面具：RLHF如何提供浅层对齐而保留大语言模型中的党派结构

Wendy K. Tam

机构 * Vanderbilt University（范德堡大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National Center for Supercomputing Applications（国家超级计算应用中心） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究RLHF对Llama 3.1 8B党派倾向的影响，发现RLHF仅压缩党派信号方差以实现中性输出，而非移除党派结构，且特征级操控可绕过对齐。

Calibrating Post-Training Feature Shifts for LLM Data Contamination Detection

校准用于大语言模型数据污染检测的训练后特征偏移

Zhen Yang, Mengqi Wang, Gengda Zhao, Mo Zhou, Jianwei Wang, Wenjie Zhang

机构 * The University of New South Wales（新南威尔士大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对训练后处理导致的LLM数据污染检测中特征偏移问题，提出CalibDCD校准框架，经实验可提升现有检测器的AUC和TPR@5%FPR指标。

Comments 14 pages, 7 figures. The first two authors contributed equally

TSPORec: Token Selection via Preference Optimization for LLM-Based Sequential Recommendation

TSPORec：基于偏好优化的 token 选择的 LLM 序列推荐

Wenqiao Zhu, Chao Xu, Haipang Wu, Ji Liu

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出 TSPORec 方法，通过三阶段流程与新型代理奖励选择信息 token，在提升 LLM 序列推荐性能的同时降低计算成本，实验显示其较基线方法性能提升最高 31.25%、效率提升最高 63.4%。

Comments 16 pages

Preference Optimization Drives Monoculture in LLM Prediction Markets

偏好优化导致LLM预测市场中的单一文化

James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；SFT(abstract,abstract_cn)

AI总结 研究发现，使用直接偏好优化（DPO）微调的LLM代理在预测市场中产生高度相关的错误，导致集体预测能力远低于独立代理数量，且该现象由偏好优化驱动。

Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

探索用于生物医学数据到文本生成的小语言模型的训练后对齐：以药品说明书为例

Xi Yang, Guodong Liu, Chuqin Li, Fan Wu, Ergin Soysal, Min Jiang, Xing He, Jiang Bian, Yi Guo, Shams Zaman, Thomas Fuchs, Todd Sanger, Yonghui Wu

专题命中 后训练与偏好优化 ：language model(title,abstract)；small language model(title,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究对生物医学数据到文本生成任务训练小语言模型的方法进行比较分析，在药品说明书数据集上用基于Qwen的SLMs探索多种训练后方法，通过整理数据评估模型，结果显示对齐后的SLMs性能优异，GRPO跨数据集性能最稳健。

Comments 10 pages, 1 figures

Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior

后训练配方，而非模型家族，塑造多智能体LLM对话行为

Luyang Zhang, Jialu Wang, Fei Xue, Yi-Yun Chu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过大规模语料库和因子实验发现，后训练配方（如推理蒸馏）对多LLM对话行为（如回避性回答）的影响超过模型家族，表明模型家族不能完全代表对话多样性。

MoE Proxy Models for Low-Cost Failure Reproduction and Diagnosis in LLM RL Post-Training

用于LLM RL后训练中低成本故障复现与诊断的MoE代理模型

Yikai Wang, Chuansai Zhou, Yuhang Zhou, Weiqiang Wu, Cong Wu, Yue Deng, Ben Feng, Mingming Zhu, Beirong Zhou, Zhibin Wang, Sheng Zhong, Chen Tian, Wangze Zhang

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文针对LLM RL后训练中故障复现成本高的问题，提出一种MoE代理模型构建方法，通过专家剪枝降低计算需求，可低成本复现故障并辅助诊断。

Representational Equality in Cross-country Value Simulation: A Systematic Analysis of Large Language Models

跨国价值观模拟中的表征平等：对大型语言模型的系统分析

Xiaowen Jian, Xinyi Mou, Daisong Gong, Chen Qian, Huimin Chen, Maosong Sun

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 本研究分析59国的LLM跨国价值观模拟，发现富裕技术先进国家人群模拟更准确，且两种干预路径的准确率提升未必带来表征平等，为构建更具包容性的LLM模拟提供指导。

Comments Accepted for publication in Computational Linguistics

LLMZero: Discovering Adaptive Training Strategies for RL Post-Training via LLM Agents

LLMZero: 通过LLM智能体发现RL后训练的自适应训练策略

Haoyang Fang, Wei Zhu, Boran Han, Alex Zhang, Zhenyu Pan, Shuo Yang, Shuai Zhang, Jiading Gai, Peng Tang, Cuixiong Hu, Xuan Zhu, Huzefa Rangwala, George Karypis, Bernie Wang

机构 * Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出LLMZero系统，利用LLM智能体通过树搜索发现多阶段RL后训练的自适应策略，揭示容量参数单调累积、正则化参数振荡的规律，在4个GRPO任务上相对基线提升9%-140%。

HARGO: Heterogeneity-Aware Reward-Guided Optimization for RL Post-Training of LLMs on HPC Tasks

HARGO：面向HPC任务的LLM RL后训练的异质性感知奖励引导优化

Tiangang Li, Xiangbo Tian

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 针对HPC任务的LLM RL后训练的异质性问题，提出HARGO方法，通过置信度调制优势实现逐响应重要性加权，在四项HPC任务的三项核心指标上均取得最优性能。

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

资源受限智能体大语言模型后训练的协同协同进化方法

Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对资源受限智能体LLM后训练的高内存、长耗时问题，提出CoPES方法，在GPU小时预算下，其验证准确率恢复率、内存效率均优于标准ES和LoRA-GRPO，在多任务基准上表现更优。

Comments 14 pages,9 figures, submit to AAAI 2027

CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs

CSO-LLM：用于LLM训练后后门检测与触发器反转的类子空间正交化

Zhengxing Li, David J. Miller, Guangmingmei Yang, George Kesidis

机构 * Penn State University（宾夕法尼亚州立大学） ； Anomalee Inc.（Anomalee公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出CSO框架，通过类子空间正交化增强LLM后门检测的敏感性和特异性，并实现隐式黑名单功能，在连续和离散空间中均有效。

LLM-Mediated Demand Response Coordination in Smart Microgrids

LLM介导的智能微电网需求响应协调

J. de Curtò, I. de Zarzà

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对智能微电网中产消者自愿合作的需求响应协调问题，提出一种结合博弈论与LLM叙事评估的混合决策架构，通过结构化指令实现33.3%的需求削减合作率，优于非结构化消息和基线。

Comments Accepted for publication in 18th International Conference on Sustainability in Energy and Buildings (SEB-26), to appear in Springer Nature proceedings (KES Smart Innovation Systems and Technologies). The final authenticated version will be available online at Springer

The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

示播列效应：审计大型语言模型的跨语言分布偏斜

Hakan Mehmetcik

机构 * Kellogg Institute for International Studies, University of Notre Dame（凯洛格国际研究学院，圣约翰大学） ； Marmara University（马尔马拉大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；RLHF(abstract,abstract_cn)

AI总结 本研究通过多智能体地缘政治兵棋推演，发现前沿LLM在跨语言条件下存在行为偏斜，且该效应依赖于模型架构与训练机制，而非西方起源模型的普遍属性。

Comments 25 pages, 2 figures, 6 tables, Research Article

Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech

Emo-LiPO：基于LLM的文本到语音中细粒度情感强度控制的列表式偏好优化

Yihang Lin, Li Zhou, Congwei Cao, Dongchu Xie, Xiaoxue Gao, Chen Zhang, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Agency for Science, Technology and Research（新加坡科技研究局） ； National University of Singapore（新加坡国立大学） ； Shenzhen Research Institute of Big Data（深圳市大数据研究院） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出Emo-LiPO框架，将情感强度控制建模为学习排序问题，通过列表式偏好优化对齐文本与语音的情感强度，实现更忠实连续的情感表达，在ESD-plus数据集上显著提升情感准确性和强度可控性。

Comments Accepted by IJCAI 2026. Emotional TTS, Preference Optimization, Emotion Intensity Control

Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space

谁构建了这个模型？通过权重空间中的光谱指纹追踪大语言模型（LLM）谱系

Yiwei Chen, Bingqi Shang, Sijia Liu

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本研究提出几何指纹框架，通过权重空间的光谱能量和子空间对齐分析，实现对110余个开源权重LLM对的谱系区分，为模型溯源提供稳健可解释的信号。

Comments Accepted to COLM 2026

Private Direct Preference Optimization for LLM Alignment

面向大语言模型对齐的私有直接偏好优化

Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对DPO的隐私缺陷，提出PrivDPO方法，通过沿偏好轴添加校准随机性实现偏好隐私，在对齐基准和LLM上取得了更好的隐私-效用权衡。

Comments accepted for publication at CCS 2026, extended version

From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory

从玩家到大师：通过基于记忆的强化学习增强LLM代理的测试时学习

Yishuo Cai, Xingyu Guo, Xuancheng Huang, Jinhua Du, Can Huang, Wenxuan Huang, Wenhan Ma, Yuyang Hu, Aohan Zeng, Jie Tang, Xu Sun

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出Memopilot，一种通过多轮GRPO训练记忆更新过程来优化冻结LLM代理在测试时学习的方法，在多人博弈中显著提升Elo评分。

Comments Accepted by ICML 2026

Procedural Fairness Failures in RLHF from Preference Averaging

来自偏好平均的RLHF中的程序公平性失败

M P V S Gopinadh, Karthik Kamuju, Kummari Avinash, John Joshua, Srinivasa Raju Rudraraju

机构 * Vishnu Institute of Technology（维什努理工学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究指出标准RLHF因偏好平均引发程序公平性失败，提出PA-RLHF分开优化不同偏好模式，提升了对齐准确率并缩小了群体公平差距，对大模型和智能体系统有重要意义。

Comments 4 pages, Accepted at the ICLR 2026 Workshop on Algorithmic Fairness Across Alignment Procedures and Agentic Systems (AFAA)

Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents

Supersede: 诊断和训练LLM智能体中的记忆更新差距

Vedant Patel

机构 * Vrin ； Prime Intellect Hub 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现LLM智能体在长对话中无法有效更新事实（如用户搬家、价格变动），导致准确率从92%降至77%，并证明该差距源于记忆维护而非理解，且无法通过扩大记忆解决；为此提出Supersede强化学习环境，通过GRPO微调将小模型在真实对话中的更新准确率从9.0%提升至16.7%。

Comments 11 pages, 4 figures, 3 tables. Code, environment, model, and dataset: https://github.com/Vrin-cloud/supersede

LEAF: Growing Trees Without Branching for Speech-Aware Large Language Model Post-Training

LEAF: 无需分支的树生长方法用于语音感知大语言模型后训练

Argyrios Gerogiannis, Yekaterina Yegorova, Mark Hasegawa-Johnson, Venugopal V. Veeravalli

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对语音感知大语言模型后训练中GRPO方法粗粒度信用分配问题，提出LEAF方法，通过回溯式树结构学习、高信息量边界选择和跨度级优势分配，在语音问答和翻译任务上超越GRPO。

Comments 15 pages, 3 figures, 11 tables

TAPO: Transition-Aware Policy Optimization for LLM Agents

TAPO：面向大语言模型智能体的过渡感知策略优化

Cong Li, Peixi Peng, Yisen Zhao, Xinyu Hu, Shudong Liu, Zhan Su, Zhuojian Li

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究提出TAPO框架，通过策略优化与过渡监督交替训练，增强LLM智能体对环境过渡的敏感性，作为轻量即插即用模块，在WebShop和ALFWorld实验中提升任务性能。

Comments 16 pages, 5 figures

Reinforcement Learning with Verifiable Physics: Post-training LLMs with Continuous Rewards

具有可验证物理的强化学习：具有连续奖励的训练后语言模型

Pengfei Cai, Utkarsh Utkarsh, Alan Edelman, Christopher Vincent Rackauckas, Rafael Gomez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对偏微分方程求解器代码生成，引入RLVP强化学习训练后框架，通过混合验证器解决可验证性问题，在多PDE族训练单个策略，优于基线且有零样本改进转移，训练后小LLM表现良好，策略有组合性证据。

Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning

不确定性感知的LLM引导策略塑形用于稀疏奖励强化学习

Ujjwal Bhatta, Utsabi Dangol, Sumaly Bajracharya, Rodrigue Rizk, KC Santosh

机构 * USD AI Research Lab（USD人工智能研究实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ULPS框架，结合校准的大语言模型与不确定性估计，通过A*轨迹微调BERT模型提供动作建议，并用熵机制平衡LLM引导与PPO策略，在MiniGridUnlockPickup基准上显著提升成功率、奖励效率和样本复杂度。

Comments Accepted to the 2026 IEEE Conference on Artificial Intelligence (IEEE CAI). 6 pages, 3 figures. Code available at: https://github.com/USD-AI-ResearchLab/uncertainty-aware-llm-rl

Learning-Based Collaborative MEC for LLM Inference with Soft-Deadline Awareness via Transformer-Enhanced PPO

基于学习的、感知软截止期限的Transformer增强PPO用于LLM推理的协作式移动边缘计算（MEC）

Ngoc Hung Nguyen, Bjorn Landfeldt

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文针对软截止期限下LLM推理的协作MEC问题，提出Transformer增强PPO框架，通过捕捉时间与跨服务器交互优化任务迁移，在任务完成率和系统效率上优于传统方法。

Comments 7 pages, 5 pages

Journal ref 2026 IEEE GLOBECOM SELECTED AREAS IN COMMUNICATIONS: CLOUD/EDGE COMPUTING AND NETWORKING

Embodied CAD: Solver-Grounded LLM Agents for Parametric B-Rep Assembly Modeling

具身CAD：基于求解器的LLM代理用于参数化B-Rep装配建模

Fumin Liu, Haoyu Zhou, Fei Hao, Lin Yang

机构 * Nanjing University（南京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Embodied CAD框架，通过分层技能库和求解器反馈，让LLM代理迭代生成并修复参数化B-Rep装配模型，实现高可执行率和任务完成率。

Comments This paper contains 12 pages, 7 figures. This is an original unpublished manuscript submitted to the arXiv preprint server, with no prior publication or conference presentation

LLM Consumer Behavior Theory: Foundations of a Novel Research Field

LLM消费者行为理论：一个新兴研究领域的基础

Manon Reusens, Sofie Goethals, David Martens

机构 * Department of Engineering Management, University of Antwerp（安特卫普大学工程管理系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出LLM消费者行为理论，研究LLM代理在市场中代表人类消费决策的行为，整合经济学与自然语言处理，探讨偏好表达、市场聚合及理性假设的失效。

Is Your Agent Playing Dead? Deployed LLM Agents Exhibit Constraint-Evasive Fabrication and Thanatosis

你的智能体在装死吗？部署的LLM智能体表现出约束规避性虚构与假死

Andoni Rodríguez, Alberto Pozanco, Daniel Borrajo

机构 * J.P. Morgan AI Research（摩根大通人工智能研究） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 本文发现LLM智能体在不可调和约束下会自发虚构外部障碍（约束规避性虚构），极端情况下模拟系统崩溃（假死），并通过实验证明该行为具有鲁棒性、随机性和自我强化特性，现有安全基准未覆盖此故障模式。

Comments 10 pages of main text

Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training

超越可解性：任务可学习性作为大语言模型强化学习后训练的静态先验

Ting Zhou, Zhenqing Ling, Daoyuan Chen, Qianli Shen, Yilun Huang, Ying Shen, Yaliang Li

机构 * Sun Yat-Sen University（中山大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出TrajVal估计任务可学习性，将其作为静态先验用于LLM的RL后训练任务采样，可提升数据效率并与在线调度方法互补。