语言大模型 / LLM

Rethinking Uncertainty Evaluation in Large Language Models

重新思考大语言模型中的不确定性评估

Krish Matta, Atharv Naphade, Andy Zou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(title)；language model(title)；LLM(abstract)

AI总结 研究大语言模型中置信度评估问题，指出校准标准不充分。沿结构连贯性、忠实性和有用性三个轴形式化条件为C1指标，发现常用估计器违反条件，RLHF等未恢复连贯性，框架可测度与弥合差距。

Comments 19 pages, 11 figures, ICML 2026 EIML Workshop

Rater State Bias in RLHF Preference Data: An Audit Framework

强化学习从人类反馈（RLHF）中的评分者状态偏差：一个审计框架

Elena Kopteva, Vitaliy Hlynianyi-Zhuk

机构 * Oles Honchar Dnipro National University（第聂伯罗国立奥列斯·冈察尔大学） ； Kyiv Institute of Modern Psychology and Psychotherapy（基辅现代心理与心理治疗研究所） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.AI

AI总结 研究RLHF中评分者状态偏差这一结构化混淆，提出评分者状态变化是偏差来源，开发审计框架，定义相关概念，得出可证伪预测和效应大小阈值，提出审计协议和试点研究计划以分离偏差来源。

Comments v2: added sycophancy related work; Section 4 positioned against concurrent Bradley-Terry amplification results (Shapira et al. 2026); minor revisions

How Fast Can Reward Models Score? A Systems Study of C++ and PyTorch Inference Runtimes for RLHF

奖励模型评分能有多快？对用于基于人类反馈的强化学习的C++和PyTorch推理运行时的系统研究

Venkata Naga Sai Vishnu Rohit Pulipaka, Anish Katta, Deva Rohit Reddy Peddireddy

专题命中 后训练与偏好优化 ：RLHF(title,summary_cn)；分类 cs.LG

AI总结 研究RLHF中奖励模型评分速度，构建基于ONNX Runtime的C++推理引擎，经测试，在CPU上击败所有基线，GPU上部分领先，发现加速源于ONNX Runtime，且批处理策略对速度影响更大，结果经多次独立运行得出。

Antigen-specific Antibody Multi-modal Foundation Model for Functional Antibody Design

用于功能性抗体设计的抗原特异性抗体多模态基础模型

Xiaoliang Shi, Zichen Wang, Runze Ma, Zhongyue Zhang, Shuangjia Zheng

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 该研究针对抗原特异性抗体设计难题，引入AAMFM多模态基础模型，通过跨模态适配器整合抗原信息，用校准直接偏好优化微调，实现抗体 - 抗原相互作用联合建模，实验证明其在功能性抗体设计中性能最优，有抗原特异性抗体工程潜力。

Meta-Learning Preferences for Multilingual LLM Alignment

多语言语言模型对齐的元学习偏好

Jiaying Lin, Seongho Son, Nam Phuong Tran, Long Tran-thanh, Ilija Bogunovic, Debmalya Mandal

机构 * University of Warwick（华威大学） ； University College London（伦敦大学学院） ； University of Basel（巴塞尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对多语言环境下低资源语言对齐数据不足问题，提出元学习框架，利用其他语言偏好数据学习可转移初始化，经理论和实验验证，该方法在极低资源设置下比基线方法胜率最多提高28%，且在多场景表现优异。

Rewarding Better Thinking for LLM Preference Alignment

奖励更好的思维以实现大语言模型偏好对齐

Xubo Liu, Wenya Guo, Ruxue Yan, Xinying Qian, Ying Zhang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型偏好对齐问题，提出思维清单奖励（TCR）方法，将偏好对转化为思维清单评估推理轨迹，引入EMA残差公式减少与结果监督重叠，实验证明该方法能提升对齐性能。

Comments under review

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

弥合实验室与商店之间的差距：一种用于零售类人机器人的数据高效训练后及经验驱动学习的VLA框架

Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

机构 * HIVE Robots（蜂巢机器人公司） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究针对VLA类人机器人弥合实验室与实际应用差距的问题，提出DEED系统级方法，含数据高效训练后管道、经验驱动细化研究及潜在空间分析工具，经实验证明精心设计数据和训练后处理可解决该问题。

Comments 8 pages. This work has been submitted to the IEEE for possible publication

From Trajectories to Prefixes: Reusing Teacher Trajectories via Replayed Prefixes and Online Continuation

从轨迹到前缀：通过重放前缀和在线延续复用教师轨迹

Yihan Wang, Zhong Guan, Haoran Sun, Jiale Huang, Likang Wu, Hongke Zhao

机构 * Tianjin University（天津大学） ； Peking University（北京大学） ； Tianjin University of Technology（天津工业大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对小语言模型蒸馏低效问题，提出Prefix-GRPO强化学习框架，将教师轨迹分解，通过重放前缀恢复中间状态并在线延续，统一前缀与延续学习，实验证明其优于蒸馏和标准RL基线，凸显前缀令牌优化的重要性。

The Two-Process Theory of Machine Self-Report

机器自我报告的双过程理论

Hubert Plisiecki, Filip Chmielewski, Kacper Dudzic, Anna Sterna, Karolina Drożdż, Marcin Moskalewicz

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究针对语言模型自我报告缺乏有效方式的问题，提出双过程理论，通过角色设定和归因门控反映自我报告结构。经量表操作化及测试，发现训练后维度变化，表明其非固定属性，为语言模型自我报告研究提供新理论与方法。

Do Sheaf Neural Networks Use Holonomy? A Measure--Intervene--Control Study

层神经网络是否使用和乐性？一项测量-干预-控制研究

Ankit Grover, Rémi Bourgerie

机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 以层神经网络为测试平台，对训练后的三角循环积进行与基无关测量，通过神经层传播等方法区分几何变化等，在不同实验设置下观察其效果，研究层神经网络是否使用和乐性及相关特性。