语言大模型 / LLM

Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization

片段作为手臂：多臂老虎机引导的长上下文LLM偏好优化采样

Shaohua Duan, Pengcheng Huang, Xinze Li, Zhenghao Liu, Xiaoyuan Yi, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Microsoft Research Asia, China（微软亚洲研究院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学计算机科学与技术系及人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出LongMab框架，利用多臂老虎机策略从长上下文中选择最有信息量的片段，生成高质量多样化的响应，用于直接偏好优化训练，提升长上下文推理能力。

Comments 17 pages

Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models

面向增强大语言模型推理能力的分层多步奖励模型

Teng Wang, Zhangyi Jiang, Zhenqi He, Shenyang Tong, Wenhan Yang, Yanan Zheng, Zeyu Li, Zifan He, Hailei Gong, Zewen Ye, Shengjie Ma, Jianping Zhang

机构 * the University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Georgia Institute of Technology（佐治亚理工学院） ； National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； Renmin University of China（中国人民大学） ； the Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出分层奖励模型和轻量数据增强策略，解决大语言模型推理中奖励黑客问题，提升多步推理评估的稳定性和泛化能力。

Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks

少而精：通过混合后训练实现性能与置信度忠实的和谐统一

Haokai Ma, Lee Yan Zhen, Gang Yang, Yunshan Ma, Ee-Chien Chang, Tat-Seng Chua

机构 * National University of Singapore, Singapore（新加坡国立大学） ； Singapore Management University, Singapore（新加坡管理大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出HyTuning框架，通过混合后训练方法在有限监督下提升模型准确性并实现置信度忠实，支持'少而精'的效果。

3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience

3DrawAgent：通过早期对比经验教LLM进行3D绘制

Hongcan Xiao, Xinyue Xiao, Yilin Wang, Yue Zhang, Yonggang Qi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Jiangnan University（江南大学） ； HaoHan Data（浩瀚数据） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 3DrawAgent通过几何反馈利用大语言模型生成3D贝塞尔曲线，引入相对经验优化策略，无需参数更新提升3D空间理解与绘制质量，实现免训练的3D草图智能发展。

Comments CVPR 2026 Highlight

PIKA: Expert-Level Synthetic Datasets for Post-Training Alignment from Scratch

PIKA：从零开始的专家级合成数据集用于训练后对齐

Shangjian Yin, Shining Liang, Wenbiao Ding, Yuli Qian, Zhouxing Shi, Hongzhi Li, Yutao Xie

机构 * University of California, Riverside（加州大学河滨分校） ； Microsoft AI（微软人工智能） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；LLM(abstract)；SFT(abstract)；preference optimization(abstract)

AI总结 PIKA通过高效的数据集提升对齐效果，仅用3万例超越大规模数据集，在AlpacaEval 2.0等基准测试中表现优异，且提供高质量偏好优化数据，降低数据需求，促进资源受限研究。

SPARD: Self-Paced Curriculum for RL Alignment via Integrating Reward Dynamics and Data Utility

SPARD：通过整合奖励动态和数据效用实现强化学习对齐的自适应课程

Xuyang Zhi, Peilun zhou, Chengqiang Lu, Hang Lv, Yiwei Liang, Rongyang Zhang, Yan Gao, YI WU, Yao Hu, Hongchao Gu, Defu Lian, Hao Wang, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaohongshu Inc.（小红书） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 SPARD通过动态调整多目标奖励权重和数据重要性，提升强化学习对齐效果，实验显示在多个基准上显著增强模型能力。

Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs

学习协商：多智能体协商以实现大语言模型中的集体价值对齐

Panatchakorn Anantaprayoon, Nataliia Babina, Nima Asgharbeygi, Jad Tarifi

专题命中 后训练与偏好优化 ：LLM(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于多智能体协商的对齐框架，通过集体代理（CA）目标提升大语言模型的集体价值对齐能力，并改进冲突解决能力，实验表明其在冲突解决性能上有显著提升。

Comments To appear in LREC 2026 2nd DELITE Workshop