语言大模型 / LLM

FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment

FedPDPO：联邦个性化直接偏好优化用于大语言模型对齐

Kewen Zhu, Liping Yi, Zhiming Zhao, Zhuang Qi, Han Yu, Qinghua Hu

机构 * College of Intelligence and Computing, Tianjin University, Tianjin, China（智能与计算学院，天津大学，天津，中国） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；LLM(abstract)

AI总结 本文提出FedPDPO，一种联邦个性化直接偏好优化框架，通过参数高效微调和个性化奖励头解决非iid数据下的大语言模型对齐问题，实验显示在联邦内域和跨域设置中平均准确率提升达4.80%。

Comments under review

Breaking the Capability Ceiling of LLM Post-Training by Reintroducing Markov States

突破大语言模型微调的性能上限：重新引入马尔可夫状态

Yurun Yuan, Tengyang Xie

机构 * UW-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过引入马尔可夫状态突破大语言模型微调的性能上限，理论和实验均表明该方法能显著降低样本复杂度并提升复杂逻辑谜题的性能。

Test-Time Alignment for Large Language Models via Textual Model Predictive Control

通过文本模型预测控制对大型语言模型进行测试时对齐

Kuang-Da Wang, Teng-Ruei Chen, Yu Heng Hung, Guo-Xun Ko, Shuoyang Ding, Yueh-Hua Wu, Yu-Chiang Frank Wang, Chao-Han Huck Yang, Wen-Chih Peng, Ping-Chun Hsieh

机构 * National Yang Ming Chiao Tung University ； NVIDIA ； National Taiwan University 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出TMPC方法，通过文本模型预测控制解决测试时对齐问题，通过分层强化学习原理改进生成过程，提升不同任务的性能。

Comments Accepted for ICLR 2026. Project page: https://rl-bandits-lab.github.io/TMPC/

Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

通过元数据增强的RAG流水线和直接偏好优化增强法律LLM

Suyash Maniyar, Deepali Singh, Rohith Reddy

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出元数据增强的RAG和直接偏好优化，解决法律领域长文本检索和生成中的精度问题，提升模型的可靠性与安全性。

Comments 12 pages including Appendix

HPS: Hard Preference Sampling for Human Preference Alignment

HPS: 人类偏好对齐的硬偏好采样

Xiandong Zou, Wanyu Lin, Yuchen Li, Pan Zhou

机构 * Singapore Management University（新加坡国立管理学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 本文提出HPS框架，通过优先选择最受好评的响应并拒绝所有不受欢迎和有害的响应，提升大语言模型与人类偏好的对齐效率和鲁棒性。

EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

EvidenceRL: 为可信语言模型强化证据一致性

J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pekin University（培根大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 EvidenceRL通过强化学习框架在训练中强制证据遵循，提升语言模型在医疗诊断和法律推理中的证据接地和可信度，同时保持任务准确性。

Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

训练后算法真的不同吗？跨模型规模的受控研究揭示了规模依赖的排名倒置

Xiaoyi Li

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过跨模型规模的受控研究，揭示了训练后算法在不同规模下的稳定性差异、损失函数修改的微小收益以及算法利用的任务依赖性，为算法选择提供了指导。

GenFacet: End-to-End Generative Faceted Search via Multi-Task Preference Alignment in E-Commerce

GenFacet：通过多任务偏好对齐的端到端生成方法实现电商多维搜索

Zhouwei Zhai, Min Yang, Jin Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本文提出GenFacet，一种端到端生成框架，通过多任务偏好对齐提升电商多维搜索效果，实验证明显著提升点击率和转化率。

DreamCS: Geometry-Aware Text-to-3D Generation with Unpaired 3D Reward Supervision

DreamCS: 基于几何感知的文本到3D生成与无配对3D奖励监督

Xiandong Zou, Ruihao Xia, Hongsong Wang, Pan Zhou

机构 * Singapore Management University（新加坡管理学院） ； East China University of Science and Technology（东华大学） ； Southeast University（东南大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本文提出DreamCS框架，通过无配对3D-MeshPref数据训练奖励模型，提升文本到3D生成的几何准确性和人类偏好对齐能力。

VAMPO: Policy Optimization for Improving Visual Dynamics in Video Action Models

VAMPO：通过改进视频动作模型的视觉动态进行策略优化

Zirui Ge, Pengxiang Ding, Baohua Yin, Qishen Wang, Zhiyong Xie, Yemin Wang, Jinbo Wang, Hengtao Li, Runze Suo, Wenxuan Song, Han Zhao, Shangke Lyu, Zhaoxin Fan, Haoang Li, Ran Cheng, Cheng Chi, Huibin Ge, Yaozhi Luo, Donglin Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Xiamen University（厦门大学） ； University of Sussex（Sussex大学） ； Tianjin University（天津大学） ； Wuhan University（武汉大学） ； Hebei University of Technology（河北工业大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； South China University of Technology（华南理工大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 VAMPO通过策略优化直接提升视频动作模型的视觉动态，结合GRPO和非对抗性奖励，在多种模拟和真实任务中提升任务相关视觉动态，增强下游动作生成和泛化能力。

VR-Thinker: Boosting Video Reward Models through Thinking-with-Image Reasoning

VR-Thinker: 通过图像推理提升视频奖励模型

Qunzhong Wang, Jie Liu, Jiajun Liang, Yilei Jiang, Yuanxing Zhang, Yaozhi Zheng, Xintao Wang, Pengfei Wan, Xiangyu Yue, Jiaheng Liu

机构 * CUHK MMLab（香港中文大学多模态实验室） ； Kling Team, Kuaishou Technology（快手技术 Kling 团队） ； Nanjing University（南京大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出VR-Thinker框架，通过图像推理操作和可配置视觉记忆窗口提升视频奖励模型的推理精度与可靠性，实现在视频偏好基准测试中达到最优性能。