语言大模型 / LLM

Balancing Rewards in Text Summarization: Multi-Objective Reinforcement Learning via HyperVolume Optimization

Junjie Song, Yiwen Liu, Dapeng Li, Yin Sun, Shukun Fu, Siqi Chen, Yuji Cao

机构 * AI-4-Business of Li Auto Inc.（利汽车有限公司AI-4-Business） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（杜克大学夏洛特分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025 camera-ready. First two authors contributed equally. Code: https://github.com/duykhuongnguyen/LASeR-MAB

Alignment is Localized: A Causal Probe into Preference Layers

Archie Chaudhury

机构 * Independent（独立研究者） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；RLHF(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense

Leitian Tao, Ilia Kulikov, Swarnadeep Saha, Tianlu Wang, Jing Xu, Sharon Li, Jason E Weston, Ping Yu

机构 * FAIR at Meta（Meta 的 FAIR） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

Comments 21 pages

Part II: ROLL Flash -- Accelerating RLVR and Agentic Training with Asynchrony

Han Lu, Zichen Liu, Shaopan Xiong, Yancheng He, Wei Gao, Yanan Wu, Weixun Wang, Jiashun Liu, Yang Li, Haizhou Zhao, Ju Huang, Siran Yang, Xiaoyang Li, Yijia Luo, Zihe Liu, Ling Pan, Junchi Yan, Wei Wang, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） ； Shanghai Jiaotong University（上海交通大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

APLOT: Robust Reward Modeling via Adaptive Preference Learning with Optimal Transport

Zhuo Li, Yuege Feng, Dandan Guo, Jinpeng Hu, Anningzhe Gao, Xiang Wan

机构 * Shenzhen International Center for Industrial and Applied Mathematics（深圳工业与应用数学国际中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究 institute） ； The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳）） ； Birmingham City University（伯明翰城市大学） ； Jilin University（吉林大学） ； KAUST（科威特大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments EMNLP2025

Fine Tuning Methods for Low-resource Languages

Tim Bakkenes, Daniel Wang, Anton Johansson

机构 * Department of Computer Science, Tsinghua University（清华大学计算机科学系） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

Reward Models are Metrics in a Trench Coat

Sebastian Gehrmann

机构 * Bloomberg（高盛） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

OrthAlign: Orthogonal Subspace Decomposition for Non-Interfering Multi-Objective Alignment

Liang Lin, Zhihao Xu, Junhao Dong, Jian Zhao, Yuchen Yuan, Guibin Zhang, Miao Yu, Yiming Zhang, Zhengtao Yao, Huahui Yi, Dongrui Liu, Xinfeng Li, Kun Wang

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） ； RUC（中国人民大学） ； USTC（University of Science and Technology of China） ； NTU（National University of Technology） ； NUS（National University of Singapore） ； USC（University of Southern California） ； SCU（Sichuan University） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

APRIL: API Synthesis with Automatic Prompt Optimization and Reinforcement Learning

Hua Zhong, Shan Jiang, Sarfraz Khurshid

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

A Necessary Step toward Faithfulness: Measuring and Improving Consistency in Free-Text Explanations

Lingjun Zhao, Hal Daumé

机构 * University of Maryland College Park（马里兰大学学院市） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

CTTS: Collective Test-Time Scaling

Zhende Song, Shengji Tang, Peng Ye, Jiayuan Fan, Lei Bai, Tao Chen, Wanli Ouyang

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Entropy-Regularized Process Reward Model

Hanning Zhang, Pengcheng Wang, Shizhe Diao, Yong Lin, Rui Pan, Hanze Dong, Dylan Zhang, Pavlo Molchanov, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） ； NVIDIA（英伟达） ； Princeton University（普林斯顿大学） ； Salesforce Research（Salesforce研究） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

Comments Upate TMLR version

RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution

Jiahui Li, Lin Li, Tai-wei Chang, Kun Kuang, Long Chen, Jun Zhou, Cheng Yang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

Atom-Searcher: Enhancing Agentic Deep Research via Fine-Grained Atomic Thought Reward

Yong Deng, Guoqing Wang, Zhenzhe Ying, Xiaofeng Wu, Jinzhen Lin, Wenwen Xiong, Yuqin Dai, Shuo Yang, Zhanwei Zhang, Qiwen Wang, Yang Qin, Yuan Wang, Quanxing Zha, Sunhao Dai, Changhua Meng

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

FinSage: A Multi-aspect RAG System for Financial Filings Question Answering

Xinyu Wang, Jijun Chi, Zhenghan Tai, Tung Sum Thomas Kwok, Muzhi Li, Zhuhong Li, Hailin He, Yuchen Hua, Peng Lu, Suyuchen Wang, Yihong Wu, Jerry Huang, Jingrui Tian, Fengran Mo, Yufei Cui, Ling Zhou

机构 * 1SimpleWay.AI 2McGill University 3University of Toronto 4University of California, Los Angeles 5The Chinese University of Hong Kong 6Duke University 7Universit\'e de Montr\'eal 8Mila - Quebec AI Institute 9Noah's Ark Lab 10CG Matrix Technology Limited ； 1SimpleWay.AI 2McGill University 3University of Toronto 4University of California, Los Angeles ； 5The Chinese University of Hong Kong 6Duke University 7Universit\'e de Montr\'eal 8Mila - Quebec AI Institute ； 9Noah's Ark Lab 10CG Matrix Technology Limited 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

Comments Accepted at the 34th ACM International Conference on Information and Knowledge Management (CIKM2025)

Steerable Pluralism: Pluralistic Alignment via Few-Shot Comparative Regression

Jadie Adams, Brian Hu, Emily Veenhuis, David Joy, Bharadwaj Ravichandran, Aaron Bray, Anthony Hoogs, Arslan Basharat

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

Comments AIES '25: Proceedings of the 2025 AAAI/ACM Conference on AI, Ethics, and Society

RLSR: Reinforcement Learning from Self Reward

Toby Simonds, Kevin Lopez, Akira Yoshiyama, Dominique Garmier

机构 * Tufa Labs（图法实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Cultivating Helpful, Personalized, and Creative AI Tutors: A Framework for Pedagogical Alignment using Reinforcement Learning

Siyu Song, Wentao Liu, Ye Lu, Ruohua Zhang, Tao Liu, Jinze Lv, Xinyun Wang, Aimin Zhou, Fei Tan, Bo Jiang, Hao Hao

机构 * Shanghai Innavation Institute（上海创新研究院） ； Shanghai Institute of AI for Education（上海人工智能教育研究院） ； School of Computer Science and Technology（计算机科学与技术学院） ； Department of Educational Information Technology（教育信息技术系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

The Levers of Political Persuasion with Conversational AI

Kobi Hackenburg, Ben M. Tappin, Luke Hewitt, Ed Saunders, Sid Black, Hause Lin, Catherine Fist, Helen Margetts, David G. Rand, Christopher Summerfield

机构 * UK AI Security Institute（英国人工智能安全研究所） ； University of Oxford（牛津大学） ； The London School of Economics and Political Science（伦敦政治经济学院） ； Stanford University（斯坦福大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments 19 pages, 4 figures. Our supplementary materials file can be found at https://github.com/kobihackenburg/scaling-conversational-AI

Adversarial Activation Patching: A Framework for Detecting and Mitigating Emergent Deception in Safety-Aligned Transformers

Santhosh Kumar Ravindran

机构 * Microsoft Corporation（微软公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Bradley-Terry and Multi-Objective Reward Modeling Are Complementary

Zhiwei Zhang, Hui Liu, Xiaomin Li, Zhenwei Dai, Jingying Zeng, Fali Wang, Minhua Lin, Ramraj Chandradevan, Zhen Li, Chen Luo, Xianfeng Tang, Qi He, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon（亚马逊） ； Havard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

Fake it till You Make it: Reward Modeling as Discriminative Prediction

Runtao Liu, Jiahao Zhan, Yingqing He, Chen Wei, Alan Yuille, Qifeng Chen

机构 * HKUST（香港科技大学） ； Fudan University（复旦大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

COS-DPO: Conditioned One-Shot Multi-Objective Fine-Tuning Framework

Yinuo Ren, Tesi Xiao, Michael Shavlovsky, Lexing Ying, Holakou Rahmanian

机构 * Institute for Computational and Mathematical Engineering (ICME), Stanford University（计算与数学工程研究所（ICME），斯坦福大学） ； Amazon（亚马逊） ； Department of Mathematics, Stanford University（数学系，斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

Comments Published at UAI 2025

Position Paper: Rethinking Privacy in RL for Sequential Decision-making in the Age of LLMs

Flint Xiaofeng Fan, Cheston Tan, Roger Wattenhofer, Yew-Soon Ong

机构 * Centre for Frontier AI Research (CFAR)（前沿人工智能研究所在） ； Institute of High Performance Computing (IHPC)（高性能计算研究所） ； Agency for Science, Technology and Research（科技研究局） ； D-ITET ； ETH Zurich（苏黎世联邦理工学院） ； CCDS, Nanyang Technological University（南洋理工大学CCDS） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments IJCNN 2025 Position Paper Track

CAMS: A CityGPT-Powered Agentic Framework for Urban Human Mobility Simulation

Yuwei Du, Jie Feng, Jian Yuan, Yong Li

机构 * Department of Electronic Engineering, BRNist, Tsinghua University, Beijing, China（电子工程系，BRNist，清华大学，北京，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

Intra-Trajectory Consistency for Reward Modeling

Chaoyang Zhou, Shunyu Liu, Zengmao Wang, Di Wang, Rong-Cheng Tu, Bo Du, Dacheng Tao

机构 * Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments Under review

PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference

Jiaming Ji, Donghai Hong, Borong Zhang, Boyuan Chen, Juntao Dai, Boren Zheng, Tianyi Qiu, Jiayi Zhou, Kaile Wang, Boxuan Li, Sirui Han, Yike Guo, Yaodong Yang

机构 * Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Infinigence-AI 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL2025 Main, a sibling project to SafeRLHF and BeaverTails

Debiasing Online Preference Learning via Preference Feature Preservation

Dongyoung Kim, Jinsung Yoon, Jinwoo Shin, Jaehyung Kim

机构 * KAIST（韩国科学技术院） ； Google Cloud AI Research（谷歌云人工智能研究） ； Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 20 page, 20 figures

OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation

Mengkang Hu, Yuhang Zhou, Wendong Fan, Yuzhou Nie, Bowei Xia, Tao Sun, Ziyu Ye, Zhaoxuan Jin, Yingru Li, Qiguang Chen, Zeyu Zhang, Yifeng Wang, Qianshuo Ye, Bernard Ghanem, Ping Luo, Guohao Li

机构 * The University of Hong Kong（香港大学） ； The University of Chicago（芝加哥大学） ； Northwestern University（西北大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Project Page: https://github.com/camel-ai/owl