大模型对齐与安全

Aligning Compound AI Systems via System-level DPO

通过系统级DPO对复合AI系统进行对齐

Xiangwen Wang, Yibo Jacky Zhang, Zhoujie Ding, Katherine Tsai, Haolun Wu, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） ； University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Mila Quebec AI Institute（魁北克AI研究院） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SysDPO框架，通过系统级DPO实现复合AI系统的联合对齐，解决了组件间非可微分交互和系统偏好转换的问题。

Comments NeurIPS 2025

Revisiting the (Sub)Optimality of Best-of-N for Inference-Time Alignment

重新审视最佳-N在推理时间对齐中的（次）最优性

Ved Sriraman, Adam Block

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文重新审视了最佳-N在推理时间对齐中的次优性，证明在特定条件下BoN在胜率上最优，并提出消除奖励黑客攻击的改进方法。

Comments 52 pages

CoME: Empowering Channel-of-Mobile-Experts with Informative Hybrid-Capabilities Reasoning

CoME：赋能移动专家的 informative hybrid-capabilities 推理

Yuxuan Liu, Weikai Xu, Kun Huang, Changyu Chen, Jiankun Zhao, Pengzhi Gao, Wei Liu, Jian Luan, Shuo Shang, Bo Du, Ji-Rong Wen, Rui Yan

机构 * ruc（中国人民大学人工智能学院） ； xiaomi（小米公司） ； ntu（南洋理工大学） ； whu（武汉大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 CoME 通过四种专家架构和渐进训练策略，实现移动代理混合能力推理的解耦增强与平衡优化。

From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

从提示到偏好优化：基于LLM的自动作文评分方法比较研究

Minh Hoang Nguyen, Vu Hoang Pham, Xuan Thanh Huynh, Phuc Hong Mai, Vinh The Nguyen, Quang Nhut Huynh, Huy Tien Nguyen, Tung Le

机构 * Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam（信息科技学院，科学大学，胡志明市，越南） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL

AI总结 本文比较了基于LLM的自动作文评分方法，发现结合k-SFT和RAG的配置在F1分数上表现最佳，为英语作为第二语言的自动评分提供了新的研究方向。

Comments 19 pages, 10 figures, 7 tables

MLLMRec-R1: Incentivizing Reasoning Capability in Large Language Models for Multimodal Sequential Recommendation

MLLMRec-R1: 通过大型语言模型增强多模态序列推荐的推理能力

Yu Wang, Yonghui Yang, Le Wu, Jiancan Wu, Hefei Xu, Hui Lin

专题命中 偏好对齐 ：alignment(abstract)

AI总结 MLLMRec-R1通过离线文本化视觉信号和混合粒度数据增强策略，提升多模态序列推荐中基于GRPO的推理效率与稳定性。

Comments 14 pages, 10figures