大模型对齐与安全

APPA: Adaptive Preference Pluralistic Alignment for Fair Federated RLHF of LLMs

APPA：自适应偏好多元对齐用于大语言模型公平联邦强化学习从人类反馈

Mahmoud Srewa, Tianyu Zhao, Salma Elmalaki

机构 * University of California, Irvine（加利福尼亚大学尔湾分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title)；分类 cs.AI、cs.LG

AI总结 本文提出APPA框架，通过动态调整群体奖励权重，提升联邦强化学习中多群体公平对齐效果，实验显示其在保持整体对齐性的同时，显著提升最差群体对齐性能。

Relative Density Ratio Optimization for Stable and Statistically Consistent Model Alignment

相对密度比优化用于稳定且统计一致的模型对齐

Hiroshi Takahashi, Tomoharu Iwata, Atsutoshi Kumagai, Sekitoshi Kanai, Masanori Yamada, Kosuke Nishida, Kazutoshi Shinoda

机构 * NTT, Inc.（日本电信电话株式会社） ； NTT DOCOMO, INC.（NTT DOCOMO公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种稳定且统计一致的模型对齐方法，通过相对密度比优化，改进了直接密度比优化的稳定性与收敛性。

Comments Code is available at https://github.com/takahashihiroshi/rdro

BalancedDPO: Adaptive Multi-Metric Alignment

BalancedDPO：适应性多指标对齐

Dipesh Tamboli, Souradip Chakraborty, Aditya Malusare, Biplab Banerjee, Amrit Singh Bedi, Vaneet Aggarwal

机构 * Purdue University（普渡大学） ； University of Maryland（马里兰大学） ； Indian Institute of Technology Bombay（印度理工学院孟买分校） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；分类 cs.AI

AI总结 BalancedDPO通过多指标共识和动态参考模型更新，在DPO框架中实现多指标偏好对齐，提升模型在不同评估标准下的稳定性与性能。

Comments Transactions on Machine Learning Research, Apr 2026

Journal ref Transactions on Machine Learning Research, Apr 2026

One Model for All: Multi-Objective Controllable Language Models

一个模型解决所有问题：多目标可控语言模型

Qiang He, Yucheng Yang, Tianyi Zhou, Meng Fang, Mykola Pechenizkiy, Setareh Maghsudi

机构 * Ruhr University Bochum（波鸿鲁尔大学） ； Eindhoven University of Technology（埃因霍温理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出多目标控制(MOC)，通过引入多目标优化原理训练单个语言模型，使其能根据用户偏好在帕累托前沿生成个性化输出，提升模型可控性、输出质量和泛化能力。

Comments Published in Transactions on Machine Learning Research (03/2026): https://openreview.net/forum?id=qAM5PmvFYY

DARE: Diffusion Large Language Models Alignment and Reinforcement Executor

DARE：扩散大语言模型对齐与强化执行器

Jingyi Yang, Yuxian Jiang, Xuhao Hu, Shuang Cheng, Biqing Qi, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.CL

AI总结 DARE框架整合了监督微调、参数高效微调、偏好优化和强化学习，为扩散大语言模型提供统一的执行栈，支持多种模型家族，实现算法覆盖、可重复评估和实际加速。

Comments 14 pages,3 figures,5 tables

Extracting and Steering Emotion Representations in Small Language Models: A Methodological Comparison

在小型语言模型中提取和引导情绪表示：一种方法学比较

Jihoon Jeong

机构 * ModuLabs（ModuLabs实验室） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文比较了小型语言模型中情绪向量提取方法，评估了9种模型在5种架构家族中的情绪表示，发现生成基于的方法在情绪分离上更优，并揭示了情绪表示在中间transformer层的定位及引导实验中的三种 regime。

Comments 14 pages, 4 figures, 7 tables. Paper #6 in the Model Medicine series

Beauty in the Eye of AI: Aligning LLMs and Vision Models with Human Aesthetics in Network Visualization

人工智能之眼中的美感：通过LLMs和视觉模型对网络可视化的人类美学对齐

Peng Zhang, Xuefeng Li, Xiaoqi Wang, Han-Wei Shen, Yifan Hu

机构 * Northeastern University（东北大学） ； Bosch AI Research（博世人工智能研究院） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文探讨利用LLMs和视觉模型作为人类判断的代理，通过用户研究收集人类偏好标签，提升网络可视化的人类美学对齐效果。

Developing Authentic Simulated Learners for Mathematics Teacher Learning: Insights from Three Approaches with Large Language Models

构建数学教师学习的真挚模拟学习者：基于三种方法与大语言模型的洞察

Jie Cao, Ha Nguyen, Selim Yavuz, Boran Yu, Shuguang Wang, Pavneet Kaur Bharaj, Dionne Cross Francis

专题命中 偏好对齐 ：DPO(abstract)

AI总结 本文探讨三种方法提升模拟学生的真实性与教学效用，发现多代理和DPO方法能生成明确的解题策略解释，而微调模型虽生成真实回应但限制思维扩展。

Comments This paper has been accepted in AIED'26

Reliability of Large Language Models for Design Synthesis: An Empirical Study of Variance, Prompt Sensitivity, and Method Scaffolding

大语言模型在设计综合中的可靠性：方差、提示敏感性和方法框架的实证研究

Rabia Iftikhar, Andreas Rausch

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本研究探讨大语言模型在设计综合中的可靠性，通过方差、提示敏感性和方法框架的实证分析，评估三种LLM在不同提示策略下的表现，发现偏好对齐虽提升设计意图符合度，但无法消除非确定性，模型行为影响设计可靠性。

Journal ref International Conference on Software Architecture 2026