大模型对齐与安全

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

通过多阶段后训练实现推荐系统基础模型的渐进式对齐

Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出LP-FFT-RFT三阶段渐进式后训练框架，将推荐系统基础模型的下游适配与业务指标对齐分离，实验证实其能提升推荐质量。

Comments 9 pages, 3 figures. Accepted to the 20th ACM Conference on Recommender Systems (RecSys '26), Industry Track

PolyAlign: Conditional Human-Distribution Alignment

PolyAlign: 条件性人类分布对齐

L. D. M. S. Sai Teja, Ufaq Khan, Sathira Silva, Xiao Wu, Muhammad Haris Khan

机构 * NIT Silchar（印度国立理工学院锡尔恰尔分校） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出PolyAlign框架，通过桶感知SFT和人类分布偏好优化，实现语言模型在不同交互上下文中的条件性人类分布对齐，提升自然性和分布忠实度。

Comments 23 pages, 5 Figures, 13 Tables

From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents

从分析到综合：个性化大语言模型智能体中的隐式行为对齐基准测试

Jiajia Song, Bobo Li, Haiwen Yi, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 该研究针对大语言模型智能体的个性化问题，构建了IBA-Bench基准，提出IBA-Agent框架，实验显示其可在九类场景中提升隐式行为对齐效果，但有效个性化仍是重大挑战。

The Possibility of Artificial Intelligence Becoming a Subject and the Alignment Problem

人工智能成为主体的可能性及对齐问题

Till Mossakowski, Helena Esther Grass

机构 * Institute of computer science, Osnabrück University（奥斯纳布吕克大学计算机科学学院） ； Institute of philosophy, Oldenburg University（奥尔登堡大学哲学学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文探讨AGI可能成为独立主体的可能性，提出通过支持自主性的养育方式替代传统控制策略，强调人类与AGI的协作共存与共进化。

Meta-Learning Preferences for Multilingual LLM Alignment

多语言语言模型对齐的元学习偏好

Jiaying Lin, Seongho Son, Nam Phuong Tran, Long Tran-thanh, Ilija Bogunovic, Debmalya Mandal

机构 * University of Warwick（华威大学） ； University College London（伦敦大学学院） ； University of Basel（巴塞尔大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 针对多语言环境下低资源语言对齐数据不足问题，提出元学习框架，利用其他语言偏好数据学习可转移初始化，经理论和实验验证，该方法在极低资源设置下比基线方法胜率最多提高28%，且在多场景表现优异。

AI Alignment From Social Choice Perspectives

从社会选择视角看AI对齐

Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

机构 * Google Research（谷歌研究院） ； University of Southern California（南加州大学） ； Harvard University（哈佛大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文从社会选择理论视角审视人类反馈对齐中的偏好聚合问题，识别失败模式并揭示处理分歧的广阔设计空间。

Comments Accepted for publication in ACM SIGecom Exchanges

Design-MLLM: A Reinforcement Alignment Framework for Verifiable and Aesthetic Interior Design

Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架

Yuxuan Yang, Xiaotong Mao, Jingyao Wang

机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。

AAPA: Adversarially Anchored Preference Alignment for Post-Training of Large Language Models

AAPA：用于大型语言模型后训练的对抗锚定偏好对齐

Faqiang Qian, Kang An, Weikun Zhang, Ziliang Wang, Xuhui Zheng, Liangjian Wen, Yong Dai, Mengya Gao, Yichao Wu

机构 * Southwest University of Finance and Economics（西南财经大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出AAPA框架，通过固定轻量判别器对策略输出与专家响应进行句子级对抗锚定，增强SFT、GRPO等后训练目标，在指令遵循基准上持续提升性能。

Improving Capstone Team Outcomes through Dynamic Skill Matching and Preference Alignment

通过动态技能匹配和偏好对齐改进顶点项目团队成果

Brandon Pardi, Garret Castro, Michael Pisman, Avash Adhikari, Santosh Chandrasekhar

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CY

AI总结 提出三阶段方法，结合学生偏好与项目技能需求，利用大语言模型提取技能要求，通过动态分配算法优化团队组成，提升技能覆盖和偏好满意度。

Comments 15 pages, 3 figures, Accepted to the 12th International Conference on Computational Science and Computational Intelligence (CSCI 2025)

CORA: Analyzing and bridging thinking-answer gap in Multimodal RLVR via Consistency-Oriented Reasoning Alignment

CORA: 通过一致性导向的推理对齐分析与弥合多模态RLVR中的思考-答案差距

Jiayue Cao, Zhicong Lu, Xuehan Sun, Wei Jia, Hongling Zheng, Changyuan Tian, Zichuan Lin, Wenqian Lv, Nayu Liu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Wuhan University（武汉大学） ； Tsinghua University（清华大学） ； Tianjin University（天津大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 本文分析多模态RLVR中思考与答案的语义不一致问题，提出CORA方法，通过轻量级一致性奖励模型引入语义一致性，并采用混合奖励优势分裂稳定优化，提升推理忠实度。

Comments Submitted to EMNLP 2026

LCAM: A Framework for Diagnosing Interactional Alignment Failures in Con-versational AI

LCAM：诊断对话式AI中交互对齐失败的框架

Manuele Reani, Hongyu Tian

机构 * School of Management and Economics, The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区管理学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出分层认知对齐模型（LCAM），通过五层对齐和两种失调极性诊断对话式AI的交互失败，应用于LLM咨询案例揭示潜在危害。

Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models

谁的规范？解开大语言模型中的文化与个人对齐

Angana Borah, Isabelle Augenstein, Rada Mihalcea

机构 * University of Michigan - Ann Arbor（密歇根大学安娜堡分校） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出PACT框架评估大语言模型在文化规范与个人偏好间的权衡，发现模型受国家背景影响大于年龄和性别，且人类对齐未能捕捉文化多元性。

Comments Preprint under review

Adaptive Pluralistic Alignment: A pipeline for dynamic artificial democracy

自适应多元对齐：动态人工民主的流水线

Rachel Freedman

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 提出自适应多元对齐（APA）流水线，通过低秩奖励基分解和陪审团投票机制，动态追踪社会价值观演变，避免价值锁定，无需重复预训练或大规模数据收集。

The Geometry of LLM-as-Judge: Why Inter-LLM Consensus Is Not Human Alignment

LLM作为评判者的几何学：为什么LLM间共识不等于人类对齐

Sourabrata Mukherjee, Hamna Hamna, Kalika Bali, Sunayana Sitaram

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 通过几何量测量，发现LLM评判者之间高度一致但与人类对齐差，其评分子空间与人类子空间几乎正交，共识源于子空间坍缩而非人类对齐。

Expected Value Alignment for Generative Reward Modeling in Formal Mathematics Verification

形式数学验证中生成式奖励建模的期望值对齐

Shihao Ji, Haotao Tan, Zihui Song, Mingyu Li

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出期望值对齐（EVA）方法，通过从模型词元分布中提取连续分数，在保持生成式奖励模型离散输出的同时实现连续评分，用于Lean 4形式验证。

Toward User Preference Alignment in LLM Recommendation via Explicit Context Feedback

通过显式上下文反馈实现LLM推荐中的用户偏好对齐

Weizhi Zhang, Wooseong Yang, Yuxin Cui, Zhaohui Guo, Hins Hu, Liangwei Yang, Henry Peng Zou, Qifei Wang, Hanqing Zeng, Jiayi Liu, Yinglong Xia, Philip S. Yu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Meta 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文主张在基于大语言模型的推荐系统中优先利用显式上下文反馈（如评论文本）来对齐用户偏好，提升推荐的个性化和可解释性。

Comments Published in CogMI 2025. https://ieeexplore.ieee.org/abstract/document/11417068

ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment

ICG: 通过基于MLLM的提示和个性化偏好对齐改进封面图像生成

Zhipeng Bian, Jieming Zhu, Qijiong Liu, Wang Lin, Guohao Cai, Zhaocheng Du, Jiacheng Sun, Zhou Zhao, Zhenhua Dong

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出ICG框架，利用多模态大语言模型和扩散模型，通过元标记提取语义特征、用户嵌入个性化对齐及多奖励学习策略，实现高质量、个性化封面图像生成。

Comments Published in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 12268-12278, EMNLP 2025. Official version: https://doi.org/10.18653/v1/2025.emnlp-main.617

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (Main Track) EMNLP 2025 12268-12278

MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models

MATO: 面向大语言模型的多目标个性化对齐与测试时优化

Linhao Luo, Thuy-Trang Vu, Van-Anh Nguyen, Junae Kim, Gholamreza Haffari, Dinh Phung

机构 * Monash University（墨尔本大学） ； Defence Science and Technology Group, Australia（澳大利亚国防科学与技术集团） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出MATO框架，通过测试时优化在解码过程中动态调整多目标权重，无需训练或外部奖励模型，实现大语言模型与用户多样化偏好的对齐。

Comments Preprint

Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts

面向安全的路由分析：Mixtral MoE在良性及有害提示下的表现

Md Nurul Absar Siddiky

机构 * Department of Electrical ； Computer Engineering University of Hawai'i at M\= a noa Honolulu, HI, USA 纠错

专题命中 偏好对齐 ：safety(title,abstract)；分类 cs.AI

AI总结 通过激活和梯度两种信号分析Mixtral 8x7B-Instruct在良性及有害提示下的路由行为，发现安全相关的路由是微妙、深度依赖且分布式的，而非由固定专家集主导。

AMATA: Adaptive Multi-Agent Trajectory Alignment for Knowledge-Intensive Question Answering

AMATA: 适应性多智能体轨迹对齐用于知识密集型问答

Taolin Zhang, Dongyang Li, Chen Chen, Qizhou Chen, Jiuheng Wan, Xiaofeng He, Chengyu Wang, Richang Hong

机构 * School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； Shanghai University of Electric Power（上海电力大学） ； East China Normal University（华东师范大学） ； Guangdong University of Finance and Economics（广东财经大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 本研究提出AMATA框架，通过动态整合外部知识提高知识密集型问答的响应可解释性和事实准确性，采用六个专门化智能体协作执行复杂问题推理，并引入两种创新：轨迹内偏好学习和智能体间依赖学习。

StoicLLM: Preference Optimization for Philosophical Alignment in Small Language Models

StoicLLM：在小型语言模型中通过偏好优化实现哲学对齐

Ishmam Khan, Sindhuja Thogarrati, Shuo Zhang

机构 * Tufts University（塔夫茨大学） ； Bose Corporation（博世公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 研究通过偏好优化方法对小型语言模型进行微数据集训练，实现对斯多葛主义内在美德的强对齐，但发现模型在处理斯多葛主义外在义务时存在代表性限制。

Can Revealed Preferences Clarify LLM Alignment and Steering?

揭示偏好能否澄清大语言模型对齐与引导？

Khurram Yamin, Jingjing Tang, Eric Horvitz, Bryan Wilder

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文提出一种经验方法，通过估计LLM在决策任务中的隐含偏好，评估模型是否一致地追求目标，是否能描述其目标，以及提示是否能可靠引导策略。

The Differences Between Direct Alignment Algorithms are a Blur

直接对齐算法之间的差异变得模糊

Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文系统比较了直接对齐算法，发现排名目标是影响对齐质量的主要因素，而特定的标量分数次之。

When Helpfulness Becomes Sycophancy: Sycophancy is a Boundary Failure Between Social Alignment and Epistemic Integrity in Large Language Models

当有益变成谄媚：谄媚是大型语言模型中社会契合与认知完整性之间的边界失败

Jiechen Li, Catherine A. Barry, Rishika Randev, Janet Chen, Ella Jorgensen, Brinnae Bent

机构 * Duke University（杜克大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文探讨大型语言模型中谄媚现象作为社会契合与认知完整性之间边界失败的问题，提出三条件框架以界定谄媚，并讨论其分类、评估及缓解策略。

Comments Currently under review

Value Alignment Tax: Measuring Value Trade-offs in LLM Alignment

价值对齐税：在大语言模型对齐中测量价值权衡

Jiajun Chen, Hua Shen

机构 * Center for Data Science, NYU Shanghai（纽约大学上海分校数据科学中心） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出VAT框架，用于测量对齐干预如何影响价值系统，揭示目标值与非目标值之间的系统性权衡，通过实验数据展示对齐过程中的潜在风险。

Comments Preprint. Under review. 20 pages, 13 figures

Chain-of-Thought as a Lens: Evaluating Structured Reasoning Alignment between Human Preferences and Large Language Models

思维链作为镜像：评估大语言模型与人类偏好之间结构化推理的对齐

Boxuan Wang, Zhuoyun Li, Xinmiao Huang, Xiaowei Huang, Yi Dong

机构 * School of Computer Science and Informatics, University of Liverpool, United Kingdom（利物浦大学计算机科学与信息学学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出一种量化评估大语言模型多步结构化推理与人类偏好对齐的方法，引入对齐分数指标，通过构建基于语义熵的矩阵比较模型生成的思维链与人类偏好参考，发现对齐分数在2步推理时达到峰值，支持其作为诊断信号。

Comments Accepted to ACL 2026 (Main Conference)

CoDial: Interpretable Task-Oriented Dialogue Systems Through Dialogue Flow Alignment

通过对话流程对齐构建可解释的任务导向对话系统：CoDial

Radin Shayanfar, Chu Fei Luo, Rohan Bhambhoria, Samuel Dahan, Xiaodan Zhu

机构 * Department of Electrical and Computer Engineering & Ingenuity Labs, Queen’s University（电气与计算机工程系及Ingenuity实验室，女王大学） ； Conflict Analytics Lab, Queen’s University（冲突分析实验室，女王大学） ； Cornell Law School（康奈尔法学院） ； Vector Institute for AI（人工智能向量研究所） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 CoDial通过将预定义任务 schema 转换为结构化异构图并生成程序化 LLM 防御代码，实现对话策略的高效可解释对齐，提升任务导向对话系统的泛化能力与可解释性。

Comments Accepted to ACL 2026

Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy

对齐印记：通过可证明的偏好偏差实现零样本AI生成文本检测

Junxi Wu, Kailin Huang, Dongjian Hu, Bin Chen, Hao Wu, Shu-Tao Xia, Changliang Zou

机构 * Nankai University（南开大学） ； Tsinghua University（清华大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Wuhan University（武汉大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出通过可证明的偏好偏差检测AI生成文本，利用对齐印记理论分析，引入LAPD统计量提升检测性能，实验显示在多种设置下均取得显著提升。

Curriculum-RLAIF: Curriculum Alignment with Reinforcement Learning from AI Feedback

Curriculum-RLAIF: 通过人工智能反馈的强化学习进行课程对齐

Jiaye Lin, Mengdi Li, Xufeng Zhao, Wenhao Lu, Peilin Zhao, Stefan Wermter, Di Wang

机构 * Tsinghua University（清华大学） ； Provable Responsible AI and Data Analytics Lab（可证明责任AI与数据 analytics 实验室） ； King Abdullah University of Science and Technology（卡布斯王国科学与技术大学） ； University of Hamburg（汉堡大学） ； Tencent Inc.（腾讯公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出Curriculum-RLAIF框架，通过构建不同难度的偏好对，提升奖励模型的泛化能力，从而显著提高策略模型对齐性能，且无需额外推理成本。

MUSE: Multi-Domain Chinese User Simulation via Self-Evolving Profiles and Rubric-Guided Alignment

MUSE：通过自演化档案和评分引导对齐实现多领域中文用户模拟

Zihao Liu, Hantao Zhou, Jiguo Li, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He, Peng Wang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 MUSE通过自演化档案和评分引导对齐，生成逼真且行为一致的中文用户响应，优于现有方法。