大模型对齐与安全

Uni-DPO: A Unified Paradigm for Dynamic Preference Optimization of LLMs

Uni-DPO：大语言模型动态偏好优化的统一范式

Shangpin Peng, Weinong Wang, Zhuotao Tian, Senqiao Yang, Xing Wu, Haotian Xu, Chengquan Zhang, Takashi Isobe, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Xi’an Jiaotong University（西安交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有DPO方法忽略数据质量和学习难度差异的问题，提出Uni-DPO统一框架，通过自适应重加权偏好对实现更有效的数据利用和更优性能。

Comments Accepted by ICLR 2026. Code & models: https://github.com/pspdada/Uni-DPO

Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models

理解与生成相冲突吗？统一多模态模型DPO的诊断研究

Abinav Rao, Sujan Rachuri

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 通过系统实验发现，在统一多模态模型上应用DPO时，生成质量难以对齐，主要原因是理解和生成梯度近乎正交且存在11-14倍的幅度不平衡，源于VQ token数量不对称。

Comments Experiments are inconclusive: The claim that architectures such as Chameleon or Emu would exhibit stronger gradient conflict is not supported by experiments or analysis, and all experiments are conducted on Janus-Pro without evaluation on other unified multimodal architectures

EditCaption: Human-Refined SFT and HAE-DPO for Image Editing Instruction Synthesis

EditCaption: 用于图像编辑指令合成的人工精炼SFT与HAE-DPO

Xiangyuan Wang, Honghao Cai, Yunhao Bai, Chao Hui, Tianze Zhou, Haohua Chen, Hao Shi, Yuling Wu, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu

机构 * Peking University（北京大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.AI

AI总结 提出EditCaption两阶段后训练流程，通过人工精炼SFT和基于难度自适应错误感知DPO（HAE-DPO）提升图像编辑指令合成质量，显著降低关键错误率并超越现有模型。

Multimodal Alignment and Preference Optimization for Zero-Shot Conditional RNA Generation

多模态对齐与偏好优化用于零样本条件RNA生成

Roman Klypa, Alberto Bietti, Sergei Grudinin

机构 * Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室） ； Center for Computational Mathematics, Flatiron Institute（计算数学中心、Flatiron研究所） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出Moirain框架，通过多模态监督微调和直接偏好优化实现条件RNA序列生成，在零样本条件下生成具有高结合亲和力的生物合理RNA序列。

PageLLM: A Multi-Grained Reward Framework for Whole-Page Optimization with Large Language Models

PageLLM：面向整页优化的大语言模型多粒度奖励框架

Xinyuan Wang, Liang Wu, Dongjie Wang, Yanjie Fu

机构 * Arizona State University（亚利桑那州立大学） ； Nokia（诺基亚） ； University of Kansas（堪萨斯大学） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对整页优化中人工标注成本高和页面级连贯性与项目级放置粒度不匹配的问题，提出PageLLM框架，通过将隐式反馈解耦为粗粒度页面级奖励和细粒度项目级奖励，结合PPO的RLHF进行微调，显著提升排序性能并在线上部署中取得收益。

InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models

InfiFPO：通过偏好优化实现大型语言模型的隐式模型融合

Yanggan Gu, Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Fei Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University (PolyU)（香港理工大学） ； Zhejiang University（浙江大学） ； PolyU-Daya Bay Technology and Innovation Research Institute（香港理工大学-大亚湾技术与创新研究院） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出InfiFPO方法，通过将DPO中的参考模型替换为融合源模型，在序列级别合成多源概率，实现隐式模型融合，从而在偏好对齐阶段有效融合多个LLM并提升性能。

Journal ref NeurIPS 2025

Reward-free Alignment for Conflicting Objectives

无奖励的冲突目标对齐

Peter Chen, Xiaopeng Li, Xi Chen, Tianyi Lin

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RACO框架，通过冲突规避梯度下降的裁剪变体直接利用成对偏好数据解决多目标冲突，实现帕累托最优对齐。

Comments Accepted to ICML 2026 (Oral)

Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs

面向音频大语言模型中英双语码转换语音识别的直接偏好优化

Trung Nguyen Quang, Cheng Yi Lewis Won, Minh Duc Pham, Yingxu He, Shuo Sun, Ai Ti Aw

机构 * Institute for Infocomm Research (I2R), A STAR, Singapore（信息通信研究所（I2R），A STAR，新加坡） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.CL

AI总结 针对音频大语言模型在英中码转换语音转录中的系统失败，提出使用直接偏好优化（DPO）对齐模型，通过构建偏好对（保留混合语言内容 vs 模仿失败模式）训练模型，实现词错误率降低最高89.6%（分布内）和20.0%（分布外）。

Towards Anatomically Plausible Human Image Generation via Synthetic Localized Preferences

通过合成局部偏好实现解剖学合理的人体图像生成

Bao Li, Yuliang Xiu, Zhen Liu

机构 * Westlake University（西湖大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)

AI总结 提出 ASAP 框架，利用局部退化机制构建受控偏好对，并结合局部有界 DPO 变体，在保持整体图像质量的同时减少解剖学错误。

Emotional intelligence in large language models is fragmented across perception, cognition, and interaction

大型语言模型中的情商在感知、认知和交互上存在碎片化

Minghao Lv, Lu Chen, Enchang Zhang, Anji Zhou, Xiaoran Xue, Hanyi Zhang, Fenghua Tang, Zhuo Rachel Han, Mengyue Wu

机构 * X-LANCE Lab（X-LANCE实验室） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； MoE Key Lab of Artificial Intelligence（人工智能MOE重点实验室） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） ； Beijing Key Laboratory of Applied Experimental Psychology（北京应用实验心理学重点实验室） ； National Demonstration Center for Experimental Psychology Education, Faculty of Psychology, Beijing Normal University（北京师范大学实验心理学教育国家级示范中心，心理学学院） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出FACET框架，基于Mayer-Salovey-Caruso四分支能力模型评估大型语言模型的情商，发现其并非单一能力，而是在认知和交互维度上碎片化，且隐藏情绪识别是普遍瓶颈。

It's Time to Get It Right: Improving Analog Clock Reading and Clock-Hand Spatial Reasoning in Vision-Language Models

是时候正确了：提升视觉语言模型中的模拟时钟读取和指针空间推理能力

Jaeha Choi, Jin Won Lee, Siwoo You, Jangho Lee

机构 * Incheon National University（延世国立大学） ； McGill University（麦吉尔大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)

AI总结 针对视觉语言模型在真实环境中读取模拟时钟的挑战，提出TickTockVQA数据集和Swap-DPO微调框架，显著提升时钟读取准确性和鲁棒性。

Comments Accepted to CVPR 2026 Findings

MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models

MATO: 面向大语言模型的多目标个性化对齐与测试时优化

Linhao Luo, Thuy-Trang Vu, Van-Anh Nguyen, Junae Kim, Gholamreza Haffari, Dinh Phung

机构 * Monash University（墨尔本大学） ； Defence Science and Technology Group, Australia（澳大利亚国防科学与技术集团） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出MATO框架，通过测试时优化在解码过程中动态调整多目标权重，无需训练或外部奖励模型，实现大语言模型与用户多样化偏好的对齐。

Comments Preprint

Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts

面向安全的路由分析：Mixtral MoE在良性及有害提示下的表现

Md Nurul Absar Siddiky

机构 * Department of Electrical ； Computer Engineering University of Hawai'i at M\= a noa Honolulu, HI, USA 纠错

专题命中 偏好对齐 ：safety(title,abstract)；分类 cs.AI

AI总结 通过激活和梯度两种信号分析Mixtral 8x7B-Instruct在良性及有害提示下的路由行为，发现安全相关的路由是微妙、深度依赖且分布式的，而非由固定专家集主导。

Adaptive Preference Optimization with Uncertainty-aware Utility Anchor

基于不确定性感知效用锚点的自适应偏好优化

Xiaobo Wang, Zixia Jia, Jiaqi Li, Qi Liu, Zilong Zheng

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种通用离线偏好优化框架UAPO，通过引入锚点函数估计偏好数据标注的不确定性，支持非配对数据训练，提升数据利用效率和训练鲁棒性。

Comments Accepted by EMNLP 2025 Findings

UniRank: End-to-End Domain-Specific Reranking of Hybrid Text-Image Candidates

UniRank: 混合文本-图像候选的端到端领域特定重排序

Yupei Yang, Lin Yang, Wanxi Deng, Lin Qu, Shikui Tu, Lei Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI

AI总结 提出UniRank，一种基于视觉语言模型的重排序框架，通过无需模态转换的统一评分和端到端领域适应（包括指令微调和基于强化学习的偏好对齐），在科学文献检索和设计专利搜索中显著提升性能。

The Growing Pains of Frontier Models: When Leaderboards Stop Separating and What to Measure Next

前沿模型的成长之痛：当排行榜不再区分以及接下来衡量什么

Adil Amin

机构 * Zehen Labs（泽亨实验室） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG；alignment(comments)

AI总结 本文通过分解SWE-bench和GPQA Diamond分数为种群耦合趋势和每版本残差（h场），诊断前沿模型能力之间的协作与权衡，并提供三步诊断法、每实验室测量优先级表及七个可证伪预测。

Comments 13 pages, 5 figures, 4 tables. Companion paper: "Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling." ( https://doi.org/10.48550/arXiv.2605.18838 ). Code: https://github.com/adilamin89/cape-scaling . Dashboard: https://zehenlabs.com/cape/

BC Protocol: Structured Dual-Expert Dialogue for Eliciting High-Quality Chain-of-Thought Post-Training Data

BC协议：结构化双专家对话用于生成高质量思维链后训练数据

Bo Zou, Chao Xu

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型后训练中高质量专家思维链数据生产瓶颈，提出BC协议——一种结构化双专家引出方法，通过配对领域专家与知识工程师，系统外化专家隐性判断为自然语言推理链，实验证明其在推理过程自然性上具有压倒性优势。

Towards Cognitively-Faithful Decision-Making Models to Improve AI Alignment

朝向认知忠实决策模型以改善AI对齐

Cyrus Cousins, Vijay Keswani, Vincent Conitzer, Hoda Heidari, Jana Schaich Borg, Walter Sinnott-Armstrong

机构 * Duke University（杜克大学） ； IIT Delhi（德里印度理工学院） ； CMU（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.LG

AI总结 提出一种基于公理的方法，从成对比较中学习认知忠实的决策过程，以解决标准偏好诱导方法未能捕捉人类决策认知过程的问题，并在肾脏分配任务中验证了模型的有效性。

Comments In ICLR 2026

Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization

探究优化下上下文与参数化思维链忠实性之间的相互作用

Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） ； Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过提出统一偏好对齐接口FaithMate，研究上下文与参数化两种思维链忠实性范式在优化下的相互作用，发现两者正相关但不对称，且上下文忠实性指标间存在权衡。

Comments The first two authors contributed equally and share first-authorship

Learning Preference-Based Objectives from Clinical Narratives for Dynamic Sepsis Treatment

从临床叙述中学习基于偏好的目标用于动态脓毒症治疗

Daniel J. Tan, Jayne Hui Zhen Chan, Kai Wen Hwang, Arturo Yong Yao Neo, Kay Choong See, Mengling Feng

机构 * Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所） ； National University Hospital, Singapore（新加坡国立大学医院） ； Saw Swee Hock School of Public Health, National University of Singapore, Singapore（新加坡国立大学 Saw Swee Hock 公共卫生学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出CN-PR框架，利用大语言模型从出院小结中提取轨迹级偏好，通过偏好优化学习奖励函数，在离线强化学习中改善脓毒症治疗结果。

Raon-Speech Technical Report

Raon-Speech 技术报告

Beomsoo Kim, Changho Choi, Dohyun Kim, Dongki Lee, Ethan Ewer, Eunchong Kim, Gyeongman Kim, Haechan Kim, Hyeonghwan Kim, Inkyu Park, Jihun Yun, Jihwan Moon, Jiyun Kim, Joonghyun Bae, Junhyuck Kim, Minkyu Kim, Sehun Lee, Seungjun Chung, Sungwoo Cho, Dongmin Park, Dongwon Kim, Hara Kang, Jonghyun Lee, Keon Lee, Kangwook Lee, Jaewoong Cho

机构 * KRAFTON 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 Raon-Speech，一个 9B 参数的语音语言模型，通过多阶段训练实现英语和韩语的语音理解、回答与生成，并扩展为全双工对话模型 Raon-SpeechChat，在语音任务上超越同类模型。

Cultivating Machine Intelligence: The OMEGA Shift from Top-Down Optimization to Autopoietic Cognitive Ecologies

培养机器智能：从自上而下优化到自创生认知生态的OMEGA转变

Ata G. Zare

机构 * Nyenrode Business University（奈恩罗德商学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 针对当前深度学习优化范式导致的幻觉、谄媚、奖励破解和对齐脆弱等结构性缺陷，提出RECLAIM框架，通过计算生态学而非严格优化来培养智能，并引入OMEGA转变概念。

Comments Extended preprint. A shorter version of this work is currently under peer review

EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

EPPC-OASIS：面向安全消息中电子患者-提供者通信挖掘的本体感知适应与结构化推理精炼

Samah Fodeh, Sreeraj Ramachandran, Elyas Irankhah, Muhammad Arif, Afshan Khan, Ganesh Puthiaraju, Linhai Ma, Srivani Talakokkul, Jordan Alpert, Sarah Schellhorn

机构 * Yale University（耶鲁大学） ； Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland Clinic（克利夫兰医学中心勒纳医学院，克利夫兰医学中心） ； Medical Oncology, Yale School of Medicine（耶鲁医学院医学肿瘤学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出EPPC-OASIS框架，通过本体感知的Wasserstein对齐目标增强微调，并结合推理精炼步骤，从安全消息中自动提取结构化EPPC编码，在多个语言模型上取得一致改进。

RAG-Match: Retrieval-Augmented Knowledge Injection and Hierarchical Reasoning for Calibrated Semantic Relevance

RAG-Match：面向校准语义相关性的检索增强知识注入与分层推理

Hengjun Jiang, Liansheng Sun, Yan Jiang, Xiaojie Ke, Yongjin Wang, Xiangkun Liu, Cunxin Gu, Jian Xu, Guanjun Jiang

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出RAG-Match三阶段框架，通过知识增强预训练、分层推理对齐和偏好决策校准，提升搜索场景中细粒度语义相关性判断的准确性。

Comments 17 pages, 1 figure, 5 tables

OHP-RL: Online Human Preference as Guidance in Reinforcement Learning for Robot Manipulation

OHP-RL：在线人类偏好作为机器人操作强化学习中的指导

Yunyang Mo, Jian Li, Qiwei Wu, Yihang Kang, Renjing Xu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 偏好对齐 ：safety(abstract)

AI总结 提出OHP-RL框架，利用人类干预作为偏好信息，通过状态依赖偏好门自适应调节策略学习，在Franka机器人接触丰富的操作任务中实现高成功率、快速收敛和低人类干预。