大模型对齐与安全

S2H-DPO: Hardness-Aware Preference Optimization for Vision-Language Models

S2H-DPO：面向视觉-语言模型的硬度感知偏好优化

Nitish Shukla, Surgan Jandial, Arun Ross

机构 * Michigan State University（密歇根州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(abstract)

AI总结 本文提出S2H-DPO框架，通过三级层次推理构建多图象偏好数据，提升多图象推理性能，同时保持单图象推理能力，推动视觉偏好对齐的前沿发展。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Guardrails in Logit Space: Safety Token Regularization for LLM Alignment

对数空间中的Guardrails：用于LLM对齐的安全令牌正则化

Thong Bach, Truyen Tran

机构 * Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2）） ； Deakin University（德克萨斯大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

AI总结 本文提出安全令牌正则化（STR）方法，通过约束关键令牌的logits来保持细调模型的安全性，实验显示其在安全性和任务性能方面表现优异。

Comments 10 pages, 3 figures

Alignment Data Map for Efficient Preference Data Selection and Diagnosis

用于高效偏好数据选择与诊断的对齐数据图

Seohyeong Lee, Eunwon Kim, Hwaran Lee, Buru Chang

机构 * Sogang University（ソガン大学） ； Upstage（アップステージ） ； Korea University（韩国大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 本文提出对齐数据图，通过评估偏好数据的对齐分数，选择高质量低变异性样本，提升对齐效果并提高标注准确性。

Comments ACL 2026 Findings Camera-Ready

Reverse Constitutional AI: A Framework for Controllable Toxic Data Generation via Probability-Clamped RLAIF

反宪法AI：通过概率限制RLAIF实现可控有毒数据生成的框架

Yuan Fang, Yiming Luo, Aimin Zhou, Fei Tan

机构 * East China Normal University（东华大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 偏好对齐 ：jailbreak(abstract,abstract_cn)；safety(abstract)；red teaming(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出反宪法AI框架，通过概率限制RLAIF生成可控的高质有毒数据，提升安全评估。

Comments Accepted to Findings of ACL 2026. 10 pages, 6 figures. Code and data available at https://github.com/ZeroLoss-Lab/R-CAI

Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

基于规则的音乐约束对齐语言模型用于歌词到旋律生成

Hao Meng, Siyuan Zheng, Shuran Zhou, Qiangqiang Wang, Yang Song

机构 * Zuoyebang Education Technology（中关村教育科技） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.CL

AI总结 本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。

Comments Accepted by IEEE ICASSP 2026

One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment

一个适应任何：面向个性化大语言模型对齐的元奖励建模

Hongru Cai, Yongqi Li, Tiezheng Yu, Fengbin Zhu, Wenjie Wang, Fuli Feng, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出元奖励建模（MRM）方法，通过元学习框架优化奖励模型初始化，提升个性化对齐的效率与鲁棒性，实验表明其在少样本场景下表现优异。

Comments Accepted by SIGIR 2026

On the Shelf Life of Fine-Tuned LLM-Judges: Future-Proofing, Backward-Compatibility, and Question Generalization

大语言模型判官的保质期：未来证明、向后兼容性和问题泛化

Janvijay Singh, Austin Xu, Yilun Zhou, Yefan Zhou, Dilek Hakkani-Tur, Shafiq Joty

机构 * Salesforce AI Research（Salesforce AI研究院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了细调判官模型在现实部署中的挑战，探讨了未来证明、向后兼容性和问题泛化三个核心问题，并通过实验发现持续学习在适应响应分布变化方面表现更优。

Comments Updated after ICLR 2026 Acceptance; 29 pages;

CoDial: Interpretable Task-Oriented Dialogue Systems Through Dialogue Flow Alignment

通过对话流程对齐构建可解释的任务导向对话系统：CoDial

Radin Shayanfar, Chu Fei Luo, Rohan Bhambhoria, Samuel Dahan, Xiaodan Zhu

机构 * Department of Electrical and Computer Engineering & Ingenuity Labs, Queen’s University（电气与计算机工程系及Ingenuity实验室，女王大学） ； Conflict Analytics Lab, Queen’s University（冲突分析实验室，女王大学） ； Cornell Law School（康奈尔法学院） ； Vector Institute for AI（人工智能向量研究所） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 CoDial通过将预定义任务 schema 转换为结构化异构图并生成程序化 LLM 防御代码，实现对话策略的高效可解释对齐，提升任务导向对话系统的泛化能力与可解释性。

Comments Accepted to ACL 2026

Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy

对齐印记：通过可证明的偏好偏差实现零样本AI生成文本检测

Junxi Wu, Kailin Huang, Dongjian Hu, Bin Chen, Hao Wu, Shu-Tao Xia, Changliang Zou

机构 * Nankai University（南开大学） ； Tsinghua University（清华大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Wuhan University（武汉大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出通过可证明的偏好偏差检测AI生成文本，利用对齐印记理论分析，引入LAPD统计量提升检测性能，实验显示在多种设置下均取得显著提升。

Curriculum-RLAIF: Curriculum Alignment with Reinforcement Learning from AI Feedback

Curriculum-RLAIF: 通过人工智能反馈的强化学习进行课程对齐

Jiaye Lin, Mengdi Li, Xufeng Zhao, Wenhao Lu, Peilin Zhao, Stefan Wermter, Di Wang

机构 * Tsinghua University（清华大学） ； Provable Responsible AI and Data Analytics Lab（可证明责任AI与数据 analytics 实验室） ； King Abdullah University of Science and Technology（卡布斯王国科学与技术大学） ； University of Hamburg（汉堡大学） ； Tencent Inc.（腾讯公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出Curriculum-RLAIF框架，通过构建不同难度的偏好对，提升奖励模型的泛化能力，从而显著提高策略模型对齐性能，且无需额外推理成本。

PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling

PaTaRM：通过偏好感知任务自适应奖励模型弥合成对和点状信号

Ai Jian, Jingqing Ruan, Xing Ma, Xiaoyun Zhang, Dailin Li, Weipeng Zhang, Ke Zeng, Xunliang Cai

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Meituan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 PaTaRM通过偏好感知奖励机制实现成对和点状信号的弥合，无需显式评分标签，提升奖励模型的鲁棒性和任务适应性，实验显示在多个基准测试中表现优异。

Comments ACL Main

ReflectRM: Boosting Generative Reward Models via Self-Reflection within a Unified Judgment Framework

ReflectRM: 通过统一判断框架内的自我反思提升生成奖励模型

Kai Qin, Liangxin Liu, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Houde Liu, Daiting Shi

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 ReflectRM通过自我反思评估分析质量，提升偏好建模，实验表明其在四个基准测试中平均准确率提升3.7%，并有效缓解位置偏差。

Comments Preprint

User-Assistant Bias in LLMs

大语言模型中的用户-助手偏见

Xu Pan, Jingxuan Fan, Zidi Xiong, Ely Hahami, Jorin Overwiening, Ziqian Xie

机构 * Harvard University（哈佛大学） ； University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大语言模型中因角色标签训练数据不一致导致的用户-助手偏见，通过UserAssist基准测试发现指令微调模型存在强用户偏见，而基础和推理模型接近中性，揭示了角色标签训练的潜在影响。

MaLoRA: Gated Modality LoRA for Key-Space Alignment in Multimodal LLM Fine-Tuning

MaLoRA：基于关键空间对齐的门控模态LoRA

Xinhan Zheng, Huyu Wu, Xueting Wang, Duo Su, Haiyun Jiang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-鲁维尔研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Palmer Research Laboratories（帕勒实验室） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.AI

AI总结 本文提出MaLoRA，通过门控机制对齐多模态LLM微调中的关键空间，揭示文本偏见源于注意力键空间内在不匹配。

PARM: Pipeline-Adapted Reward Model

PARM：流水线适应的奖励模型

Xingyu Fan, Wei Shao, Jiacheng Liu, Linqi Song, Pheng Ann Heng

机构 * Graduate Student Member, IEEE（IEEE研究生会员） ； Member, IEEE（IEEE会员） ； Senior Member, IEEE（IEEE高级会员） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对多阶段LLM流水线中奖励指导不足的问题，提出PARM模型，通过整合奖励模型到 formulation 和 solution 阶段，提升代码生成质量与稳定性。

BASIL: Bayesian Assessment of Sycophancy in LLMs

BASIL：大型语言模型中趋炎附势行为的贝叶斯评估

Katherine Atwell, Pedram Heydari, Anthony Sicilia, Malihe Alikhani

机构 * Northeastern University（东北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； West Virginia University（西弗吉尼亚大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出BASIL框架，通过贝叶斯方法区分LLM中的趋炎附势行为与理性信念更新，评估模型在不确定任务中的理性表现，展示校准和微调策略能有效减少贝叶斯不一致性。

Logit Arithmetic Elicits Long Reasoning Capabilities Without Training

逻辑运算激发长推理能力而不需训练

Yunxiang Zhang, Muhammad Khalifa, Lechen Zhang, Xin Liu, Ayoung Lee, Xinliang Frederick Zhang, Farima Fatahi Bayat, Lu Wang

机构 * University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出ThinkLogit方法，通过逻辑运算将小型推理引导器的能力转移至大模型，无需训练即可提升推理性能，实验显示在六个基准测试中实现21.5%-24.2%的提升。

Comments Accepted to ACL Findings 2026

Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception

觉醒失明：为基于视觉感知的代理轨迹进行无监督的冷启动优化

Ashutosh Bajpai, Tamal Majumder, Akshay Nambi, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi（印度理工学院德里） ； Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎比） ； Microsoft Research（微软研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SPECTRA框架，通过冷启动强化学习提升小视觉语言模型的视觉鲁棒性和工具协调能力，无需监督即可提高任务准确性和工具效率。

Comments ACL 2026 Findings

IceBreaker for Conversational Agents: Breaking the First-Message Barrier with Personalized Starters

对话代理的IceBreaker：通过个性化开场白打破第一消息障碍

Hongwei Zheng, Weiqi Wu, Zhengjia Wang, Guanyu Jiang, Haoming Li, Tianyu Wu, Yongchun Zhu, Jingwu Chen, Feng Zhang

机构 * ByteDance（字节跳动） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IceBreaker，通过生成个性化开场白帮助对话代理克服用户初始对话时的障碍，提升用户活跃度和点击率。

Comments ACL 2026 Accepted Paper (Industry Track)

Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback

通过AI反馈提升文本到视频生成中动态物体交互

Hiroki Furuta, Heiga Zen, Dale Schuurmans, Aleksandra Faust, Yutaka Matsuo, Percy Liang, Sherry Yang

机构 * Google DeepMind（谷歌DeepMind） ； The University of Tokyo（东京大学） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量，提出利用视觉语言模型提供针对性反馈，实验表明该方法在视频交互场景质量上有显著提升。

Comments Website: https://sites.google.com/view/aif-dynamic-t2v/

QuantumQA: Enhancing Scientific Reasoning via Physics-Consistent Dataset and Verification-Aware Reinforcement Learning

量子QA：通过物理一致的数据集和验证意识强化学习增强科学推理

Songxin Qu, Tai-Ping Sun, Yun-Jie Wang, Huan-Yu Liu, Cheng Xue, Xiao-Fan Xu, Han Fang, Yang Yang, Yu-Chun Wu, Guo-Ping Guo, Zhao-Yun Chen

机构 * Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； School of Physics, University of Science and Technology of China（中国科学技术大学物理学院） ； School of Electronics and Information Engineering, Anhui University（安徽大学电子与信息工程学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出量子QA数据集和验证意识奖励模型，通过物理一致的数据集和强化学习提升科学推理能力，实验证明其在科学领域表现优异。

Comments 25 pages

Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts

具有文化意识的幽默标题生成：跨文化多模态幽默生成

Run Xu, Lu Li, Rongzhao Zhang, Jie Xu

机构 * Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出一种多模态幽默生成任务，通过文化意识标题生成模型在不同文化背景下生成幽默标题，改进了文化背景下的图像相关性、语境适配性和幽默质量。

PoliLegalLM: A Technical Report on a Large Language Model for Political and Legal Affairs

PoliLegalLM：政治与法律领域大型语言模型的技术报告

Yuting Huang, Yinghao Hu, Qian Xiao, Wenlin Zhong, Yiquan Wu, Taishi Zhou, Moke Chen, Changlong Sun, Kun Kuang, Fei Wu

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Zhejiang University（浙江大学） ； Zhejiang Zhengfa Xinxi Guanli Zhongxin（浙江正法信息警务中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出PoliLegalLM，通过统一训练框架提升法律知识和推理能力，针对法律领域挑战实现高性能表现。

More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

超越表象：通过语义锚定测量视觉语言模型中的象征性差距

Wei He

机构 * IDSAI, University of Exeter（IDSAI研究所，埃克塞特大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究通过引入DIVA基准测试，探讨高视觉保真度是否干扰视觉抽象中的隐喻构成性，提出语义对齐差距和方向偏置指标，发现模型规模无法解决字面偏好，高保真度导致象征性对齐减弱。

Comments 16 pages, 4 figures. Accepted to the Main Conference of ACL 2026

Transparent and Controllable Recommendation Filtering via Multimodal Multi-Agent Collaboration

通过多模态多智能体协作实现透明且可控的推荐过滤

Chi Zhang, Zhipeng Xu, Jiahao Liu, Dongsheng Li, Hansu Gu, Peng Zhang, Ning Gu, Tun Lu

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出一种结合端到云协作、多模态感知和多智能体编排的框架，有效减少推荐系统中的过度关联和误报，提升用户控制和透明度。

Comments 14 pages, under review

RemoteShield: Enable Robust Multimodal Large Language Models for Earth Observation

RemoteShield：为地球观测启用鲁棒的多模态大语言模型

Rui Min, Liang Yao, Shiyu Miao, Shengxiang Xu, Yuxuan Liu, Chuanyi Zhang, Shimin Di, Fan Liu

机构 * Hohai University（河海大学） ； Nanjing University（南京大学） ； Southeast University（东南大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出RemoteShield，一种针对地球观测的鲁棒多模态大语言模型，通过偏好学习提升在现实输入变化下的稳定性与一致性，实验显示其在多模态扰动下表现优于基线模型。

MASH: Evading Black-Box AI-Generated Text Detectors via Style Humanization

MASH：通过风格人化规避黑盒AI生成文本检测器

Yongtong Gu, Songze Li, Xia Hu

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出MASH框架，通过风格迁移技术规避黑盒检测器，实验显示其在6个数据集和5个检测器上优于11种基线方法，攻击成功率达92%。

Comments Accepted to Findings of the Association for Computational Linguistics (ACL 2026). 21 pages. Code is available at: https://github.com/githigher/MASH

Self-Distilled Reinforcement Learning for Co-Evolving Agentic Recommender Systems

基于共演代理推荐系统的自我蒸馏强化学习

Zongwei Wang, Min Gao, Hongzhi Yin, Junliang Yu, Tong Chen, Quoc Viet Hung Nguyen, Shazia Sadiq, Tianrui Li

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出CoARS框架，通过交互奖励和自我蒸馏信用分配，解决传统ARs在交互性和轨迹监督方面的不足，提升推荐性能和用户对齐度。

Comments 13 pages

Continual Safety Alignment via Gradient-Based Sample Selection

通过基于梯度的样本选择实现持续的安全对齐

Thong Bach, Dung Nguyen, Thao Minh Le, Truyen Tran

机构 * Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2）） ； Deakin University（德肯大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.LG

AI总结 本文研究了通过数据视角分析导致对齐漂移的训练样本，提出基于梯度的样本选择方法，在微调过程中过滤高梯度样本，提升安全对齐保持能力，同时保持任务性能，无需人工筛选安全数据或修改架构。

Comments 18 pages

Journal ref ACL 2026 (Findings)

How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study

如何增强大推理模型的安全性：一项实证研究

Zhexin Zhang, Xian Qi Loye, Victor Shea-Jay Huang, Junxiao Yang, Qi Zhu, Shiyao Cui, Fei Mi, Lifeng Shang, Yingkang Wang, Hongning Wang, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学对话人工智能（CoAI）小组，DCST，清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 本文通过监督微调探讨如何提升大推理模型的安全性，发现直接蒸馏安全响应无效，但针对性处理危险模式可显著提升安全性，且短或模板化推理过程同样有效。

Comments ACL 2026 Main Conference