大模型对齐与安全

Macro: Enhancing Multilingual Counterfactual Explanations through Alignment-as-Preference Optimization

Macro: 通过偏好对齐优化提升多语言反事实解释

Yilong Wang, Qianli Wang, Bohao Chu, Yihong Liu, Jing Yang, Simon Ostermann

机构 * Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； University of Duisburg-Essen（杜伊斯堡- Essen大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Saarland Informatics Campus（萨尔兰州信息学校区） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） ； Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Macro框架，通过直接偏好优化改进多语言反事实解释，提升有效性的同时保持最小性，避免翻译基线的严重最小性问题，并在多个指标上优于监督微调方法。

Comments In submission

Calibrated Surprise: An Information-Theoretic Account of Creative Quality

校准的惊喜：一种信息论视角下的创造性质量

Bo Zou, Chao Xu

机构 * Bo Zou（邹波） ； Chao Xu（徐超） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种信息论框架，用于评估创造性写作的质量，通过校准的惊喜概念，结合香农互信息理论，量化了高质量文本与降质文本之间的差异。

Comments 28 pages, 3 figures

Better Literary Translation: A Multi-Aspect Data Generation and LLM Training Approach

更好的文学翻译：多维度数据生成与大语言模型训练方法

Zhihao Lin, Ziqi Zhu, Hao Huang, Guanghui Wang, Peiyang He

机构 * Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出多维度迭代优化框架，通过专门的大语言模型生成高质量翻译参考和偏好数据，结合监督微调和强化学习（GRPO）提升文学翻译质量，在MetaphorTrans英中文学翻译基准上达到与Claude Sonnet 4.5竞争的性能。

Comments Accepted by ACL 2026 Industry

When AI Says It Feels

当AI说它感觉

Shin-nosuke Ishikawa, Seiya Ikeda, Hirotsugu Ohba

机构 * Graduate School of Artificial Intelligence and Science, Rikkyo University（立命馆大学人工智能与科学研究生院） ； AI Technical Sector, Mamezo Co., Ltd.（Mamezo公司人工智能技术部门） ； AI Consulting Division, Mamezo Co., Ltd.（Mamezo公司人工智能咨询部门） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 通过自奖励强化学习（GRPO）鼓励大语言模型表达情感、意图和自我意识，并评估其对多种任务性能的影响。

Comments 15 pages, 2 figures