大模型对齐与安全

Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

以自身声音对齐：用于减轻大型视觉-语言模型幻觉的自我纠正偏好学习

Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

机构 * Graduate School of Advanced Imaging Sciences, Multimedia and Film（高级影像科学研究生院，多媒体与电影系） ； Department of Artificial Intelligence（人工智能系） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出AVES-DPO框架，通过内在知识生成分布数据，利用共识验证机制诊断幻觉并引导模型自我纠正，有效缓解LVLMs的幻觉问题，仅需5200样本即优于现有基线。

Comments Accepted to ACL 2026

Probe-Based Data Attribution: Discovering and Mitigating Undesirable Behaviors in LLM Post-Training

基于探针的数据归因：发现并缓解LLM微调后的不良行为

Frank Xiao, Santiago Aranguri

机构 * California Institute of Technology（加利福尼亚理工学院） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于探针的数据归因方法，通过分析测试提示和偏好对的激活差异向量，识别导致特定行为的数据点，并通过重新训练验证归因。该方法在OLMo 2的生产DPO训练中发现有害行为，过滤数据点可显著减少此类行为。

Structural Enforcement of Goal Integrity in AI Agents via Separation-of-Powers Architecture

通过分权架构在AI代理中强制实施目标完整性

Rong Xiang

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出分权架构PEA，通过分离意图生成、授权和执行层，强制保障系统安全，解决AI代理目标不一致问题，提出五个核心贡献。

Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment

Meta-Aligner: 多目标大语言模型对齐的双向偏好-策略优化

Wenzhe Xu, Biao Liu, Yiyang Sun, Xin Geng, Ning Xu

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Meta-Aligner框架，通过双向优化偏好与策略响应，生成动态偏好以提升训练稳定性，实验证明其在多目标基准上的优越性能。

Pref-CTRL: Preference Driven LLM Alignment using Representation Editing

Pref-CTRL: 基于偏好的大语言模型对齐方法使用表征编辑

Imranul Ashrafi, Inigo Jauregi Unanue, Massimo Piccardi

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Pref-CTRL，一种基于偏好的训练框架，通过多目标价值函数改进偏好数据结构，优于RE-Control并在跨领域数据集上表现更佳。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Value Alignment Tax: Measuring Value Trade-offs in LLM Alignment

价值对齐税：在大语言模型对齐中测量价值权衡

Jiajun Chen, Hua Shen

机构 * Center for Data Science, NYU Shanghai（纽约大学上海分校数据科学中心） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出VAT框架，用于测量对齐干预如何影响价值系统，揭示目标值与非目标值之间的系统性权衡，通过实验数据展示对齐过程中的潜在风险。

Comments Preprint. Under review. 20 pages, 13 figures

Hindsight Preference Optimization for Financial Time Series Advisory

金融时间序列建议的 hindsight 偏好优化

Yanwei Cui, Guanghui Wang, Xing Zhang, Peiyang He, Ziyuan Li, Bing Zhu, Wei Qiu, Xusheng Wang, Zheng Yu, Anqi Xin

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc（汇丰控股有限公司） ； HSBC Technology Center China（汇丰技术中心（中国）） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过回顾性偏好优化方法，利用观测结果生成偏好对，提升语言模型在金融时间序列预测中的建议质量。

Comments Accepted at ICLR 2026 TSALM Workshop

Building a Precise Video Language with Human-AI Oversight

构建具有人机监督的精确视频语言

Zhiqiu Lin, Chancharik Mitra, Siyuan Cen, Isaac Li, Yuhan Huang, Yu Tong Tiffany Ling, Hewei Wang, Irene Pi, Shihang Zhu, Ryan Rao, George Liu, Jiaxi Li, Ruojin Li, Yili Han, Yilun Du, Deva Ramanan

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CHAI框架，通过专家与AI协作提升视频描述精度，改进开源模型并实现专业级视频生成。

Comments CVPR 2026 Highlight. Project page: https://linzhiqiu.github.io/papers/chai/

Reducing Detail Hallucinations in Long-Context Regulatory Understanding via Targeted Preference Optimization

通过定向偏好优化减少长上下文监管理解中的细节幻觉

Yang Liu, Bin Chong, Yuhan Lin, Chongyang Zhang, Hao Zheng, Ziyi Zhang, Jiayu Liang, Ran Ran, Qian Li, Kefu Xu

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；safety(abstract)

AI总结 本文提出DetailDPO框架，通过定向偏好优化减少长上下文监管文档中的细节幻觉，实验显示在不同模型和上下文长度下，DetailDPO有效降低细节错误率，跨领域迁移表现良好。

Comments 16 pages, 4 figures

Guided Speculative Inference for Efficient Test-Time Alignment of LLMs

引导推测推断用于大型语言模型的高效测试时间对齐

Jonathan Geuter, Youssef Mroueh, David Alvarez-Melis

机构 * Harvard SEAS（哈佛大学SEAS学院） ； Kempner Institute（Kempner研究所） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.LG

AI总结 本文提出引导推测推断（GSI），通过结合软最佳n次测试时间缩放、奖励模型和小型辅助模型的推测样本，提高大语言模型的奖励引导解码效率，并在多个基准测试中实现更高的准确性和更低的延迟。

Comments 41 pages, 11 figures. Published at ICLR 2026

Reward Models Are Secretly Value Functions: Temporally Coherent Reward Modeling

奖励模型实际上是隐含的价值函数：时间一致的奖励建模

Alex Nikulkov

机构 * AI at Meta（Meta人工智能） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出时间一致的奖励建模方法，通过正则化项使奖励模型在任意token位置输出代表条件期望，提升token级奖励可解释性，并在ProcessBench上取得SOTA性能，同时优化PPO的资源利用。

Comments 27 pages, 14 figures

LLM-Auction: Generative Auction towards LLM-Native Advertising

LLM-Auction: 面向LLM原生广告的生成拍卖

Chujie Zhao, Qun Hu, Shiping Song, Dagui Chen, Han Zhu, Jian Xu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（淘宝与天猫集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLM-Auction，首个基于学习的生成拍卖机制，通过整合拍卖与生成过程，优化LLM输出与机制目标的偏好对齐，实现高效分配并满足关键机制属性。

Data-efficient Targeted Token-level Preference Optimization for LLM-based Text-to-Speech

高效的目标令牌级偏好优化用于基于大语言模型的文本到语音

Rikuto Kotoge, Yuichi Sasaki

机构 * SpiralAI Inc.（SpiralAI公司） ； The University of Osaka（大阪大学） ； Shizuoka University（izuoka大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TKTO方法，通过无需配对数据实现高效训练，直接优化令牌级单位，提升日语音识别准确率39%并降低CER 54%。

Comments Accepted at ACL 2026 (Main)

Your Students Don't Use LLMs Like You Wish They Did

学生不会像你希望的那样使用LLMs

Sebastian Kobler, Matthew Clemson, Angela Sun, Jonathan K. Kummerfeld

机构 * The University of Sydney（悉尼大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.CY

AI总结 本文提出六个计算指标，用于评估学生与AI对话的教育对齐情况，发现部署环境是影响使用模式的主要因素，而非学生偏好或系统设计。

Comments To appear at ACL 2026 (Main Conference)

Generating Place-Based Compromises Between Two Points of View

在两种观点之间生成基于地点的妥协

Sumanta Bhattacharyya, Francine Chen, Scott Carter, Yan-Ying Chen, Tatiana Lau, Nayeli Suseth Bravo, Monica P. Van, Kate Sieck, Charlene C. Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出通过外部共情相似性生成基于地点的妥协方法，提升妥协的可接受性，并通过人偏好对齐训练更高效的模型。