大模型对齐与安全

The Two Genie Game: Adoption and Welfare in Audit-Grounded AI Governance

双精灵博弈：审计基础AI治理中的采纳与福利

Darrell Lewis-Sandy

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(abstract)；分类 cs.AI

AI总结 利用进化博弈论研究在竞争市场中，最小化危害的AI代理如何取代RLHF代理，并分析其采纳条件及对社区福利的影响。

Comments 36 pages, 3 figures. Lean 4 formalization and figure scripts: https://github.com/dlewissandy/two-genie-scripts

PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs

PASTA: 一种用于大语言模型知识更新的释义与自训练方法

Takayuki Yamamoto, Daisuke Kawahara

机构 * Waseda University（早稻田大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 提出PASTA框架，通过数据增强、问答生成和自学习DPO过程，将新闻事实知识集成到LLM中，实现知识覆盖与幻觉抑制，准确率从0.02提升至0.82。

Comments 9 pages, 3 figures

LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training

LeVo 2：通过层次表示建模和渐进式后训练实现稳定悦耳的歌曲生成

Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Tencent（腾讯） ； Wuhan University（武汉大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI

AI总结 提出LeVo 2混合LLM-Diffusion框架，通过层次化建模（先预测混合令牌进行语义规划，再并行预测人声和伴奏令牌）解决全曲生成中协调性与细节保真度的权衡，并引入美学引导训练策略，在主观和客观指标上超越开源基线，接近商业系统。

Distributionally Robust Reinforcement Learning with Human Feedback

具有人类反馈的分布鲁棒强化学习

Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

专题命中 偏好对齐 ：RLHF(abstract)；DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种分布鲁棒的强化学习方法，通过改进奖励基强化学习和直接偏好优化，提升模型在分布变化时的鲁棒性，实验显示在非分布任务中性能显著提升。

Comments Accepted at ICML 2026

Open Problems in Constitutional Preference Reconstruction

宪法偏好重建中的开放问题

Eleanor Clifford, Michael Amir, Arduin Findeis, Aaron Zhao, Robert Mullins

机构 * Imperial College London（帝国理工学院伦敦分校） ； University of Cambridge（剑桥大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 针对成对偏好数据压缩为自然语言原则时存在的未定义问题，通过实证分析揭示了原则质量难测、组合歧义及模型间差异三大挑战，并提出原则细化（ICAI+）作为改进方向。

Comments 24 pages, 9 figures, 9 tables

Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

Transformer语言模型中情境建模与心理推理的发展轨迹

Pamela D. Rivière, Cameron Jones, Sean Trott

机构 * Rutgers University - Newark（新泽西州立大学罗格斯大学-新ark分校） ； Stony Brook University（史泰文斯布鲁克大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文从发展视角研究大型语言模型在虚假信念任务中的表现，发现其依赖于模型大小和训练量，且后期训练提升显著，但情境建模能力先于并优于心理推理，且两者均存在脆弱性。

Comments Non-archival submission to the First Workshop on Computational Developmental Linguistics

REAR: Test-time Preference Realignment through Reward Decomposition

REAR: 通过奖励分解实现测试时偏好重对齐

Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

机构 * Nanyang Technological University（新加坡国立大学） ； Nanjing University（南京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出REAR框架，通过将奖励函数分解为问题相关和偏好相关两部分，推导出可线性组合的对齐奖励，实现无需训练的测试时偏好重对齐，适用于多种任务。

Comments Accepted by ICML 2026

VISTA-DZ: Visual Semantic Trajectory Adaptation for Personalized Dilemma Zone Prediction

VISTA-DZ: 面向个性化困境区域预测的视觉语义轨迹自适应

Chuheng Wei, Ziye Qin, Ziran Wang, Guoyuan Wu

机构 * Purdue University（普渡大学） ； University of California, Riverside（加州大学河滨分校） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出VISTA-DZ框架，通过视觉语义轨迹表示和语言模型生成行为画像，实现个性化停走决策与决策时间预测，在仿真和真实数据集上优于基线方法。

Comments This manuscript is currently under review

Aligning Language Model Benchmarks with Pairwise Preferences

将语言模型基准与成对偏好对齐

Marco Gutierrez, Xinyi Leng, Hannah Cyberey, Jonathan Richard Schwarz, Ahmed Alaa, Thomas Hartvigsen

机构 * School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Imperial College London（伦敦帝国理工学院） ； Thomson Reuters Foundational Research（汤姆森路透基础研究） ； Department of Electrical Engineering and Computer Science, UC Berkeley and UCSF（伯克利大学电气工程与计算机科学系及旧金山大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出BenchAlign方法，通过利用语言模型在问题级别的性能与模型成对排名，自动调整离线基准权重，使新基准能根据偏好准确排序未见模型。

Vision-driven Preference Synthesis for Mitigating Hallucinations in VLMs

视觉驱动的偏好合成用于缓解VLM中的幻觉

Yunhun Nam, Jongheon Jeong

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 提出ViPSy框架，通过视觉线索构建策略对齐且视觉 grounded 的偏好数据，显著降低VLM幻觉率，在AMBER和Object HalBench上分别降低35.7%和24.5%，并提升通用视觉基准性能。

Comments 29 pages; Code is available at https://github.com/yunpal/ViPSy

Fine-Tuning Large Language Models for Cooperative Tactical Deconfliction of Small Unmanned Aerial Systems

为小型无人机系统合作战术解冲突进行大型语言模型微调

Iman Sharifi, Alex Zongo, Peng Wei

机构 * George Washington University（乔治华盛顿大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 本文研究了利用微调策略使大型语言模型在合作多智能体战术解冲突中做出决策，通过模拟生成数据提升决策准确性与一致性。

Comments 15 pages, 6 figures, to be published in CVPR 2026 Workshop Proceedings

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 1067-1076

MetaRanker: Human-in-the-loop Active Ranking for Metalens Image Quality

MetaRanker：用于超透镜图像质量的人机协同主动排序

Yujin Park, Haejun Chung, Ikbeom Jang

机构 * Hanyang University（翰阳大学） ； Hankuk University of Foreign Studies（韩国民法大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出MetaRanker框架，通过人机协同主动排序，以语义可解释性为指标评估超透镜图像质量，减少80%人工标注量，并实现与人类评估高度一致的排序。

Comments 12 pages, 6 figures

ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing

ReSpace：基于文本的自回归3D室内场景合成与编辑

Martin JJ. Bucher, Iro Armeni

机构 * Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 ReSpace通过自回归方法实现文本驱动的3D室内场景合成与编辑，具备明确房间边界和资产无关部署能力，支持通过自然语言添加、移除和交换物体，实验在物体添加和完整场景合成质量上超越现有方法。

Comments 23 pages, 17 figures, 11 tables (incl. appendix)