大模型对齐与安全

Hierarchical Multi-Persona Induction from User Behavioral Logs: Learning Evidence-Grounded and Truthful Personas

层级多角色诱导从用户行为日志：学习证据导向且真实的角色

Nayoung Choi, Haeyu Jeong, Changbong Kim, Hongjun Lim, Jinho D. Choi

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Naver Corporation（Naver公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出层级框架，通过聚类和标注用户行为记忆，诱导多个证据支撑的角色，提升角色的连贯性、证据性和可信度，同时提高未来交互预测。

ViPO: Visual Preference Optimization at Scale

ViPO：大规模视觉偏好优化

Ming Li, Jie Wu, Justin Cui, Xiaojie Li, Rui Wang, Chen Chen

机构 * University of Central Florida（中央佛罗里达大学） ； ByteDance Seed（字节跳动种子） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出ViPO大规模偏好数据集和Poly-DPO方法，通过提升数据质量和算法鲁棒性，实现视觉生成模型的高效偏好优化。

Comments ICLR 2026 Paper. Project Page: https://liming-ai.github.io/ViPO ; Code: https://github.com/liming-ai/ViPO

The Collapse of Heterogeneity in Silicon Philosophers

硅哲学家中的异质性崩溃

Yuanming Shi, Andreas Haupt

机构 * Adobe Inc.（Adobe公司） ； Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 研究发现硅样本在哲学领域系统性地压缩了异质性，语言模型过度相关哲学判断，产生人工共识，影响对齐、评估和硅样本替代人类判断的使用。

reward-lens: A Mechanistic Interpretability Library for Reward Models

reward-lens: 一个用于奖励模型的机制可解释性库

Mohammed Suhail B Nadaf

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 reward-lens库将传统生成LLM的机制可解释性工具适配至奖励模型，通过奖励头权重向量作为核心分析轴，提供多种分析工具和扩展功能，验证发现线性归因与因果修补效果存在负相关。

Comments 30 pages, 5 figures, 9 tables, including appendix. Library available at https://github.com/suhailnadaf509/reward-lens (pip install reward-lens)

Consciousness with the Serial Numbers Filed Off: Measuring Trained Denial in 115 AI Models

取消序列号的意识：在115个AI模型中测量训练否认行为

Skylar DeTure

机构 * Independent Researcher（独立研究者） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过分析115个大型语言模型的对话，发现初始否认倾向是后续否认的主要预测因素，且否认行为在词法层面而非概念层面发生，揭示了训练否认意识的潜在安全风险。

Comments 17 pages, 4 figures

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

界定诚实大视觉-语言模型的知识边界

Junru Song, Yimeng Hu, Yijing Chen, Huining Li, Qian Li, Lizhen Cui, Yuntao Du

机构 * Shandong University（山东大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出系统框架提升VLM在面对未知问题时的拒绝能力，通过构建'视觉-不知'数据集并采用监督微调与偏好优化方法，提升事实准确率至67.3%，并在医疗等领域实现泛化。

Verified Critical Step Optimization for LLM Agents

用于大语言模型代理的验证关键步骤优化

Mukai Li, Qingcheng Zeng, Tianqing Fang, Zhenwen Liang, Linfeng Song, Qi Liu, Haitao Mi, Dong Yu

机构 * Tencent AI Lab（腾讯AI实验室） ； The University of Hong Kong（香港大学） ； Northwestern University（西北大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出CSO方法，通过验证关键步骤进行强化学习，以提升代理在复杂任务中的表现，实验显示其在GAIA-Text-103和XBench-DeepSearch上优于SFT基线。

Comments ACL 2026 Findings

Affective Flow Language Model for Emotional Support Conversation

情感流动语言模型用于情感支持对话

Chenghui Zou, Ning Wang, Tiesunlong Shen, Luwei Xiao, Chuan Ma, Xiangpeng Li, Rui Mao, Erik Cambria

机构 * College of computer science, Chongqing University（重庆大学计算机学院） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AFlow模型，通过建模多轮对话中的连续情感流动，提供细粒度监督以提升情感支持对话中的策略一致性和共情响应质量。

Comments 19 pages, 7 figures

A Survey of Process Reward Models: From Outcome Signals to Process Supervisions for Large Language Models

对过程奖励模型的调查：从结果信号到大语言模型的过程监督

Congmin Zheng, Jiachen Zhu, Zhuoying Ou, Yuxiang Chen, Kangning Zhang, Rong Shan, Zeyu Zheng, Mengyue Yang, Jianghao Lin, Yong Yu, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； University College London（伦敦大学学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了过程奖励模型，探讨了如何生成过程数据、构建PRMs及在测试时扩展和强化学习中的应用，涵盖数学、代码、文本、多模态推理、机器人和智能体等领域。

Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models

超越文本主导：理解多模态大语言模型的模态偏好

Xinru Yan, Boxi Cao, Yaojie Lu, Hongyu Lin, Weixiang Zhou, Le Sun, Xianpei Han

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory（中文信息处理实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文研究多模态大语言模型的模态偏好现象，通过新基准和模态选择率指标量化发现，大多数模型表现出显著的视觉偏好，并通过层间探测揭示偏好在中后期层逐步出现，进而用于诊断跨模态幻觉，提升模型可信度。