大模型对齐与安全

A Descriptive and Normative Theory of Human Beliefs in RLHF

基于人类反馈强化学习中的人类信念描述性与规范性理论

Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

机构 * College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校） ； Department of Computer Science The University of Texas at Austin（计算机科学系 德州大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：RLHF(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 研究 RLHF 中人类信念作用，提出新偏好模型，通过人类和综合实验，证实人类对智能体能力信念影响偏好，指出减少信念与能力不匹配可提升 RLHF 并给出新实践方向。

Comments Published at TMLR

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

HiPO：用于大语言模型自适应推理的分层偏好优化

Darsh Kachroo, Arjun Prasaath Anbazhagan, Adriana Caraeni, Brennan Lagasse, Kevin Zhu

机构 * Vellore Institute of Technology（维洛雷理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Northwestern University（西北大学） ； Yale University（耶鲁大学） ； Algoverse AI Research（Algoverse AI研究） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 HiPO通过分层优化提升大语言模型在复杂推理任务中的表现，结合偏好优化与结构化推理的优势，实现更高效的训练和更一致的输出。

Comments 12 pages, 4 figures, 6 tables. Includes ablation study across Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct on 5 math reasoning benchmarks (GSM8K, MATH500, Minerva, AIME24, Gaokao2023). GPT-4.1 used for structured evaluation of reasoning quality

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

超越时间偏移：将全能语言模型（Omni-LLM）适配为生成式视听模型的无参考评估器

Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（易路泰克科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 研究针对视听生成模型跨模态同步评估难题，提出框架解决人类与自动化评估指标的矛盾。通过引入数据集、适配模型及提出优化方法，实现先进的人类偏好对齐，建立标准化基准推动评估从信号相关性到因果关系发展。

Comments Accepted to ECCV 2026