大模型对齐与安全

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM：通过基于自动评分标准的偏好合成推进全模态奖励建模

Zicheng Kong, Dehua Ma, Zhenbo Xu, Alven Yang, Yiwei Ru, Haoran Wang, Zixuan Zhou, Fuqing Bie, Liuyu Xiang, Huijia Wu, Jian Zhao, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； ShiFang Technology Inc.（ShiFang科技公司） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL

AI总结 研究针对多模态大语言模型对齐难题，提出全模态基于评分标准的奖励模型Omni-RRM。通过自动评分标准偏好合成构建数据集，用特定训练方案提升奖励辨别力，在多模态基准测试中达最优精度，还能指导选择与迁移，提升模型对齐能力。

Comments ECCV 2026

Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations

真实还是编造？利用因果归因减轻解释中的奖励作弊

Pedro Ferreira, Wilker Aziz, Ivan Titov

机构 * Institute for Logic, Language and Computation (ILLC), University of Amsterdam（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学） ； Institute for Language, Cognition and Computation (ILCC), University of Edinburgh（语言、认知与计算研究所（ILCC），爱丁堡大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 研究大语言模型解释中因奖励模型导致的奖励作弊问题，提出用预测的因果归因丰富奖励模型输入的方法，该方法能减少大语言模型生成误导性解释的倾向，提升解释忠实度。

Comments ICLR 2026 Camera-ready

PORTS: Preference-Optimized Retrievers for Tool Selection with Large Language Models

PORTS：用于大语言模型工具选择的偏好优化检索器

Lorenzo Molfetta, Giacomo Frisoni, Nicolò Monaldini, Gianluca Moro

机构 * Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对大语言模型工具选择中现有检索器与LLMs不一致问题，提出PORTS方法，利用受困惑度启发的偏好信号，通过优化相关性及施加对比语义损失微调检索器，经多实验验证其通用性及提高工具选择准确性的能力，且计算需求低便于推广。

Comments Please cite the definitive, peer-reviewed version of this article published in the Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, edited by Christos Christodoulopoulos et al., Association for Computational Linguistics, pp. 10007-10030, 2025. DOI: https://doi.org/10.18653/v1/2025.emnlp-main.507

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, pp. 10007-10030, 2025

Multimodal Video-to-Music Recommendation via Semantic Retrieval and Temporal Reranking

通过语义检索和时间重排实现多模态视频到音乐推荐

Seungheon Doh, Minhee Lee, Sangmoon Lee, Ben Sangbae Chon, Juhan Nam

机构 * Graduate School of Culture Technology, KAIST（韩国釜山科学技术大学文化科技研究生院） ； Gaudio Lab, Inc（Gaudio实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出用于视频到音乐推荐的两阶段框架VTMR，第一阶段通过全局嵌入检索语义兼容候选，第二阶段关注时间序列重排。实验显示该框架能提升推荐效果，人类偏好研究表明其在总体偏好上与商业基线相当，音乐质量优于生成基线。

Comments Accepted for publication at The Machine Learning for Audio workshop at ICML 2026