大模型对齐与安全

Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning

生成对抗推理器：通过对抗性强化学习增强大语言模型推理

Qihao Liu, Luoxin Ye, Wufei Ma, Yu-Cheng Chou, Alan Yuille

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出生成对抗推理器，通过对抗性强化学习联合训练LLM推理器和判别器，提升推理质量与准确性。

Comments Camera-ready version

PrefPO: Pairwise Preference Prompt Optimization

PrefPO：基于配对偏好的提示优化

Rahul Singhal, Pradyumna Tambwekar, Karime Maamari

机构 * Distyl AI 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL

AI总结 PrefPO通过强化学习反馈机制优化提示，无需标注数据即可提升模型性能，在多个基准测试中表现优异，同时改善提示质量并减少提示黑客问题。

Comments Code and data available at https://github.com/DistylAI/prefpo and https://huggingface.co/datasets/rahul-singhal/IFEval-Hard

Vision-Language Models vs Human: Perceptual Image Quality Assessment

视觉-语言模型与人类：感知图像质量评估

Imran Mehmood, Imad Ali Shah, Ming Ronnier Luo, Brian Deegan

机构 * School of Engineering, University of Galway（Galway大学工程学院） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光信息获取国家重点实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文研究视觉语言模型是否能近似人类对图像质量的感知判断，通过对比心理物理数据，发现模型在颜色丰富度上表现优异，但在对比度上表现较差，且模型一致性与人类对齐性存在矛盾。

RefReward-SR: LR-Conditioned Reward Modeling for Preference-Aligned Super-Resolution

RefReward-SR: 基于低分辨率参考的偏好对齐超分辨率奖励建模

Yushuai Song, Weize Quan, Weining Wang, Jiahui Sun, Jing Liu, Meng Li, Pengbin Yu, Zhentao Chen, Wei Shen, Lunxi Yuan, Dong-ming Yan

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； OPPO AI Center, OPPO Inc.（OPPO人工智能中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出RefReward-SR，通过低分辨率参考意识奖励模型实现偏好对齐的超分辨率，利用多模态大语言模型评估语义一致性，构建首个大规模低分辨率条件偏好数据集，实验表明其在人类判断对齐方面表现更优。