大模型对齐与安全

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

PEA-DPO：用于多模态大语言模型对齐的感知增强型直接偏好优化

Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大语言模型偏好优化存在的视觉不敏感性问题，提出PEA-DPO框架，利用视觉偏好信号缓解该问题，提升多模态对齐效果并减少幻觉。

DiverValue-Bench: A Benchmark and Fine-Tuning Framework for Aligning Large Language Models with Diverse Human Values

DiverValue-Bench：用于使大语言模型与多元人类价值观对齐的基准及微调框架

Yao Liang, Dongcheng Zhao, Feifei Zhao, Guobin Shen, Yuwei Wang, Dongqi Liang, Yi Zeng

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出覆盖74个国家/地区的人群感知基准DiverValue-Bench，发现现有LLMs存在地理与人口统计学价值观对齐差异，结合LoRA与DPO的轻量微调可提升对齐效果，为全球公平AI开发提供实用基础。

Comments 11 pages, 5 figures. Accepted to IJCAI-ECAI 2026 (Human-Centred AI Special Track). v2: Updated to the camera-ready version

Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation

为确认而提问：用于自信多轮大语言模型推荐的信息交互

Cedar Site Bai, Zhenyu Liao, Duanshun Li, Sheikh Sarwar, Huiyuan Chen, Yuan Chen, Changhe Yuan, Haiyang Zhang, Qilin Qi

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对多轮LLM推荐中有效挖掘用户偏好的挑战，提出以推荐熵降为奖励的方法微调LLM，结合SFT与DPO在INSPIRED、ReDial数据集上提升了推荐质量与对话效率。

Comments CIKM 2026

Reward-Guided Autoregressive Graph Generation for Efficient Multi-Agent Communication Topology Design

奖励引导自回归图生成的高效多智能体通信拓扑设计

Poomphob Suwannapichat, Boonyarit Changaival, Caesar Wu, Pascal Bouvry

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 针对多智能体系统通信拓扑设计中 token 消耗过高的问题，本文提出 RGA-Designer 方法，通过结合 RLHF 训练奖励模型微调图生成器，在保持任务准确率的同时降低了 token 消耗。

Comments Full version of extended abstract accepted at ICONIP 2026 (poster)

SSR-GRPO: Integrating Supervision and Semantic IDs into Reinforcement Learning for Dense Retrieval in E-commerce

SSR-GRPO：将监督与语义标识符集成到强化学习中用于电商领域的密集检索

Guangxin Song, Xing Fang, Mingmin Jin, Jing Wang, Bokang Wang, Zhentao Song, Junjie Bai, Jianbo Zhu

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)

AI总结 该研究针对电商嵌入检索的语义处理难题，提出SSR-GRPO模型，通过双视角相关性评估、难负样本挖掘等策略优化R-GRPO，经实验验证有效并已部署于大规模电商平台。

Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization

探究优化下上下文与参数化思维链忠实性之间的相互作用

Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） ； Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过提出统一偏好对齐接口FaithMate，研究上下文与参数化两种思维链忠实性范式在优化下的相互作用，发现两者正相关但不对称，且上下文忠实性指标间存在权衡。

Comments The first two authors contributed equally and share first-authorship

PersonalBench: Measuring the Authorship Gap in LLM Personalization

PersonalBench：测量大语言模型个性化中的作者差距

Yash Ganpat Sawant

机构 * Independent AI Researcher（独立人工智能研究员） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本研究推出PersonalBench基准，通过LUAR、LLM评判者、自动风格计量学评估LLM个性化方法，发现其可区分作者但未达人类水平，发布该基准为LLM个性化提供校准工具。

Comments 17 pages. Extended version

Information Geometry (IG) Lives at Edge or Boundary of SMG (statistically meaningful geometry): - the First Edge Theorem and Applications

信息几何（IG）存在于SMG（统计意义几何）的边缘或边界：第一边缘定理及其应用

Bing Cheng, Yi-Shuai Niu, Howell Tong, Shing-Tung Yau

专题命中 偏好对齐 ：alignment(abstract)

AI总结 该研究提出第一边缘定理，证明信息几何与传统统计学是统计意义几何空间的退化边界层，利用纤维丛机制解决深度学习泛化悖论等多领域问题。