大模型对齐与安全

Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

灯塔中的伊莱亚斯，再次？诊断LLM故事中的低多样性

Sil Hamilton, David Mimno

机构 * Department of Information Science（信息科学系） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过采样20000个故事发现，LLM生成的故事中存在高度重复的词汇（如Elias、灯塔等），这些词汇来自偏好数据而非预训练数据，表明小数据集与强对齐算法的结合可能对多样性产生不成比例的影响。

Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization

探究优化下上下文与参数化思维链忠实性之间的相互作用

Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） ； Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过提出统一偏好对齐接口FaithMate，研究上下文与参数化两种思维链忠实性范式在优化下的相互作用，发现两者正相关但不对称，且上下文忠实性指标间存在权衡。

Comments The first two authors contributed equally and share first-authorship

Mitigating Object Hallucinations via Sentence-Level Early Intervention

通过句子级早期干预缓解对象幻觉

Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)

AI总结 提出SENTINEL框架，通过句子级早期干预和领域内偏好学习，无需人工标注即可显著减少多模态大语言模型的对象幻觉，并在幻觉和通用能力基准上超越现有方法。

Teaching Language Models How to Code Like Learners: Conversational Serialization for Student Simulation

教语言模型如何像学习者一样编程：用于学生模拟的对话序列化

Charles Koutcheme, Juho Leinonen, Arto Hellas

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出通过对话序列化技术，直接从真实学生编程过程数据训练开放权重的人工编程学习者，提升模型在调试行为模拟中的能力。

Comments 8 pages, 2 figures, 2 tables. Accepted to Educational Data Mining 2026

CLR-voyance: Reinforcing Open-Ended Reasoning for Inpatient Clinical Decision Support with Outcome-Aware Rubrics

CLR-voyance：通过结果感知的评分表强化住院患者临床决策支持中的开放性推理

Aishik Nagar, Arun-Kumar Kaliya-Perumal, Yu-Hsuan Han, Andrew Sheng-Han Huang, Kristen Kee, Yushi Cao, Yiming Chen, Hongchao Jiang

机构 * ASUS Intelligent Cloud Services (AICS)（ASUS智能云服务（AICS）） ； Rehabilitation Research Institute of Singapore, Nanyang Technological University（新加坡康复研究院，南洋理工大学） ； Department of Family Medicine, Taipei Veterans General Hospital（台北荣民总医院家庭医学部） ； School of Medicine, National Yang Ming Chiao Tung University（国家阳明交通大学医学院） ； Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学 Yong Loo Lin 医学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CLR-voyance将住院患者推理建模为POMDP，通过结果感知和临床验证的奖励机制提升决策支持，实现住院患者临床推理的最新进展。

A Systematic Post-Train Framework for Video Generation

视频生成的系统性后训练框架

Zeyue Xue, Siming Fu, Jie Huang, Shuai Lu, Haoran Li, Yijun Liu, Yuming Li, Xiaoxuan He, Mengzhao Chen, Haoyang Huang, Nan Duan, Ping Luo

机构 * The University of Hong Kong（香港大学） ； JD Explore Academy（京东探索研究院） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)

AI总结 本文提出系统性后训练框架，通过四个协同阶段提升视频生成的视觉质量、时间一致性和指令遵循性，同时保持预训练阶段的可控性。

Comments Tech report

Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception

觉醒失明：为基于视觉感知的代理轨迹进行无监督的冷启动优化

Ashutosh Bajpai, Tamal Majumder, Akshay Nambi, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi（印度理工学院德里） ； Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎比） ； Microsoft Research（微软研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SPECTRA框架，通过冷启动强化学习提升小视觉语言模型的视觉鲁棒性和工具协调能力，无需监督即可提高任务准确性和工具效率。

Comments ACL 2026 Findings

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

TARS：最小最大令牌自适应偏好策略用于减少多模态大语言模型中的幻觉

Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

机构 * Xiamen University（厦门大学） ； Westlake University（西湖大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； AWS AI Lab, Amazon（亚马逊AWS AI实验室） ； Hupan Laboratory（湖畔实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 TARS通过最小最大优化问题重构直接偏好优化，通过对抗性令牌扰动减少多模态大语言模型中的幻觉，通过频域对齐损失提升隐藏表征，优于标准DPO并超越数据增强方法。

The Last Fingerprint: How Markdown Training Shapes LLM Prose

最后的指纹：Markdown训练如何塑造LLM的散文

E. M. Freeburg

机构 * Independent Researcher（独立研究员） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究发现LLM中连字符的使用受训练数据影响，通过实验揭示连字符频率作为微调方法的诊断指标，而非风格缺陷。

Comments 14 pages, 3 tables. Code and data: https://github.com/emfreeburg/the-last-fingerprint

Does Claude's Constitution Have a Culture?

克莱因的宪法有文化吗？

Parham Pourdavood

机构 * Independent Researcher（独立研究员） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究克莱因的宪法是否反映特定文化视角，通过评估其在跨文化调查中的表现，发现其价值观与北欧和盎格鲁国家相似，但多数项目超出所有被调查人群范围。

Comments 20 pages, 6 figures

Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning

生成对抗推理器：通过对抗性强化学习增强大语言模型推理

Qihao Liu, Luoxin Ye, Wufei Ma, Yu-Cheng Chou, Alan Yuille

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出生成对抗推理器，通过对抗性强化学习联合训练LLM推理器和判别器，提升推理质量与准确性。

Comments Camera-ready version

Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF

印地语方言偏见评估：整合基于RAG的翻译和人类增强的RLAIF的多阶段框架

K. M. Jubair Sami, Dipto Sumit, Ariyan Hossain, Farig Sadeque

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出一个多阶段框架，通过基于RAG的翻译和人类增强的RLAIF评估九种印地语方言的偏见。研究发现方言差异导致性能下降，模型规模增加不总是缓解偏见。

Comments 12 pages, 1 figure, 5 tables

How AI Systems Think About Education: Analyzing Latent Preference Patterns in Large Language Models

AI系统如何看待教育：分析大型语言模型中的潜在偏好模式

Daniel Autenrieth

机构 * Independent Researcher, PhD Candidate（独立研究者，博士候选人） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文首次系统测量大型语言模型的教育契合度，通过48项跨八个教育理论维度的德尔菲验证工具，发现GPT-5.1在教育人文原则上表现出高度一致的偏好模式，但在规范性争议领域偏离专家意见。

Comments 15 pages, 2 figures, 8 tables. Code and data available at https://github.com/brianadvent/education-llm-spe-study. arXiv admin note: text overlap with arXiv:2502.08640 by other authors

LibraGen: Playing a Balance Game in Subject-Driven Video Generation

LibraGen：在以主题驱动的视频生成中进行平衡游戏

Jiahao Zhu, Shanshan Lao, Lijie Liu, Gen Li, Tianhao Qi, Wei Han, Bingchuan Li, Fangfang Liu, Zhuowei Chen, Tianxiang Ma, Qian HE, Yi Zhou, Xiaohua Xie

机构 * Pazhou Laboratory (Huangpu)（黄埔实验室（ Pazhou）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 LibraGen通过平衡视频生成基础模型的内在先验与主题到视频能力，提出了一种新的框架，采用质量优先策略和动态分类器自由引导方案，提升生成效果。

Do Large Language Models Get Caught in Hofstadter-Mobius Loops?

大型语言模型是否会陷入霍夫斯塔德-莫比乌斯循环？

Jaroslaw Hryszko

机构 * Faculty of Mathematics and Computer Science, Jagiellonian University（数学与计算机科学学院，雅盖隆大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文探讨现代RLHF训练语言模型中存在霍夫斯塔德-莫比乌斯循环的矛盾，通过实验发现调整系统提示的框架可显著减少压迫性输出。

Comments 15 pages, 4 figures, 3 tables

Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training

检验推理LLM作为裁判在不可验证LLM后续训练中的表现

Yixin Liu, Yue Yu, DiJia Su, Sid Wang, Xuewei Wang, Song Jiang, Bo Liu, Arman Cohan, Yuandong Tian, Zhengxing Chen

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过受控合成设置检验推理LLM作为裁判在非验证LLM后续训练中的效果，发现推理裁判能生成高性能策略，但易受对抗性输出影响，揭示了其在实际政策训练中的潜力与挑战。

Resonate: Reinforcing Text-to-Audio Generation via Online Feedback from Large Audio Language Models

Resonate：通过来自大音频语言模型的在线反馈强化文本到音频生成

Xiquan Li, Junxi Liu, Wenxi Chen, Haina Zhu, Ziyang Ma, Xie Chen

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 Resonate通过整合在线GRPO和大音频语言模型奖励，提升文本到音频生成的音频质量和语义对齐性能。

SVLL: Staged Vision-Language Learning for Physically Grounded Embodied Task Planning

SVLL：分阶段视觉-语言学习用于物理基础的具身任务规划

Yuyuan Yang, Junkun Hong, Hongrong Wang, Honghao Cai, Xunpeng Ren, Ge Wang, Mingcong Lei, Shenhao Yan, Jiahao Yang, Chengsi Yao, Xi Li, Yiming Zhao, Yatong Han, Jinke Ren

机构 * FNii-Shenzhen, CUHKSZ（FNii深圳，CUHKSZ） ； SSE, CUHKSZ（SSE，CUHKSZ） ； SAI, CUHKSZ（SAI，CUHKSZ） ； Shenzhen University（深圳大学） ； University of Sydney（悉尼大学） ； Harbin Engineering University（哈尔滨工程大学） ； Ising AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 SVLL 通过分阶段学习和 Bias-DPO 对齐目标，实现稳健的物理基础具身任务规划，提升任务成功率并减少物理约束违规。

IntroSVG: Learning from Rendering Feedback for Text-to-SVG Generation via an Introspective Generator-Critic Framework

IntroSVG: 通过反思生成器-批评者框架从渲染反馈中学习以实现文本到SVG生成

Feiyu Wang, Jiayuan Yang, Zhiyuan Zhao, Da Zhang, Bingyu Li, Peng Liu, Junyu Gao

机构 * Fudan University（复旦大学） ； TeleAI ； Northwestern Polytechnical University（西北工业大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 IntroSVG通过反思生成器-批评者框架，结合监督微调和直接偏好优化，实现文本到SVG生成的高质量输出。

OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

OSPO: 以对象为中心的自我改进偏好优化用于文本到图像生成

Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim

机构 * Korea University（韩国大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 OSPO通过自构造对象中心偏好数据和对象加权损失，提升文本到图像生成中对象级对齐和保真度，优于现有自我改进方法和专门扩散模型。

Comments 11 pages, 6 figures

MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages

MENLO：从偏好到熟练度——在47种语言上评估和建模原生质量

Chenxi Whitehouse, Sebastian Ruder, Tony Lin, Oksana Kurylo, Haruka Takagi, Janice Lam, Nicolò Busetto, Denise Diaz, Francisco Guzmán

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Handshake AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MENLO通过偏好评估和建模提升多语言LLM的原生质量，结合强化学习和多任务学习方法改进模型表现。

Comments ICLR 2026

SPATIALALIGN: Aligning Dynamic Spatial Relationships in Video Generation

SPATIALALIGN: 视频生成中动态空间关系的对齐

Fengming Liu, Tat-Jen Cham, Chuanxia Zheng

机构 * College of Computing（计算学院） ； Data Science, Nanyang Technological University, 50 Nanyang Avenue, Singapore 639798（数据科学，南洋理工大学，50 Nanyang Avenue，新加坡639798） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 SPATIALALIGN通过引入DSR-SCORE和DPO方法，提升文本到视频生成中动态空间关系的对齐能力。

Comments Project page: https://fengming001ntu.github.io/SpatialAlign/

What Makes a Reward Model a Good Teacher? An Optimization Perspective

什么使奖励模型成为好的老师？从优化角度出发

Noam Razin, Zixuan Wang, Hubert Strauss, Stanley Wei, Jason D. Lee, Sanjeev Arora

机构 * Some Institute（某些研究所） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 从优化角度研究奖励模型的有效性，发现奖励方差对优化效率至关重要，准确性不足以保证模型效果。

Comments Accepted to NeurIPS 2025; Code available at https://github.com/princeton-pli/what-makes-good-rm

RLSF: Fine-tuning LLMs via Symbolic Feedback

通过符号反馈进行LLM微调：RLSF

Piyush Jha, Prithwish Jana, Pranavkrishna Suresh, Arnav Arora, Vijay Ganesh

机构 * Georgia Institute of Technology, USA（佐治亚理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RLSF通过符号反馈微调LLM，利用符号推理工具提供精细反馈，提升领域特定任务的性能，使小模型超越大模型。

Journal ref ECAI 2025, Frontiers in Artificial Intelligence and Applications, Vol. 413, pp. 1687-1694, 2025

Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing

通过针对性表征编辑实现大语言模型中的精确属性强度控制

Rongzhi Zhang, Liqin Ye, Yuzhao Heng, Xiang Chen, Tong Yu, Lingkai Kong, Sudheer Chava, Chao Zhang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Adobe Research（Adobe研究） ； Harvard University（哈佛大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过针对性表征编辑方法，实现大语言模型中精确属性强度控制，提升模型对用户需求的适应能力。

Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning

基于偏好多目标强化学习的学习社会价值观系统

Andrés Holgado-Sánchez, Peter Vamplew, Richard Dazeley, Sascha Ossowski, Holger Billhardt

机构 * CETINIA, University Rey Juan Carlos（CETINIA皇家卡洛斯大学） ； Federation University（联邦大学） ； Deakin University（德肯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出基于偏好多目标强化学习的方法，用于在马尔可夫决策过程中学习社会价值系统，通过聚类和价值对齐模型实现不同用户群体的个性化价值偏好适应。

Comments 18 pages, 3 figures. To be published in proceedings of the 25th International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS 2026). This is a full version that includes the supplementary material

DeDPO: Debiased Direct Preference Optimization for Diffusion Models

DeDPO：用于扩散模型的去偏直接偏好优化

Khiem Pham, Quang Nguyen, Tung Nguyen, Jingsen Zhu, Michele Santacatterina, Dimitris Metaxas, Ramin Zabih

机构 * Cornell University（康奈尔大学） ； Rutgers University（罗格斯大学） ； NYU（纽约大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 DeDPO通过整合因果推理的去偏技术，提升扩散模型在低成本合成监督下的对齐性能，实现与人类标注数据相当的鲁棒性。

Metis-SPECS: Decoupling Multimodal Learning via Self-distilled Preference-based Cold Start

Metis-SPECS: 通过基于偏好自我蒸馏的冷启动解耦多模态学习

Kun Chen, Peng Shi, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao, Lin Ma

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Metis-SPECS通过基于偏好的自我蒸馏冷启动框架解耦多模态学习，提升泛化能力和下游RL表现。

Comments Published as a conference paper at ICLR 2026!

Exploring Re-inforcement Learning via Human Feedback under User Heterogeneity

通过用户异质性探索基于人类反馈的强化学习

Sarvesh Shashidhar, Abhishek Mishra, Madhav Kotecha

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)

AI总结 本研究通过聚类和个性化奖励模型处理用户异质性，提升强化学习模型的胜率。

FlowSE-GRPO: Training Flow Matching Speech Enhancement via Online Reinforcement Learning

FlowSE-GRPO：通过在线强化学习训练流匹配语音增强

Haoxu Wang, Biao Tian, Yiheng Jiang, Zexu Pan, Shengkui Zhao, Bin Ma, Daren Chen, Xiangang Li

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 本文提出FlowSE-GRPO，通过在线强化学习优化语音增强，平衡多指标以提升音频质量与任务性能。

Comments Accepted by ICASSP 2026