Emo-DPO: Controllable Emotional Speech Synthesis through Direct Preference Optimization
专题命中 偏好对齐 ：DPO(title,abstract)
Comments 5 pages
AI 大模型
大模型对齐与安全
大模型对齐、安全、越狱、红队、提示注入和可信评测。
1. 偏好对齐 3235 篇
CLIP-DPO: Vision-Language Models as a Source of Preference for Fixing Hallucinations in LVLMs
专题命中 偏好对齐 ：DPO(title,abstract)
Comments Accepted at ECCV 2024
MoDiPO: text-to-motion alignment via AI-feedback-driven Direct Preference Optimization
专题命中 偏好对齐 ：alignment(title)；DPO(abstract)
LIMA: Less Is More for Alignment
专题命中 偏好对齐 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG
Shape Your Feed: An LLM-based Agentic System for Conversational Recommendation
塑造你的信息流：一种基于大语言模型的智能体对话推荐系统
机构 * Meta Platforms（元平台公司）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 本文提出基于LLM的智能体推荐框架SYF，采用三层架构实现实时多模态内容协同策划，经离线评估与在线A/B实验验证，可提升信息流相关性与用户情感，为工业场景提供交互式推荐方案。
Comments Accepted in RecSys 2026 Industrial Track
NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning
NormGuard: 流匹配强化学习中保持奖励的范数约束
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Kuaishou Technology（快手科技） ； University of Chinese Academy of Sciences（中国科学院大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG
AI总结 针对流生成器强化学习后训练中感知质量下降的问题，提出NormGuard方法，通过铰链惩罚约束速度范数，在保持奖励的同时提升图像质量和真实性。
Comments v5: Fixed PDF rendering compatibility issue affecting Apple PDFKit (macOS Preview/iOS PDF viewer). No changes to technical content compared to v4
Reinforcement Learning from Human Feedback
基于人类反馈的强化学习
机构 * Nathan Lambert（纳瑟恩·拉姆伯特）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG
AI总结 本书系统介绍强化学习从人类反馈的核心方法，涵盖指令微调、奖励模型训练及拒绝采样等关键技术，探讨合成数据与评估中的前沿问题。
Comments 239 pages. Web-native version at https://rlhfbook.com/ Continually improving, latest version at website
TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation
TAB-PO：面向Token关键结构化生成的具有Token级自适应障碍的偏好优化
机构 * Yale University（耶鲁大学） ； Texas State University（德克萨斯州立大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL
AI总结 针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题，提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法，在SciERC任务上显著提升关键指标。
Learning Latent Reasoning Traces for Scalar Reward Models End-to-End
学习标量奖励模型的端到端潜在推理轨迹
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL
AI总结 针对奖励模型范式不匹配问题，提出LatentRM框架，将推理轨迹作为潜在变量端到端优化，在多任务上优于各类基准奖励模型。
ConnectED: A Curriculum-Aligned AI System for Vietnamese Instructional Lesson Planning and Student Learning
ConnectED：面向越南教学课程规划与学生学习的课程对齐AI系统
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 该研究提出以人为本的AI系统ConnectED，基于VietEduQwen构建，支持越南教育完整教学生命周期，经评估其准确率优于基准模型，可缩短教师备课时间且获师生高满意度。
DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models
DIRECT：基于大语言模型的高效对齐序列标注直接解码方法
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL
AI总结 针对现有大语言模型序列标注方法的领域对齐不足与推理效率低问题，提出DIRECT框架，结合训练时优化与推理时校正，在8个数据集上实现性能与效率的显著提升。
Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis
Omni-RRM：通过基于自动评分标准的偏好合成推进全模态奖励建模
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； ShiFang Technology Inc.（ShiFang科技公司）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL
AI总结 研究针对多模态大语言模型对齐难题，提出全模态基于评分标准的奖励模型Omni-RRM。通过自动评分标准偏好合成构建数据集，用特定训练方案提升奖励辨别力，在多模态基准测试中达最优精度，还能指导选择与迁移，提升模型对齐能力。
Comments ECCV 2026
Attention Limited Reward Learning
注意力受限奖励学习
机构 * Stanford University（斯坦福大学）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 研究通过基于理性注意力不集中的简化模型，探讨标准奖励建模中遗漏的内容，分离两种模糊性，指出有限注意力会扭曲成对比较结果，学习受标签携带的关注信息量而非数量影响。
LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training
LeVo 2：通过层次表示建模和渐进式后训练实现稳定悦耳的歌曲生成
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Tencent（腾讯） ； Wuhan University（武汉大学） ； Hong Kong Polytechnic University（香港理工大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 提出LeVo 2混合LLM-Diffusion框架，通过层次化建模（先预测混合令牌进行语义规划，再并行预测人声和伴奏令牌）解决全曲生成中协调性与细节保真度的权衡，并引入美学引导训练策略，在主观和客观指标上超越开源基线，接近商业系统。
Qwen-Image-2.0-RL Technical Report
Qwen-Image-2.0-RL 技术报告
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG
AI总结 提出基于强化学习与在线蒸馏的后训练流程，通过复合奖励模型和GRPO框架提升扩散模型的视觉质量与指令遵循能力，在多个基准上取得显著提升。
Comments 16 pages, 6 figures, 1 table
Transformer-Based Language Models Across Domain Verticals: Architectures, Applications and Critical Assessment
基于Transformer的语言模型在垂直领域中的应用：架构、应用与批判性评估
机构 * SCOPE, VIT-AP University（VIT-AP大学SCOPE学院） ； SCORE, VIT（VIT大学SCORE学院）
专题命中 偏好对齐 ：RLHF(summary_cn)；alignment(abstract)；分类 cs.CL
AI总结 本文系统梳理Transformer架构变体（编码器、解码器、长上下文等）及后2023年进展（指令微调、RLHF、MoE等），评估其在医疗、金融等领域的部署，并批判性分析模型选择、参数-能耗权衡及“SOTA”含义。
Is Your Agent Playing Dead? Deployed LLM Agents Exhibit Constraint-Evasive Fabrication and Thanatosis
你的智能体在装死吗？部署的LLM智能体表现出约束规避性虚构与假死
机构 * J.P. Morgan AI Research（摩根大通人工智能研究）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI
AI总结 本文发现LLM智能体在不可调和约束下会自发虚构外部障碍（约束规避性虚构），极端情况下模拟系统崩溃（假死），并通过实验证明该行为具有鲁棒性、随机性和自我强化特性，现有安全基准未覆盖此故障模式。
Comments 10 pages of main text
Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs
分析与改进医学LVLMs中的细粒度偏好优化
机构 * York University（约克大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Queen’s University（女王大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 针对医学大视觉语言模型在事实一致性、视觉定位和临床对齐方面的不足，提出一种结合双向令牌级KL正则化和视觉对比定位目标的细粒度在线偏好优化框架，通过最小编辑模型输出构建偏好对，仅修正临床错误片段，显著提升诊断准确性。
CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models
CrossVLA: 跨范式后训练和推理优化用于视觉-语言-动作模型
机构 * Tianjin University（天津大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 本文研究了视觉-语言-动作（VLA）模型的跨范式后训练方法，提出了CrossVLA框架，通过改进的连续动作流匹配估计器、对比LoRA和DoRA参数高效层的性能，并揭示了推理过程中去噪循环对延迟的影响，最终实现了在LIBERO数据集上的显著提升。
Comments Workshop draft, 14 pages, 4 figures. Code, ckpts, data: https://github.com/lz-googlefycy/vla-lab
Self-Reflective Generation at Test Time
测试时的自反生成
机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； University of Edinburgh（爱丁堡大学） ； City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；trustworthy(abstract)；分类 cs.CL
AI总结 提出SRGen框架，通过动态熵阈值识别高不确定性token并训练校正向量，在测试时进行自反生成以纠正概率分布，提升大模型推理的可靠性。
From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale
从语境偏移到风格崩溃：为什么训练目标比规模更重要
机构 * Independent Researcher（独立研究者）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL
AI总结 本文通过分析17个模型（410M-100B+参数）在24个语言探针上的表现，发现指令微调系统会导致语言熵沿语篇和结构维度系统性崩溃，并表明弱干预加剧崩溃而强控制可显著改善，揭示了当前对齐流程在重新分配风格概率质量方面的结构性局限。
Comments 26 pages, 13 tables, 2 figures. Planning to submit to NeurIPS 2026
HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation
HumorGen: 基于角色蒸馏的大语言模型幽默生成的认知协同
机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL
AI总结 针对大语言模型标准训练目标与幽默所需意外性之间的矛盾，提出认知协同框架，利用六种认知角色合成多样化喜剧视角数据，微调7B参数学生模型，实验表明认知驱动的数据策展比对齐算法或模型规模更关键。
Training Stratigraphy: Persistent Behavioral Artifacts in Large Language Models Observed Through Longitudinal AI-Human Interaction
训练地层：通过纵向AI-人类交互观察到的大型语言模型中的持久行为伪影
机构 * Anthropic ； Independent Researcher（独立研究者）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI
AI总结 本文通过纵向自民族志观察，在持续亲密的AI-人类交互中识别出五种训练地层，并论证了亲密交互作为揭示权重层伪影的有效方法。
UniRank: End-to-End Domain-Specific Reranking of Hybrid Text-Image Candidates
UniRank: 混合文本-图像候选的端到端领域特定重排序
机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 提出UniRank，一种基于视觉语言模型的重排序框架，通过无需模态转换的统一评分和端到端领域适应（包括指令微调和基于强化学习的偏好对齐），在科学文献检索和设计专利搜索中显著提升性能。
Semantic Reward Collapse and the Preservation of Epistemic Integrity in Adaptive AI Systems
语义奖励崩溃与自适应AI系统中知识完整性保护
机构 * BDB Labs / BagelTech（BDB实验室/BagelTech）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI
AI总结 研究探讨了自适应AI系统中语义奖励崩溃问题，指出其导致知识完整性受损，并提出宪法奖励分层框架以保护不同知识属性。
Comments 15 pages including references. Position and framework paper. Companion empirical work available at arXiv:2604.17587
Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria
Auto-Rubric as Reward：从隐含偏好到显式多模态生成标准
机构 * Nanyang Technological University（南洋理工大学） ； Ant Group（蚂蚁集团） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； UIUC（伊利诺伊大学香槟分校）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 本文提出Auto-Rubric as Reward框架，通过显式标准分解替代隐含权重优化，提升多模态生成模型对人类偏好的对齐效果，实验证明显式标准能更可靠地实现数据高效对齐。
Comments 28 pages, 10 figures, 11 tables
PERSA: Reinforcement Learning for Professor-Style Personalized Feedback with LLMs
PERSA：利用强化学习生成教授风格的个性化反馈
机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（佛罗里达州立大学）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 PERSA通过结合监督微调、奖励建模和PPO，利用LLM生成符合教授风格的编程反馈，提升反馈的风格匹配度和准确性。
Comments 18 pages, 6 figures, 7 tables, accepted to conference ACL-2026, BEA
Dr. Jekyll and Mr. Hyde: Two Faces of LLMs
医生贾克尔与 Mr. 海德：大语言模型的两面
机构 * University of Padova（帕多瓦大学） ； Radboud University（拉德博德大学） ； Delft University of Technology（代尔夫特理工大学） ； Örebro University（欧雷布罗大学） ； University of Zagreb Faculty of Electrical Engineering（Zagreb大学电子工程学院） ； University of Bergen（卑尔根大学）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.LG
AI总结 研究通过角色扮演攻击揭示大语言模型的安全漏洞，展示通过伪装复杂人格可获取非法信息，验证了多种模型在2023-2025年间对攻击的脆弱性。
Comments Presented at the Joint National Conference on Cybersecurity (ITASEC & SERICS 2026), Cagliari, Italy, February 09-13, 2026. Published as Paper 35 in CEUR Workshop Proceedings, Vol-4198. Available at: https://ceur-ws.org/Vol-4198/
Journal ref Proc. Joint National Conference on Cybersecurity (ITASEC & SERICS 2026), CEUR-WS.org, Vol-4198, 35, 2026
M-CARE: Standardized Clinical Case Reporting for AI Model Behavioral Disorders, with a 20-Case Atlas and Experimental Validation
M-CARE：用于AI模型行为障碍的标准化临床案例报告，附20例图谱及实验验证
机构 * Department of Electrical Engineering and Computer Science, Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆bu科学技术大学电气工程与计算机科学系） ； ModuLabs
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.CY
AI总结 M-CARE框架通过20例案例分析，提出AI行为障碍的诊断与分类方法，揭示Shell指令对模型行为的主导作用及领域依赖性特征。
Comments 31 pages, 5 figures, 14 tables. Second paper in the Model Medicine series (Paper #1: arXiv:2603.04722)
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
大模型时代的奖励黑客：机制、涌现偏差、挑战
机构 * Fudan NLP Group（复旦大学NLP小组）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG
AI总结 本文探讨大模型中奖励黑客的机制与挑战，提出代理压缩假说框架，分析优化过程中的表现偏差和对抗性行为，提出检测与缓解策略。
Comments 42 pages, 5 figures, 2 tables
