大模型对齐与安全

VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving

VL-DPO：基于视觉语言的偏好对齐自动驾驶微调

Zhefan Xu, Ghassen Jerfel, Marina Haliem, Qi Zhao, Jeonhyung Kang, Khaled S. Refaat

机构 * Waymo 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.AI

AI总结 本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。

Comments Published in International Conference on Robotics and Automation (ICRA), 2026 8 pages, 6 figures, 4 tables

Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations

对比推理对齐：从隐藏表示中学习强化学习

Haozheng Luo, Yimin Wang, Jiahao Yu, Binghui Wang, Yan Chen

机构 * Northwestern University（西北大学） ； University of Michigan（密歇根大学） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于对比学习和强化学习的框架CRAFT，通过优化隐藏状态空间中的目标来提升对抗攻击的鲁棒性，核心贡献是通过隐藏空间的几何结构实现推理层面的安全对齐。

Comments International Conference on Machine Learning (ICML) 2026

Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance

通过信息论指导消除奖励模型中的归纳偏置

Zhuo Li, Pengyu Cheng, Zhechao Yu, Feifei Tong, Anningzhe Gao, Tsung-Hui Chang, Xiang Wan, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴大模型应用团队） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于信息论的奖励模型去偏方法DIR，通过最大化奖励模型评分与人类偏好对之间的互信息，同时最小化奖励模型输出与偏好输入偏置属性之间的互信息，从而有效缓解归纳偏置问题并提升RLHF性能。

Comments Published as a conference paper at The International Conference on Learning Representations (ICLR) 2026

Compositional Literary Primitives in Instruction-Tuned LLMs: Cross-Architectural SAE Features for Self, Style, and Affect

在指令微调的LLM中构建组合文学原语：跨架构SAE特征用于自我、风格和情感

Joao Paulo Cavalcante Presa, Savio Salvarino Teles de Oliveira

机构 * Federal University of Goias（戈亚斯联邦大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过稀疏自编码器研究了指令微调的LLM中组合文学原语的架构，发现四种特征类别，并通过跨架构SAE特征验证了自我、风格和情感的表达能力。

Comments 36 pages, 6 figures

Structured Style-Rewrite with Chain-of-Thought Planning for Low-Resource Character Dialogue

结构化风格重写与思维链规划用于低资源字符对话

Chanhui Zhu

机构 * Guangdong University of Finance（广东金融学院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出了一种结构化风格重写框架，结合思维链规划，以解决低资源条件下中文字符驱动生成中的风格分离问题，通过分解角色风格为可解释的格式签名、语法和语用维度，并利用思维链监督进行显式风格规划，实验表明该方法在保持语义忠实性的同时提升了风格质量。

Comments 30 pages, 5 figures. Preprint

PhyWorld: Physics-Faithful World Model for Video Generation

PhyWorld: 用于视频生成的物理忠实世界模型

Pu Zhao, Juyi Lin, Timothy Rupprecht, Arash Akbari, Chence Yang, Rahul Chowdhury, Elaheh Motamedi, Arman Akbari, Yumei He, Chen Wang, Geng Yuan, Weiwei Chen, Yanzhi Wang

机构 * Northeastern University（东北大学） ； University of Georgia（佐治亚大学） ； Tulane University（路易斯安那大学） ； EmbodyX 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。

Fine-tuning Large Language Model for Automated Algorithm Design

微调大语言模型用于自动化算法设计

Fei Liu, Rui Zhang, Xi Lin, Zhichao Lu, Qingfu Zhang

机构 * City University of Hong Kong（香港城市大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文探讨了微调大语言模型以提升其在自动化算法设计中的性能，提出了一种多样性感知的排名策略和直接偏好优化方法，通过实验验证了任务特定微调在不同算法设计任务中的有效性。

DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

DynaTrain: 快速在线并行切换用于弹性大语言模型训练

Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang

机构 * Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； Peking University（北京大学） ； Infinigence AI ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出DynaTrain，一种能够快速在线重新配置任意多维并行性的分布式训练系统，通过虚拟参数空间抽象统一所有分布式训练状态，实现并行配置的确定性映射，并在密集和MoE模型上展示了显著的性能提升。

Comments GitHub Repo: https://github.com/infinigence/ElasticMegatron

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training

Hybrid-LoRA: 桥接全微调与低秩适应以实现训练后优化

Chengqian Zhang, Wei Zhu, Kyumin Lee

机构 * Worcester Polytechnic Institute（沃斯特理工学院） ； University of Hong Kong（香港大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Hybrid-LoRA框架，通过选择性地对部分模块进行全微调，其余模块使用LoRA进行适应，从而在训练后优化中实现高效性能。

HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads

HeadRank: 通过偏好对齐的注意力头实现无需解码的段落重排序

Juyuan Wang, Chenxing Wang, Yuchen Fang, Huiyun Hu, Junwu Du, Aolin Li, Shunlin Rong, Haijun Wu, Jin Xu, Ligang Liu, Dongliang Liao

机构 * Weixin Group, Tencent, China（腾讯微信集团，中国） ； South China University of Technology, Guangzhou, China（华南理工大学，广州，中国） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出HeadRank框架，通过熵正则化的头部选择、硬相邻级偏好对和分布正则化，在连续注意力域中提升偏好优化，从而在无需解码的情况下实现高效的段落重排序，其在多个基准测试中均取得最佳的平均NDCG@10成绩。