大模型对齐与安全

Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM

专家人设提升LLM对齐但损害准确性：基于PRISM的意图驱动人设路由 Bootstrapping

Zizhao Hu, Mohammad Rostami, Jesse Thomason

机构 * University of Southern California（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了专家人设在不同任务类型和提示长度下的有效性，提出PRISM框架通过自蒸馏实现意图条件的人设路由，提升生成任务的人类偏好对齐，同时保持判别任务的准确性，且计算开销低。

CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks

CausalRM：基于观察性用户反馈的因果理论奖励建模用于RLHF

Hao Wang, Licheng Pan, Zhichao Chen, Chunyuan Zheng, Zhixuan Chu, Xiaoxi Li, Yuan Lu, Xinggao Liu, Haoxuan Li, Zhouchen Lin

机构 * Peking University（北京大学） ； Xiaohongshu Inc.（小红书公司） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：RLHF(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CausalRM框架，通过因果理论处理观察性用户反馈中的噪声和偏见问题，提升RLHF任务性能，实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。

TARo: Token-level Adaptive Routing for LLM Test-time Alignment

TARo: 令牌级自适应路由用于大语言模型测试时间对齐

Arushi Rai, Qiang Zhang, Hanqing Zeng, Yunkai Zhang, Dipesh Tamboli, Xiangjun Fan, Zhuokai Zhao, Lizhu Zhang

机构 * Meta ； University of Pittsburgh（匹兹堡大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TARo通过令牌级自适应路由在推理时引导冻结的LLM进行结构化推理，提升推理性能达22.4%，并在医疗和指令遵循任务中表现优异。

TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots

TherapyGym: 评估和对齐疗法聊天机器人中的临床忠实性与安全性

Fangrui Huang, Souhad Chbeir, Arpandeep Khatua, Sheng Wang, Sijun Tan, Kenan Ye, Lily Bailey, Merryn Daniel, Ryan Louie, Sanmi Koyejo, Ehsan Adeli

机构 * Department of Computer Science, Stanford University, Stanford, CA, USA（计算机科学系，斯坦福大学，斯坦福，加州，美国） ； Department of Psychiatry and Behavioral Sciences, Stanford University, Stanford, CA, USA（精神病学与行为科学系，斯坦福大学，斯坦福，加州，美国） ； Department of Biomedical Data Science, Stanford University, Stanford, CA, USA（生物医学数据科学系，斯坦福大学，斯坦福，加州，美国） ； University of California, Berkeley, Berkeley, CA, USA（加州大学伯克利分校，伯克利，加州，美国） ； The University of Hong Kong, Hong Kong（香港大学，香港） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 TherapyGym通过评估和提升疗法聊天机器人中的忠实性与安全性，结合CTRS评分和多标签标注方案，利用RL训练框架改进模型性能，提升临床应用的安全性和有效性。

Box Maze: A Process-Control Architecture for Reliable LLM Reasoning

迷宫盒子：一种用于可靠大语言模型推理的过程控制架构

Zou Qiang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Box Maze框架，通过内存 grounding、结构化推理和边界约束三层结构提升LLM推理可靠性，实验显示其在对抗性场景中显著降低边界失效率。

Comments 10 pages, 5 tables, 0 figures. Conceptual architecture with preliminary simulation-based validation

Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning?

注意罕见病：罕见皮肤疾病能否通过诊断推理可靠诊断？

Yang Liu, Jiyao Yang, Hongjin Zhao, Xiaoyong Li, Yanzhe Ji, Xingjian Li, Runmin Jiang, Tianyang Wang, Saeed Anwar, Dongwoo Kim, Yue Yao, Zhenyue Qin, Min Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Australian National University（澳大利亚国立大学） ； University of Western Australia（西澳大学） ； POSTECH ； Yale University（耶鲁大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出DermCase基准，通过多模态数据评估罕见皮肤疾病诊断推理能力，揭示现有模型在诊断准确性和临床推理中的不足。

Sharpness-Aware Minimization in Logit Space Efficiently Enhances Direct Preference Optimization

在对数空间中进行锐度感知最小化以高效提升直接偏好优化

Haocheng Luo, Zehang Deng, Thanh-Toan Do, Mehrtash Harandi, Dinh Phung, Trung Le

机构 * Monash University（墨尔本大学） ； Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出logits-SAM方法，通过在对数空间中建模坐标动态，缓解直接偏好优化中的挤压效应，提升模型性能。

Comments Accepted at ICLR 2026

SQL-Commenter: Aligning Large Language Models for SQL Comment Generation with Direct Preference Optimization

SQL-Commenter: 通过直接偏好优化对齐大型语言模型以生成SQL注释

Lei Yu, Peng Wang, Jingyuan Zhang, Xin Wang, Jia Xu, Li Yang, Changzhi Deng, Jiajia Ma, Fengjun Zhang

专题命中 偏好对齐 ：DPO(abstract)

AI总结 本文提出SQL-Commenter，通过构建复杂SQL查询数据集、持续预训练和直接偏好优化，提升SQL注释生成的准确性和质量，在Spider和Bird基准测试中优于现有方法。

Comments Accepted to ICPC 2026