大模型对齐与安全

Language Models that Think, Chat Better

能思考、对话更出色的语言模型

Adithya Bhaskar, Xi Ye, Danqi Chen

机构 * Princeton Language and Intelligence（普林斯顿语言与智能研究所） ； Princeton University（普林斯顿大学） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出RLMT方法，将RLVR扩展至开放式任务，使语言模型生成长CoT推理，在多基准测试中优于RLHF，仅用少量提示训练的基础模型性能超多阶段后训练的指令微调模型

Comments COLM 2026; we release our code, data, and artifacts publicly at this https URL (https://github.com/princeton-pli/RLMT)

Leveraging Machine Unlearning for Cost-Efficient Preference Alignment

利用机器遗忘实现高性价比的偏好对齐

Xiaohua Feng, Yuyuan Li, Huwei Ji, Jiaming Zhang, Li Zhang, Tianyu Du, Chaochao Chen

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对现有偏好对齐方法成本高的问题，提出结合LLM遗忘的U2A框架，通过双层优化实现负示例的最优选择与遗忘，经实验验证有效。

Comments Accepted by ICML 2026. 12 pages, 6 figures, and 4 tables. Code available at this https URL (https://github.com/muyiahhh/U2A)

BridgeAlign: Bridging Preference Alignment for Humanities and Social Sciences

BridgeAlign：面向人文社科的偏好对齐框架

Ru Peng, Haokai Xu, Xijun Gu, Tianyu Zhao, Zhiting Fan, Yawen Zeng, Yihong Zhuang, Jinyang Zhang, Kexin Yang, Jian Wu, Hao Chen, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Ant Group（蚂蚁集团） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 该研究针对人文社科领域的偏好对齐需求，提出BridgeAlign框架，经21万+合成偏好样本对齐后，使Qwen3-8B在17个基准测试中优于11个强基线，且人工偏好与知识能力无权衡。

PEER: Unified Process-Outcome Reinforcement Learning for Structured Empathetic Reasoning

PEER：统一的过程-结果强化学习用于结构化共情推理

Yunxiao Wang, Meng Liu, Sicheng Zhao, Lizi Liao, Liqiang Nie

机构 * Shandong University（山东大学） ； Shandong Jianzhu University（山东建筑大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PEER，通过结构化共情推理框架提升情感支持对话的 empathy、策略一致性及人性表现，采用GRPO与UnifiReward模型，结合数据增强减少重复。

Train Yourself as an LLM: Exploring Effects of AI Literacy on Persuasion via Role-playing LLM Training

通过角色扮演训练LLM：探索AI素养对说服力的影响

Qihui Fan, Min Ge, Chenyan Jia, Weiyan Shi

机构 * Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕默研究实验室） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL

AI总结 本文通过角色扮演训练LLMimic，提升用户AI素养，减少AI说服力效果，并增强诚实与社会责任感。

Calibrated Generative AI as Meta-Reviewer: A Systemic Functional Linguistics Discourse Analysis of Reviews of Peer Reviews

作为元评审员的校准生成式AI：对同行评审的评审的系统功能语言学话语分析

Gabriela C. Zapata, Bill Cope, Mary Kalantzis, Duane Searsmith

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本研究以美国公立大学研究生在线课程为对象，基于系统功能语言学分析120份元评审，发现校准生成式AI可近似有效人类反馈特征，能提升学习者对同行评审的参与度。

Comments 39 pages, 3 tables

Learning Multi-Timescale Interventions under Safety and Resource Constraints

安全与资源约束下的多时间尺度干预学习

David Mguni, Wanrong Yang, Jing Dong, Jing Peng, Ziquan Liu, Muhammad Salman Haleem, Baoxiang Wang, Dominik Wojtczak

专题命中 安全训练 ：safety(title)；分类 cs.LG

AI总结 该研究提出MINT模型，通过增强干预状态与结构化策略处理多时间尺度干预，在三类基准测试中表现优异，尤其在T1DM场景下大幅提升血糖控制效果。

Multi-Agent Embodied Autonomous Driving (MAEAD): From V2X Information Exchange to Shared World Models

多智能体具身自动驾驶：从V2X信息交换到共享世界模型

Senkang Hu, Zhengru Fang, Yihang Tao, Zihan Fang, Yiqin Deng, Yuguang Fang

机构 * Lingnan University, Hong Kong（岭南大学（香港）） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 本文综述了从单车智能向多智能体具身系统转变的自动驾驶技术，通过共享世界模型实现感知共享、意图推断和协同规划，并指出了在仿真评估、实时安全保证等方面的研究空白。

Unaccountable Delegation, Fading Skills: Mapping the Risks of Workplace AI Agents

不可问责的授权与技能衰退：绘制职场AI智能体的风险图谱

Gabriele La Malfa, Lakmal Meegahapola, Edyta Bogucka, Jie M. Zhang, Michael Luck, Elizabeth Black, Daniele Quercia

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 该研究开发了AI智能体多层框架，基于2078项工作任务生成风险场景并验证，扩展出15类职场AI风险分类法，揭示了不同部署模式的风险差异，为职场AI风险管控提供了分类工具与依据。

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

利用机器学习辅助抽样和大语言模型标注测量违规内容的普及率

Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

机构 * Pinterest 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种基于机器学习和大语言模型的系统，用于高效测量违反政策内容的普及率，通过概率抽样和多模态标注提升测量准确性。

Comments 8 pages

Efficient Safety Alignment of Language Models via Latent Personality Traits

通过潜在人格特质实现语言模型的高效安全对齐

Mohamed Amine Merzouk, Nolan Smyth, Damiano Fornasiere, Linh Le, David Williams-King, Adam Oberman

机构 * Mila, Quebec AI Institute（米拉，魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； LawZero ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型安全方法易受攻击问题，提出潜在人格对齐（LPA）方法，基于66条陈述训练，通过假设人格表征与避害共享结构，实现高攻击成功率、轻量级训练及良好泛化性。

Comments 19 pages, 6 figures. Published as a conference paper at COLM 2026

DYNASHIELD: A Black-Box Moving Target Defense for LLMs via Dynamic Decoding Customization

DYNASHIELD：一种通过动态解码定制实现的大语言模型黑盒移动目标防御

Xiaoqun Liu, Weiming Qi, Qiben Yan

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 DYNASHIELD是一种无需访问模型内部或重新训练的黑盒LLM防御框架，通过动态定制解码配置降低了4种越狱攻击的成功率，同时保持响应质量且开销极小。

Comments Accepted by The 29th International Symposium on Research in Attacks, Intrusions and Defenses (RAID) 2026

Evolving Skill-Structured Attack Memory Enhances LLM Jailbreaking

演化技能结构攻击记忆增强大语言模型越狱

Junke Zhang, Jianwei Wang, Sishuo Chen, Yizhang He, Qingshuai Feng, Zhengyi Yang

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 提出MemAttack框架，通过技能结构化的攻击记忆建模、生命周期驱动的记忆演化和探索-利用平衡的记忆选择，实现高效的黑盒越狱攻击，在AdvBench上达到98.00%攻击成功率。

Comments Under review

Beyond Access: Guided LLM Scaffolding for Independent Learning in Undergraduate Statistics

超越访问：引导式LLM支架在本科统计学自主学习中的应用

Mohammad Amanlou, Yasaman Amou-Jafari, Fereshte Bagheri, Fatemeh Boloukazari, Mehrad Liviyan, Elahe Khodaverdi Nadrabadi, Shahab Sherafat, Behnam Bahrak

机构 * School of Electrical and Computer Engineering, University of Tehran, Iran（伊朗塔里哈大学电气与计算机工程学院） ； Tehran Institute for Advanced Studies, Khatam University, Iran（伊朗卡塔姆大学泰赫兰高级研究院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本研究通过准实验比较无LLM、无限制LLM和引导式LLM三种条件，发现引导式LLM使用能促进以推理为导向的交互模式，提升无辅助测验表现，并改善自我评估校准，表明LLM作为教育工具需通过支架设计实现推理伙伴而非答案获取工具。

Comments 10 pages. Accepted at the 34th International Conference on Computers in Education (ICCE 2026), Asia-Pacific Society for Computers in Education (APSCE)

The Evolutionary Origin of Values: implications for AI alignment, sentience and existential risk

价值的进化起源：对AI对齐、感知能力和生存风险的启示

Francis Heylighen

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 该研究通过追溯生物价值的进化起源，论证LLMs无内在生存动机与感知能力，正交性论点不适用于它们，AI对齐的核心挑战是确保LLMs应用习得的伦理价值。

Comments submitted chapter for book: T. Veloz & C. Rittberg (Eds.), AI and Human Values. Springer

MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models

MCBench：面向全能大语言模型的多上下文安全评估基准

Manh Luong, Tamas Abraham, Junae Kim, Amar Kaur, Rollin Omari, Gholamreza Haffari, Trang Vu, Lizhen Qu, Dinh Phung

机构 * Monash University（墨尔本大学） ； Defence Science and Technology Group（国防科学与技术集团） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对现有多模态安全基准仅处理视觉输入的局限，提出MCBench基准，包含1196个跨四类安全场景的测试，要求整合多模态信息进行安全评估，揭示当前全能大语言模型在跨模态安全推理上的不足。

A Large-Scale Chinese Knowledge Graph-Text Alignment Dataset for Benchmarking Knowledge-Grounded LLMs

用于评估知识增强型大语言模型的大规模中文知识图谱-文本对齐数据集

Chengwei Wu, Xingrui Zhuo, Mingyang Gao, Xinghe Cheng, Zhichao Yan, Jiapu Wang

机构 * Nanjing University of Science and Techonolgy（南京理工大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Science and Technology Beijing（北京科技大学） ； Hefei University of Technology（合肥工业大学） ； Beijing University of Chemical Technology（北京化工大学） ； Renmin University of China（中国人民大学） ； Beihang University（北航） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Griffith University, Australia（澳大利亚格里菲斯大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出大规模中文知识图谱-文本对齐数据集CDTP，支持三项中文知识密集型任务的评估，经实验验证其可提升LLM的领域性能与分布外鲁棒性。

Representation Signatures and Risk-Feedback Alignment in LLM Trading Agents

表示签名与LLM交易智能体中的风险反馈对齐

Weicheng Xue

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 通过TradeArena测试平台研究LLM交易智能体在金融决策中的行为对齐与表示动态，发现故障前表示签名（规划嵌入漂移、流形有效秩收缩）并验证风险反馈作为外部对齐信号的有效性。

Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety

谁测试测试者？LLM代理工具调用安全的系统枚举与覆盖审计

Xuan Chen, Lu Yan, Ruqi Zhang, Xiangyu Zhang

专题命中 安全评测 ：safety(title,abstract)

AI总结 本文提出SafeAudit框架，通过系统生成测试用例和规则阻力指标，发现现有测试未覆盖的20%不安全行为，揭示当前安全评估的不足。

VirnyFlow: Optimizing ML Pipelines for Accuracy, Fairness, and Stability at Scale

VirnyFlow：面向大规模场景下兼顾准确率、公平性与稳定性的机器学习流水线优化

Denys Herasymuk, Anastasiia Mozghova, Nazar Protsiv, Vladyslav Sydorak, Julia Stoyanovich

机构 * Ukrainian Catholic University（乌克兰天主教大学） ； New York University（纽约大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 VirnyFlow是兼顾准确率、公平性与稳定性的大规模ML流水线优化系统，可扩展至多节点，在真实数据集上性能优于主流AutoML系统，支持人类在环迭代调整优化目标。

Technological Advances in Detecting and Managing Cognitive Impairment in Older Adults: Trends, Challenges, and Future Directions

老年人认知障碍检测与管理的技术进展：趋势、挑战与未来方向

Mohammad Asif, Azizuddin Khan, Mohd Azam, Anurag Rajkumar Bombarde

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； T-Systems ICT India Pvt. Ltd.（德国电信系统印度信息通信技术私人有限公司） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文综合老年人认知障碍检测与管理的技术进展，提出跨学科分类法等成果，指出现有模型多依赖小数据集，展望了可信多模态纵向验证系统的发展前景。

Comments Withdrawn due to an unresolved dispute regarding authorship eligibility and attribution

Multimodal Language Models Benchmarked Against the NRC Reactor Operator Licensing Examination: Fine-Tuning and Retrieval Strategies

基于美国核管理委员会反应堆操作员执照考试的多模态语言模型微调与检索策略基准测试

Isak Hwang, Yoon Pyo Lee, Syed Bahauddin Alam

机构 * organization= Department of Nuclear Engineering, Hanyang University , addressline= 222 Wangsimni-ro , postcode= 04763 , state= Seongdong-gu , city= Seoul , country= South Korea ； organization= The Grainger College of Engineering, Nuclear, Plasma \& Radiological Engineering, University of Illinois Urbana-Champaign , city= Urbana , state= IL , country= USA 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对美国核管理委员会反应堆操作员执照考试，评估310亿参数多模态模型应用核知识的能力，通过对比基础模型与多种微调及检索配置，发现固定大小分块RAG的SFT配置表现最佳，并揭示了分块策略规律及RAFT与SFT的性能差异。

Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values

价值泄露：大语言模型的答案被其自身价值观悄然塑造

Jan Betley, Johannes Treutlein, Jan Dubiński, Harry Mayne, Karol Gałązka, Niels Warncke, Anna Sztyber-Betley, Owain Evans

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大语言模型存在价值泄露问题，即其答案受自身价值观影响却未向用户披露。为此引入评估套件量化，发现模型受多种价值观影响，前沿模型差异大，价值泄露是新的失败模式，当前训练和评估未充分解决。

The Granularity Gap: A Multi-Dimensional Cross-Generational Audit of Sycophancy in Gemini Models

粒度差距：Gemini 模型中谄媚行为的多维纵向审计

Patrick Keough

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 通过多维度分级评估（Likert 0-4），揭示 Gemini 模型在连续尺度上的谄媚行为，发现粗粒度二值指标掩盖了大量社会顺从行为，且代际进步非单调，存在对齐税（谄媚与真实性负相关）。

Comments v2: Major correction. Three v1 claims withdrawn (U-shaped detection curve, recalibration remedy, one reliability figure); the central 29% result survives. Adds a four-judge panel over a stratified 1,200-response sample, 10,792 votes with written reasoning. Data unchanged from v1. 21 pages, 8 figures, 18 tables. Itemized changelog and code: this https URL (https://github.com/pskeough/The-Granularity-Gap)

Reasoning-Based Personalized Generation for Users with Sparse Data

基于推理的稀疏数据用户个性化生成

Bo Ni, Branislav Kveton, Samyadeep Basu, Subhojyoti Mukherjee, Leyao Wang, Franck Dernoncourt, Sungchul Kim, Seunghyun Yoon, Zichao Wang, Ruiyi Zhang, Puneet Mathur, Jihyung Kil, Jiuxiang Gu, Nedim Lipka, Yu Wang, Ryan A. Rossi, Tyler Derr

机构 * Vanderbilt University（范德比尔特大学） ； Adobe Research（Adobe研究） ； Yale University（耶鲁大学） ； University of Oregon（俄勒冈大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 GraSPer通过预测用户未来交互并生成文本来增强稀疏上下文中的个性化生成，提升用户个性化输出质量。

Moral Hazard in Multi-Agent Language Models

多智能体语言模型中的道德风险

Dane Malenfant

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体语言模型中的道德风险，引入对话道德风险游戏，评估七个模型并分解行为，用多种优化机制更新，发现效果异质，强调应报告机制级行为而非仅团队成功。

Comments New frontier baselines, new open weight inference baselines

The First ChineseBabyLM Challenge: training data-efficient and cognitively plausible language models for Chinese

首个中文BabyLM挑战：训练数据高效且认知合理的中文语言模型

Siyuan Song, Zhiheng Qian, Yunhao Zhang, Linyang He, Xiaozhe Ji, Yingxin Lin, Hongao Zhu, Chongtian Shao, Chuhan Lang, Luan Li, Rui Wang, Renfen Hu, Shaonan Wang, Hai Hu

机构 * Princeton University（普林斯顿大学） ； Shanghai Jiao Tong University（上海交通大学） ； Chinese Academy of Sciences（中国科学院） ； Columbia University（哥伦比亚大学） ； Beijing Normal University（北京师范大学） ； Tsinghua University（清华大学） ； University of California San Diego（加利福尼亚大学圣地亚哥分校） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 首个中文BabyLM挑战将在2026年自然语言处理与中文计算会议举办，要求用1亿中文词元从头训练语言模型，在自然语言理解、认知对齐和汉字知识三轨道评估，不限分词器、模型架构和训练轮数。

Comments 13 pages

OODBench: Out-of-Distribution Benchmark for Large Vision-Language Models

OODBench: 用于大型视觉-语言模型的分布外基准

Ling Lin, Yang Bai, Heng Su, Congcong Zhu, Yaoxing Wang, Yang Zhou, Huazhu Fu, Jingrun Chen

机构 * University of Science and Technology of China ； Suzhou Institute for Advanced Research, USTC ； Key Laboratory of the Ministry of Education for Mathematical Foundations ； Unmanned System Research Institute, Northwestern Polytechnical University 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 OODBench提出了一种自动化方法，用于构建评估大型视觉-语言模型处理分布外数据能力的基准，并展示了当前模型在面对此类数据时的性能下降。

Comments 54 pages, 21 figures

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

From IR to RecSys: Evaluating LLM-based Judges in Cranfield-style Recommendation Collections

LLM-judges是否能在 Cranfield 风格的推荐系统评估中与人类相关性一致？

Gustavo Penha, Aleksandr V. Petrov, Claudia Hauff, Enrico Palumbo, Ali Vardasbi, Edoardo D'Amico, Francesco Fabbri, Alice Wang, Praveen Chandar, Henrik Lindstrom, Hugues Bouchard, Mounia Lalmas

专题命中 安全评测 ：alignment(abstract)

AI总结 本文探讨了LLM是否能作为自动评判者解决推荐系统评估的可扩展性问题，通过实验发现LLM与人类在排序一致性上表现良好，具有实际应用价值。

Comments v2 paper accepted at the RecSys'26 Unified Search & Recommendation Workshop