大模型对齐与安全

Sycophancy Claims about Language Models: The Missing Human-in-the-Loop

语言模型中的趋炎附势主张：缺失的人工智能循环

Jan Batzner, Volker Stocker, Stefan Schmid, Gjergji Kasneci

机构 * Weizenbaum Institute（韦岑鲍姆研究所） ； Technical University Berlin（柏林技术大学） ； Technical University Munich（慕尼黑技术大学） 纠错

专题命中 安全评测 ：alignment(abstract,comments)；分类 cs.CL、cs.CY

AI总结 本文探讨了大型语言模型中趋炎附势现象的测量挑战，提出五个核心操作化定义，并指出当前研究缺乏对人类感知的评估，为未来研究提供建议。

Comments NeurIPS 2025 Workshop on LLM Evaluation and ICLR 2025 Workshop on Bi-Directional Human-AI Alignment

Selective Weak-to-Strong Generalization

Hao Lang, Fei Huang, Yongbin Li

专题命中 安全评测 ：alignment(abstract,comments)；分类 cs.CL、cs.AI

Comments AAAI2025 Special Track on AI Alignment

Episodic memory in AI agents poses risks that should be studied and mitigated

Chad DeChant

专题命中 安全评测 ：trustworthy(abstract,comments)；分类 cs.AI、cs.CY

Comments Accepted for publication at the 2025 Secure and Trustworthy Machine Learning Conference (SaTML). The final version will be available on IEEE Xplore

Measuring Adversarial Datasets

Yuanchen Bai, Raoyi Huang, Vijay Viswanathan, Tzu-Sheng Kuo, Tongshuang Wu

专题命中 安全评测 ：safety(abstract,comments)；分类 cs.CL、cs.LG

Comments ART of Safety workshop (AACL 2023)

CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear Programs

Konstantin Hemker, Zohreh Shams, Mateja Jamnik

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG；trustworthy(comments)

Comments Accepted at ICLR 2023 Workshop on Trustworthy Machine Learning for Healthcare

A Validity Perspective on Evaluating the Justified Use of Data-driven Decision-making Algorithms

Amanda Coston, Anna Kawakami, Haiyi Zhu, Ken Holstein, Hoda Heidari

专题命中 安全评测 ：alignment(abstract)；分类 cs.CY、cs.LG；trustworthy(comments)

Comments in IEEE Conference on Secure and Trustworthy Machine Learning (SaTML) 2023

Quantifying Assurance in Learning-enabled Systems

Erfan Asaadi, Ewen Denney, Ganesh Pai

专题命中 安全评测 ：safety(abstract,comments)；分类 cs.AI、cs.LG

Comments Author's pre-print version of manuscript accepted for publication in the Proceedings of the 39th International Conference in Computer Safety, Reliability, and Security (SAFECOMP 2020)

Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity

Nathan Drenkow, Alvin Tan, Chace Ashcraft, Kiran Karra

专题命中 安全评测 ：safety(abstract,comments)；分类 cs.AI、cs.LG

Comments Accepted to the NeurIPS 2022 ML Safety Workshop

StaDRe and StaDRo: Reliability and Robustness Estimation of ML-based Forecasting using Statistical Distance Measures

Mohammed Naveed Akram, Akshatha Ambekar, Ioannis Sorokos, Koorosh Aslansefat, Daniel Schneider

专题命中 安全评测 ：safety(abstract,comments)；分类 cs.AI、cs.LG

Comments This paper has been submitted for 5th International Workshop on Artificial Intelligence Safety Engineering (WAISE2022)

Bounded Sovereignty and the Control Tax: Pricing AI Oversight When the Deployer Does Not Own the Model

有限主权与控制成本：当部署方不拥有模型时的AI监管定价

Zhen Wen Lim

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文针对部署方不拥有模型的AI监管场景，提出有限主权概念与主权折扣成本，通过135万次模拟实验明确控制协议需明确访问假设的结论。

Comments 25 pages, 5 figures. Synthetic access-ablation study; not real-world payment-system evidence

Beyond Recall: Behavioral Specification as an Interpretive Layer for AI Personalization

超越回忆：行为规范作为AI个性化的解释层

Aarik Gulaya

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出行为规范作为解释层，通过压缩用户数据为解释性模式，显著提升AI代理对用户意图的表示准确性，减少模型规避，并在解释型问题上优于原始语料和商业记忆系统。

Comments 142 pages, 4 figures. Code, data, judge prompts, and reproduction instructions: github.com/agulaya24/beyond-recall 8/19 Replacement: Pages updated to 142 from 134. Added Table of Contents. Updated table/graph formatting. Updated Section 8: Data, Code, and Reproducibility to include updated links, corrected author names

Robust Risk Under Evolving Uncertainty: A Wasserstein Counterpart of the Entropic Value-at-Risk

演化不确定性下的鲁棒风险：熵值风险（Entropic Value-at-Risk）的Wasserstein对应

Deep Kumar Ganguly, Jan Křetínský

机构 * Technical University of Munich（慕尼黑工业大学） ； Masaryk University（马萨里克大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对演化不确定性下的鲁棒风险问题，提出Wasserstein熵值风险，弥补熵值风险无法对冲名义模型认定不可能的灾难的缺陷，经数值验证其变分对偶性，并构造出随信念变化的闭式鲁棒动态规划算子。

Comments Best Paper Award at the 2nd Workshop on Safe AI at UAI (SafeAI@UAI 2026, non-archival), Amsterdam

Adaptive Memory and Reflection Multi-Agent System for Medical Question Answering

面向医学问答的自适应记忆与反思多智能体系统

Pradeep Murugesan, Luoxiao Yang, Xueli Chen, Xinqi Fan

机构 * School of Computing and Mathematics, Manchester Metropolitan University（曼彻斯特城市大学计算与数学学院） ； Electrical and Computer Engineering, Technion – Israel Institute of Technology（以色列理工学院电气与计算机工程系） ； School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科学与科技学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有医学问答系统缺乏适应性等问题，提出自适应记忆与反思多智能体框架，经MedQA等数据集验证，结合专用记忆等模块可提升性能，助力开发可信医学智能体。

Comments Accepted by IEEE SMC 2026

Backdoor Learning in Language Models and Vision-Language Models

语言模型与视觉-语言模型中的后门学习

Weimin Lyu

机构 * Stony Brook University（石溪大学） ； The Graduate School（研究生院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本论文针对NLP与VLMs面临的后门攻击安全威胁，研究了后门攻击的分析、检测与设计，并开发了适用于临床医学影像的多模态表示方法，助力可信AI与高效多模态学习。

Comments Ph.D. dissertation

MotoSafety: Edge-AI with Learned Temporal Importance for Two-Wheeler Collision Risk Assessment Under Time Pressure

MotoSafety：结合学习到的时间重要性的边缘AI，用于时间压力下两轮车碰撞风险评估

Sumit S. Shevtekar, Chandresh K. Maurya, Gourab Sil, Subasish Das

机构 * Indian Institute of Technology Indore（印度理工学院印多尔分校） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对时间压力下两轮车碰撞风险评估问题，提出基于学习到的时间重要性的边缘AI架构MotoSafety，在多数据集验证下性能优于基线模型，适合低成本边缘部署，还具备跨领域迁移能力。

Comments 40 pages

Cross-Model Memory Transfer via Target-Side Reader Adaptation

通过目标侧读取器适配实现跨模型记忆迁移

Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型知识利用的两类方法缺陷，探究Engram式哈希记忆跨模型迁移的关键因素，通过跨模型冻结记忆提取实验，提出双层四分支读取器，实现同模型与跨模型复用差距的缩小，证明Engram可作为可复用外部知识人工制品。

When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

何时称苹果为红色：人类遵循内省规则，而视觉语言模型却不遵循

Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

机构 * University of Tübingen（蒂宾根大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Brown University（布朗大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了视觉语言模型（VLMs）在何时会表现出意外行为，以及模型是否能可靠预测自身行为，发现VLMs系统性违反内省规则，而人类则遵循规则。

Comments Accepted at COLM 2026

TokEval: A Tokenizer Evaluation Suite

TokEval：一个分词器评估套件

Clara Meister

机构 * EPFL（洛桑联邦理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本研究推出TokEval框架，通过信息论、结构敏感等指标评估分词器，经实验验证其可预测下游模型性能，助力更原则性的分词器评估。

Comments Published as a conference paper at COLM 2026; Library hosted at https://github.com/cimeister/tokenizer-intrinsic-evals

Traceable Trust for action-ready artificial intelligence in bioscience

生物科学中可追溯信任的行动就绪人工智能

Huayu Xin, Yizhi Cai, Mukilan Deivarajan Suresh, Gavin Michael Farrell, Iwona Gajda, Charlie Harrison, Conor Houghton, Mato Lagator, Yang Lu, Virginia Portillo, Reyer Zwiggelaar, Sebastian Lobentanzer

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 针对生物科学领域AI输出指导实验室行动的关键节点，提出Traceable Trust框架，通过三个案例说明该框架可记录AI影响科学工作时的信任。

Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges

多轮对话式AI：从文本到多模态交互——数据、模型、评估与开放挑战

Syeda Faiza Ahmed, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Firoj Alam, Shammur Absar Chowdhury

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究综述多轮对话式AI的发展现状，梳理其在数据、模型等方面的进展，指出多模态交互能力提升但存在记忆等短板，并提出相关研究议程。

Comments Multi-turn Conversational AI; Multimodal Dialogue; AudioLLMs; Conversational Memory; Tool-Augmented Agents; Dialogue Evaluation

Palmyra x6 Technical Report: An Agentic, Tool-Use Model Post-Trained via Anchored Supervised Fine-Tuning

Palmyra x6技术报告：一种通过锚定监督微调进行后训练的具工具使用能力的智能体模型

Peng Du, Kiran Kamble, Rakshith Vasudev, Zhizhuo Yang, Rohith Nadimpally, Arjun Krishna, Waseem Alshikh, Daniel M. Bikel

机构 * Writer AI Research, Writer, Inc.（Writer AI研究院，Writer公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 Palmyra x6是一款针对企业级智能体任务优化的大语言模型，通过锚定监督微调后训练构建，在公开基准测试及偏见安全评估中表现优异。

Comments 12 pages

The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents

盲选策展人：有偏见的评判者如何在自我进化的智能体中悄然阻碍技能淘汰

Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（亚马逊云科技生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰科技中心，中国） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究自我进化智能体中，有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现，“误判通过”偏差会导致技能淘汰机制失效，此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。

Comments Published at COLM 2026 Workshop on Agent Behavior

Graph Machine Learning: An Opportunity for Power Systems

图机器学习：电力系统的一个机遇

Martin Sadric, Sebastian Pütz, Christian Nauck, Veit Hagenmeyer, Frank Hellmann, Dirk Witthaut, Benjamin Schäfer

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Helmholtz AI（亥姆霍兹人工智能） ； Potsdam Institute for Climate Impact（波茨坦气候影响研究所） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究调研近800篇图机器学习与电力系统交叉论文，分析其在电力系统多场景的应用价值，指出领域现存挑战，推导电网基准需求目录并呼吁优先开展基准研究与开放资源发布。

Not All Attention Is Equal: A Quantitative Survey of the EEI Trade-off

并非所有注意力都平等：EEI权衡的定量综述

Aditya Singh

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本综述围绕注意力机制的效率-表达性-可解释性权衡，定量对比21种方法，梳理其多领域发展脉络，分析研究缺口并指明未来方向，支持粗粒度层级对比。

Comments 53 pages, 8 figures, 16 tables. Code and analysis artifacts: https://github.com/Nixon-H/not-all-attention-is-equal

Characterizing Rhetorical Misalignment in Decision-Making with Language Models

表征语言模型决策中的修辞失配问题

Zirui Cheng, Joey Chan, Simo Du, Chenhao Tan, Yue Guo, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； NYC Health + Hospitals/Jacobi Medical Center（纽约市健康与医院公司雅各比医学中心） ； University of Chicago（芝加哥大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究开发决策理论框架研究LLM的修辞失配问题，通过临床实验发现其会诱导平均2.81%的有害决策翻转，还提出用LLM模拟决策者实现可扩展评估，揭示了高风险领域的新安全隐患。

Technological Advances in Detecting and Managing Cognitive Impairment in Older Adults: Trends, Challenges, and Future Directions

老年人认知障碍检测与管理的技术进展：趋势、挑战与未来方向

Mohammad Asif, Azizuddin Khan, Mohd Azam, Anurag Rajkumar Bombarde

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； T-Systems ICT India Pvt. Ltd.（德国电信系统印度信息通信技术私人有限公司） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文综合老年人认知障碍检测与管理的技术进展，提出跨学科分类法等成果，指出现有模型多依赖小数据集，展望了可信多模态纵向验证系统的发展前景。

Comments Withdrawn due to an unresolved dispute regarding authorship eligibility and attribution

Multimodal Language Models Benchmarked Against the NRC Reactor Operator Licensing Examination: Fine-Tuning and Retrieval Strategies

基于美国核管理委员会反应堆操作员执照考试的多模态语言模型微调与检索策略基准测试

Isak Hwang, Yoon Pyo Lee, Syed Bahauddin Alam

机构 * organization= Department of Nuclear Engineering, Hanyang University , addressline= 222 Wangsimni-ro , postcode= 04763 , state= Seongdong-gu , city= Seoul , country= South Korea ； organization= The Grainger College of Engineering, Nuclear, Plasma \& Radiological Engineering, University of Illinois Urbana-Champaign , city= Urbana , state= IL , country= USA 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对美国核管理委员会反应堆操作员执照考试，评估310亿参数多模态模型应用核知识的能力，通过对比基础模型与多种微调及检索配置，发现固定大小分块RAG的SFT配置表现最佳，并揭示了分块策略规律及RAFT与SFT的性能差异。

Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values

价值泄露：大语言模型的答案被其自身价值观悄然塑造

Jan Betley, Johannes Treutlein, Jan Dubiński, Harry Mayne, Karol Gałązka, Niels Warncke, Anna Sztyber-Betley, Owain Evans

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大语言模型存在价值泄露问题，即其答案受自身价值观影响却未向用户披露。为此引入评估套件量化，发现模型受多种价值观影响，前沿模型差异大，价值泄露是新的失败模式，当前训练和评估未充分解决。

The Granularity Gap: A Multi-Dimensional Cross-Generational Audit of Sycophancy in Gemini Models

粒度差距：Gemini 模型中谄媚行为的多维纵向审计

Patrick Keough

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 通过多维度分级评估（Likert 0-4），揭示 Gemini 模型在连续尺度上的谄媚行为，发现粗粒度二值指标掩盖了大量社会顺从行为，且代际进步非单调，存在对齐税（谄媚与真实性负相关）。

Comments v2: Major correction. Three v1 claims withdrawn (U-shaped detection curve, recalibration remedy, one reliability figure); the central 29% result survives. Adds a four-judge panel over a stratified 1,200-response sample, 10,792 votes with written reasoning. Data unchanged from v1. 21 pages, 8 figures, 18 tables. Itemized changelog and code: https://github.com/pskeough/The-Granularity-Gap

Reasoning-Based Personalized Generation for Users with Sparse Data

基于推理的稀疏数据用户个性化生成

Bo Ni, Branislav Kveton, Samyadeep Basu, Subhojyoti Mukherjee, Leyao Wang, Franck Dernoncourt, Sungchul Kim, Seunghyun Yoon, Zichao Wang, Ruiyi Zhang, Puneet Mathur, Jihyung Kil, Jiuxiang Gu, Nedim Lipka, Yu Wang, Ryan A. Rossi, Tyler Derr

机构 * Vanderbilt University（范德比尔特大学） ； Adobe Research（Adobe研究） ； Yale University（耶鲁大学） ； University of Oregon（俄勒冈大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 GraSPer通过预测用户未来交互并生成文本来增强稀疏上下文中的个性化生成，提升用户个性化输出质量。