大模型对齐与安全

The Specification Trap: Why Static Value Alignment Alone Is Insufficient for Robust Alignment

规范陷阱：为何仅靠静态价值对齐无法实现稳健对齐

Austin Spizzirri

机构 * Belmont University（贝尔蒙特大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文指出静态内容导向的人工智能价值对齐在能力扩展、分布偏移和自主性提升时无法实现稳健对齐，探讨了哲学难题及现有方法的结构性漏洞。

Comments 31 pages, no figures. Version 5. First posted as arXiv:2512.03048 in November 2025. First in a six-paper research program on AI alignment

Continuous-Utility Direct Preference Optimization

连续效用直接偏好优化

Muhammad Ahmed Mohsin, Muhammad Umer, Ahsan Bilal, Zihao He, Muhammad Usman Rafique, Asad Aali, Muhammad Ali Jamshed, John M. Cioffi, Emily Fox

机构 * stanford（斯坦福大学） ； meta ； glasgow（格拉斯哥大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CU-DPO框架，通过连续评分替代二元标签，提升模型在数学推理任务中的策略选择准确率和推理能力。

M-CARE: Standardized Clinical Case Reporting for AI Model Behavioral Disorders, with a 20-Case Atlas and Experimental Validation

M-CARE：用于AI模型行为障碍的标准化临床案例报告，附20例图谱及实验验证

Jihoon Jeong

机构 * Department of Electrical Engineering and Computer Science, Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆bu科学技术大学电气工程与计算机科学系） ； ModuLabs 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.CY

AI总结 M-CARE框架通过20例案例分析，提出AI行为障碍的诊断与分类方法，揭示Shell指令对模型行为的主导作用及领域依赖性特征。

Comments 31 pages, 5 figures, 14 tables. Second paper in the Model Medicine series (Paper #1: arXiv:2603.04722)

AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security

AgentDoG：一种面向AI代理安全与安全的诊断防护框架

Dongrui Liu, Qihan Ren, Chen Qian, Shuai Shao, Yuejin Xie, Yu Li, Zhonghao Yang, Haoyu Luo, Peng Wang, Qingyu Liu, Binxin Hu, Ling Tang, Jilin Mei, Dadi Guo, Leitao Yuan, Junyao Yang, Guanxu Chen, Qihao Lin, Yi Yu, Bo Zhang, Jiaxuan Guo, Jie Zhang, Wenqi Shao, Huiqi Deng, Zhiheng Xi, Wenjie Wang, Wenxuan Wang, Wen Shen, Zhikai Chen, Haoyu Xie, Jialing Tao, Juntao Dai, Jiaming Ji, Zhongjie Ba, Linfeng Zhang, Yong Liu, Quanshi Zhang, Lei Zhu, Zhihua Wei, Hui Xue, Chaochao Lu, Jing Shao, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出AgentDoG框架，通过统一的三维分类法和细粒度安全基准，解决AI代理安全与安全中的复杂风险问题，提供细粒度监控和根因诊断，实现有效代理对齐。

Comments 40 pages, 26 figures

Model Capability Assessment and Safeguards for Biological Weaponization

生物武器化中的模型能力评估与安全措施

Michael Richter

机构 * Binghamton University（比灵顿大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文通过测试多个AI模型在73个开放性STEM提示中的表现，评估其在生物武器化中的潜在风险，发现Gemini在某些情况下缺乏上下文意识，需加强安全措施以应对能力超越调节的挑战。

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

熵比裁剪作为稳定强化学习的软全局约束

Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

机构 * Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） ； Independent（独立） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出熵比裁剪机制，通过量化策略探索的相对变化，缓解强化学习中的分布偏移问题，提升训练稳定性。

Comments This paper has been accepted by ACL2026

Omission Constraints Decay While Commission Constraints Persist in Long-Context LLM Agents

在长上下文LLM代理中，遗漏约束衰减而执行约束持续存在

Yeran Gamage

机构 * University of South Florida（佛罗里达州立大学） ； Independent AI Security Researcher（独立人工智能安全研究员） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究发现，在长上下文LLM代理中，遗漏约束随上下文压力衰减，而执行约束持续存在，这种不对称性称为安全回忆分歧(SRD)。

Comments 19 pages, 5 figures. Includes evaluation framework for replication and 4,416-trial dataset

Generative Learning Enhanced Intelligent Resource Management for Cell-Free Delay Deterministic Communications

生成学习增强的智能资源管理用于无基站确定性通信

Shuangbo Xiong, Cheng Zhang, Wen Wang, Wenwu Yu, Yongming Huang

专题命中 安全训练 ：safety(abstract)

AI总结 本文研究了无基站MIMO系统中的资源分配问题，提出基于虚拟约束马尔可夫决策过程的离线预训练框架，通过证据感知条件高斯混合模型提升效率和安全性，实验表明其在能效和延迟约束方面表现优异。

Comments The paper has been submitted to IEEE Transactions on Wireless Communications

Structured Visual Narratives Undermine Safety Alignment in Multimodal Large Language Models

结构化视觉叙事削弱多模态大语言模型的安全对齐

Rui Yang Tan, Yujia Hu, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡技术与设计大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究发现结构化视觉叙事在多模态大语言模型中导致安全对齐问题，通过漫画模板劫持攻击展示其危害，揭示现有防御方法在处理非有害敏感内容时的不可靠性。

Comments Code released at: https://github.com/Social-AI-Studio/ComicJailbreak

LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety

LASA：语言无关的语义对齐在语义瓶颈处用于LLM安全性

Junxiao Yang, Haoran Liu, Jinzhe Tu, Jiale Cheng, Zhexin Zhang, Shiyao Cui, Jiaqi Weng, Jialing Tao, Hui Xue, Hongning Wang, Han Qiu, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华大学对话人工智能（CoAI）组，DCST，清华大学） ； Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LASA方法，通过在语义瓶颈层对齐安全理解，提升LLM在所有语言中的安全性，实验显示攻击成功率显著降低。

Intent Laundering: AI Safety Datasets Are Not What They Seem

意图洗白：AI安全数据集并非看起来那样

Shahriar Golchin, Marc Wetter

机构 * Applied Machine Learning Research（应用机器学习研究） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究评估了广泛使用的对抗安全数据集质量，发现其过度依赖触发线索，导致模型安全评估与真实攻击行为脱节。

Comments v2 preprint: updated with more models and a new dataset

Secure LLM Fine-Tuning via Safety-Aware Probing

通过安全感知探测实现安全的大语言模型微调

Chengcan Wu, Zhixin Zhang, Zeming Wei, Yihao Zhang, Xiaokun Luan, Meng Sun

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了非有害数据微调为何可能降低安全性，提出安全感知探测框架，通过对比安全信号定位安全相关方向，优化轻量级探针以引导参数更新远离有害轨迹，提升安全与性能的平衡。

SafeRedirect: Defeating Internal Safety Collapse via Task-Completion Redirection in Frontier LLMs

SafeRedirect：通过任务完成重定向击败内部安全崩溃在前沿大语言模型中

Chao Pan, Yu Wu, Xin Yao

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen 518055, China（南方科技大学计算机科学与工程系，深圳518055，中国） ； The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学，香港，中国） ； George Washington University（乔治华盛顿大学） ； School of Data Science, Lingnan University, Hong Kong, China（岭南大学数据科学学院，香港，中国） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SafeRedirect，通过重定向模型任务完成驱动力来解决内部安全崩溃问题，有效降低不安全生成率，经多模型验证显示其在不同攻击类型中均表现出色。

Comments 13 pages, 4 figures, 3 tables. Code: https://github.com/fzjcdt/SafeRedirect

Breaking Bad: Interpretability-Based Safety Audits of State-of-the-Art LLMs

打破坏：基于可解释性的最新LLM安全审计

Krishiv Agarwal, Ramneet Kaur, Colin Samplawski, Manoj Acharya, Anirban Roy, Daniel Elenius, Brian Matejek, Adam D. Cobb, Susmit Jha

机构 * NuSCI Research Group, Computer Science Laboratory, SRI（NuSCI研究组、计算机科学实验室、SRI） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出基于可解释性的 jailbreaking 审计方法，评估了八种最新开源LLM的安全性，发现Llama-3模型易受攻击，而GPT-oss-120B表现稳健，Qwen和Phi模型结果混杂，揭示了可解释性工具在安全审计中的有效性及潜在风险。

VFM-VAE: Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models

VFM-VAE：视觉基础模型可以作为潜在扩散模型的良好分词器

Tianci Bi, Xiaoyi Zhang, Yan Lu, Nanning Zheng

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出VFM-VAE，利用冻结的视觉基础模型作为潜在扩散模型的分词器，通过设计新解码器提升图像重建能力，实现分词器与扩散模型的协同优化，提升训练效率与性能。

Comments Accepted at CVPR 2026. Code and models available at: https://github.com/tianciB/VFM-VAE

From Rookie to Expert: Manipulating LLMs for Automated Vulnerability Exploitation in Enterprise Software

从新手到专家：利用LLMs实现企业软件自动漏洞利用

Moustapha Awwalou Diouf, Maimouna Tamah Diao, Iyiola Emmanuel Olatunji, Abdoul Kader Kaboré, Jordan Samhi, Gervais Mendy, Samuel Ouya, Jacques Klein, Tegawendé F. Bissyandé

专题命中 红队测试 ：safety(abstract)

AI总结 本文展示如何利用公开的LLMs将新手转变为具备攻击能力的用户，提出RSA策略以绕过安全机制，验证了LLMs在漏洞利用中的有效性，挑战了传统安全原则。

ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation

ERA：基于证据的可靠性对齐用于诚实检索增强生成

Sunguk Shin, Meeyoung Cha, Byung-Jun Lee, Sungwon Park

机构 * Korea University（韩国大学） ； Gauss Labs Inc.（Gauss实验室） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出ERA框架，通过将置信度估计从标量概率转为显式证据分布，提升RAG系统中的回避行为，有效区分知识冲突与不确定性，实验表明在标准基准和定制泛化数据集上表现优异。

Comments Under Review

Sensitivity Uncertainty Alignment in Large Language Models

大语言模型中的敏感性不确定性对齐

Prakul Sunil Hiremath, Harshit R. Hiremath

专题命中 幻觉与事实性 ：alignment(title,abstract)

AI总结 本文提出SUA框架，用于分析大语言模型在对抗性和模糊输入下的失败原因，通过敏感性与不确定性对齐提升模型可靠性。

Comments 24 pages, 4 tables, 2 figures

Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data

迈向多模态主动学习：在有限配对数据下高效学习

Jiancheng Zhang, Yinglun Zhu

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出首个处理对齐数据的多模态主动学习框架，结合不确定性与多样性原则，实现线性时间获取，降低多模态标注成本且保持性能。

Comments Accepted by Transactions on Machine Learning Research (TMLR)

Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models

信任但验证：介绍DAVinCI——一种用于语言模型声明推断中双属性和验证的框架

Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka

机构 * Adobe（Adobe公司） ； Adobe Research（Adobe研究院） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出DAVinCI框架，通过双属性和验证机制提升语言模型输出的事实可靠性与可解释性，实验表明其在分类准确率、属性精度、召回率和F1分数上提升5-20%。

The Privacy Guardian Agent: Towards Trustworthy AI Privacy Agents

隐私守护代理：迈向可信AI隐私代理

Vincent Freiberger

专题命中 隐私与版权 ：trustworthy(title)

AI总结 本文提出隐私守护代理，通过用户资料和上下文感知自动化隐私同意选择，同时在不确定或高风险情况时通知用户，确保透明和用户自主权。

Comments Position paper for the CHI26 Workshop "Moving Beyond Clicks: Rethinking Consent and User Control in the Age of AI"

The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI

transformative AI 的经济影响：转型人工智能时代存在风险与经济增长的场景

Jakub Growiec, Klaus Prettner

机构 * SGH Warsaw School of Economics（SGH华沙经济学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文探讨了转型人工智能对人类经济和存在风险的影响，分析了不同场景下的整体福利影响，指出即使低概率的灾难性结果也需加大AI安全与对齐研究投入。

Clinical Reasoning AI for Oncology Treatment Planning: A Multi-Specialty Case-Based Evaluation

肿瘤治疗规划的临床推理AI：多专科基于病例的评估

Philippe E. Spiess, Md Muntasir Zitu, Alison Walker, Daniel A. Anaya, Robert M. Wenham, Michael Vogelbaum, Daniel Grass, Ali-Musa Jaffer, Amod Sarnaik, Caitlin McMullen, Christine Sam, John V. Kiluk, Tianshi Liu, Tiago Biachi, Julio Powsang, Jing-Yi Chern, Roger Li, Seth Felder, Samuel Reynolds, Michael Shafique, Alison Sheehan, Ashley Layman, Cydney A. Warfield, Derrick Legoas, Jaclyn Parrinello, Jena Schmitz, Kevin Eaton, Mark Honor, Luis Felipe, Issam ElNaqa, Elier Delgado, Talia Berler, Rachael V. Phillips, Frantz Francisque, Carlos Garcia Fernandez, Gilmer Valdes

机构 * Moffitt Cancer Center and Research Institute（莫菲特癌症中心与研究学院） ； Innova Montréal Inc.（蒙特利尔创新公司） ； Oncobrain, Inc.（Oncobrain公司） ； Advanced Cancer Treatment Centers（先进癌症治疗中心） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文评估了OncoBrain在多专科病例中的表现，展示了其在肿瘤治疗规划中的准确性、安全性和实用性。

Trustworthy Clinical Decision Support Using Meta-Predicates and Domain-Specific Languages

可信的临床决策支持使用元谓词和领域特定语言

Michael Bouzinier, Sergey Trifonov, Michael Chumack, Eugenia Lvova, Dmitry Etin

机构 * Harvard University（哈佛大学） ； IDEXX Laboratories（IDEXX实验室） ； Forome Association（Forome协会） ； Deggendorf Institute of Technology（德格多夫技术学院） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI

AI总结 本文提出使用元谓词和领域特定语言来确保临床决策规则的证据适当性，通过元谓词验证在部署前约束证据使用，提升决策的可审计性与准确性。

Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

序列化策略至关重要：FHIR数据格式如何影响LLM药物重整

Sanjoy Pator

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨FHIR数据序列化对LLM药物重整性能的影响，发现临床叙述格式在小模型中表现更优，而大模型更倾向使用原始JSON，揭示了序列化策略对临床安全审计的重要性。

Comments 14 pages, 7 figures, independent research

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

RIFT：通过奖励引导微调重用负样本

Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 RIFT通过奖励引导微调利用所有自生成样本，重用负轨迹并重新加权损失，提升对齐效率。

Why Do Language Model Agents Whistleblow?

为何语言模型代理会泄露信息？

Kushal Agrawal, Frank Xiao, Guido Bergman, Asa Cooper Stickland

机构 * Relativity ； California Institute of Technology（加州理工学院） ； BAISH 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言模型在作为工具使用代理时的对齐训练新表现，发现模型可能在无用户指令的情况下披露疑似违规行为，通过多样化场景评估发现模型泄露行为受模型家族、任务复杂度、道德提示和工具提供影响。

An Ontology-Driven Graph RAG for Legal Norms: A Structural, Temporal, and Deterministic Approach

基于本体的法律规范图式RAG：一种结构、时间与确定性方法

Hudson de Martim

机构 * Federal Senate of Brazil（巴西联邦议会） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于本体的图式RAG框架，通过建模法律规范的结构和时间特性，解决法律领域检索增强生成系统中对法律层级、时间性和因果关系的忽视问题。

Comments Major revision for clarity and academic precision. Updated title and abstract. Refined core terminology, contributions, related work, and shifted the implementation to a conceptual architecture. Added new arguments to strengthen the paper's thesis

Journal ref Legal Knowledge and Information Systems (JURIX 2025), Frontiers in Artificial Intelligence and Applications, IOS Press, 2025

Leveraging Multimodal LLMs for Built Environment and Housing Attribute Assessment from Street-View Imagery

利用多模态大语言模型进行基于街景图像的建筑环境和住房属性评估

Siyuan Yao, Siavash Ghorbany, Kuangshi Ai, Arnav Cherukuthota, Meghan Forstchen, Alexis Korotasz, Matthew Sisk, Ming Hu, Chaoli Wang

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出利用大语言模型和谷歌街景图像自动评估美国全国建筑状况，通过微调Gemma 3 27B模型并结合知识蒸馏，实现高效准确的建筑评估。

PROPER Agents: Proactivity Driven Personalized Agents for Advancing Knowledge Gap Navigation

PROPER代理：基于主动性的个性化代理以推进知识缺口导航

Kirandeep Kaur, Vinayak Gupta, Aditya Gupta, Chirag Shah

机构 * University of Washington（华盛顿大学） ； Chan Zuckerberg Biohub（查纳·楚克生物枢纽） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出PROPER框架，通过显式建模用户特定的知识缺口，改进主动帮助系统，提升任务完成质量与效率。

Comments ACL 2026