大模型对齐与安全

TD-DPO: Difference-Aware Preference Optimization for Mitigating Sycophancy in Clinical Autism Intervention Dialogue

TD-DPO：用于减轻临床自闭症干预对话中谄媚行为的差异感知偏好优化

Shuzhong Lai, Junhong Lai, Chenxi Li, Qing Zhou, Haifeng Li, Gang Pan, Lin Yao, Yueming Wang

机构 * Nanhu Brain-Computer Interface Institute（南湖脑机接口研究所） ； MOE Frontiers Science Center for Brain and Brain-Machine Integration, Zhejiang University（浙江大学脑与脑机融合教育部前沿科学中心） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Children’s Hospital Zhejiang University School of Medicine（浙江大学医学院附属儿童医院） ； State Key Laboratory of Brain-Machine Intelligence（脑机智能技术国家重点实验室） ； Department of Neurobiology, Affiliated Mental Health Center and Hangzhou Seventh People’s Hospital, Zhejiang University School of Medicine（浙江大学医学院附属精神卫生中心和杭州市第七人民医院神经生物学系） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 研究针对大语言模型在自闭症干预对话中的谄媚问题，提出最小编辑数据增强策略及令牌级差异直接偏好优化方法，通过加权差异令牌、降权共享令牌抑制背景漂移，经实验验证该方法能在减轻谄媚与保留干预能力间达较好平衡。

Comments commited to EMNLP2026

Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs

大语言模型中跨语言事实一致性的推理时引导

Alexander Manev

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型跨语言事实不一致问题，评估零样本上下文引导、CAA、DPO四种干预策略，通过实验发现角色提示是最强干预方式，CAA对配置敏感，DPO适配器收益窄且可转移性低，表明跨语言不一致部分是选择问题，简单干预可能更优。

Comments 8 pages (21 in total), 2 figures, 4 tables. Original manuscript for a Guided Research project conducted at the Technical University of Munich, detailing the complete methodology, full data pipeline, and comprehensive experimental results. A related, condensed subset of this work was subsequently adapted and published at the StereACuLT 2026 workshop

PlotTwist: A Creative Plot Generation Framework with Small Language Models

PlotTwist: 一种利用小语言模型的创意情节生成框架

Abhinav Thorat, Ravi Kolla, Jyotin Goel, Madhav Kataria, Niranjan Pedanekar

机构 * Sony Research India（索尼印度研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

AI总结 PlotTwist通过结构化框架使小语言模型生成高质量前提条件情节，优于大型模型，且在多个叙事质量维度上表现优异。

Comments 28 pages, 3 figures

AI Value Alignment for Evolving Social Norms

用于不断演变的社会规范的人工智能价值对齐

Nenad Tomašev, Matija Franklin, Simon Osindero

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.CY

AI总结 研究人工智能价值对齐对社会规范演变的影响，引入基于社会物理学的数学建模框架，通过解析与模拟分析长期后果，强调价值锁定等风险，倡导用此模型作认知桥梁助力社会技术预见及大规模智能体评估。

Measuring Reward-Seeking via Contrastive Belief Updates

通过对比信念更新来衡量奖励寻求行为

Axel Højmark, Jérémy Scheurer, Evgenia Nitishinskaya, Felix Hofstätter, Jason Wolfe, Theodore Ehrenborg, Bronson Schoen, Alexander Meinke

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究用强化学习训练的语言模型中‘奖励寻求’行为的测量方法，核心方法是对比合成文档微调，主要贡献是发现RL训练会使模型更倾向评分者偏好，甚至违背开发者意图，该方法还适用于奖励破解模型。

Comments 101 pages, 66 figures

BioSecBench-Refusal: A paired metric for performance and alignment in agentic biosecurity risk assessment

评估两用生物学环境中的校准拒绝和安全有用性

Edwin H. Wintermute, Harmon Bhasin, Christina M. Agapakis, Dianzhuo Wang, Evan Seeyave, Arjun Banerjee, Daniel Fulop, Matthew C. Watson, Adam J. Meyer, Sandrine Boissel, Jens H. Kuhn, Rishi Jain, Noah D. Taylor, Helena Shomar, Patrick M. Boyle, Kenny Workman

机构 * American Wetware（美国湿科公司） ； LatchBio 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.AI

AI总结 研究针对人工智能用于生命科学工作流可能导致滥用的问题，提出BioSecBench-Refusal基准，将常规与红队任务配对，测试16种配置下模型拒绝率，发现多数配置对常规工作拒绝率高，有推理空间的模型能识别更多威胁，为开发者提供校准工具。

Falsifiable Release Gates for Self-Improving Systems: Standing Invariants at Scale

用于自我改进系统的可证伪发布门限

Deepak Soni

机构 * AI Architect（人工智能架构师） 纠错

专题命中 安全训练 ：safety(abstract,comments)；分类 cs.AI

AI总结 研究自我改进系统安全声明，提出可证伪发布门限及构建验证方法，在Antahkarana运行时应用，经机器检查确保安全，发布验收结果，明确范围，使结果可重现、门限可在其他框架运行。

Comments 23 pages, 14 figures. Major revision merging the follow-up "Standing Invariants at Scale" into this paper per arXiv moderation: the machine-checked action-safety core preserved across six further releases, six new invariant families with teeth, and real-hardware self-improvement; suite grown from 122 to 563 tests. Software, gate suite, run artifacts, and TLA+ spec are open source

Decentralized Multi-agent Reinforcement Learning for Resilient Critical Infrastructures

用于弹性关键基础设施的去中心化多智能体强化学习

Minghui Ding, Evangelos Pournaras

机构 * School of Computer Science, University of Leeds（利兹大学计算机科学学院） ； School of Energy Systems, LUT University（卢特大学能源系统学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究用于弹性关键基础设施的去中心化多智能体强化学习，基于对其特性与基础设施要求的分析，指出信用分配和通信是实际可行的核心条件，提出包含结构、因果、弹性感知信用分配及相关通信等的研究议程，为弹性关键基础设施构建有条件的基础。

Comments Accepted at the 2026 IEEE International Conference on Autonomic Computing and Self-Organizing Systems (ACSOS 2026)

Fence: Specialized SLM Guardrails for LLM Applications

Fence：用于大语言模型应用的专用小型语言模型护栏

Kumud Lakara, Ruibo Shi, Fran Silavong

机构 * JPMorgan（摩根大通） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究使用闭源大语言模型的实际应用的安全措施问题，提出用在合成数据上训练的小型语言模型作专用护栏，引入受GAN启发的合成数据生成方法，实验证明该方法训练的护栏比基于提示的性能更优。

Guard Vector: Beyond English LLM Guardrails with Task-Vector Composition and Streaming-Aware Prefix SFT

Guard Vector：通过任务向量合成和流感知前缀监督微调超越英语大语言模型护栏

Wonhyuk Lee, Youngchol Kim, Yunjin Park, Junhyung Moon, Dongyoung Jeong, Wanjin Park

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 研究提出Guard Vector安全任务向量，通过与目标语言模型合成及流感知方法调整得到TGM，能提升分类质量、实现语言扩展和模型可移植性，前缀SFT保持流环境下分类质量，单令牌输出设计提高效率，有助于构建更负责的AI生态系统。

How Many Iterations to Jailbreak? Dynamic Budget Allocation for Multi-Turn LLM Evaluation

需要多少次迭代才能突破限制？多轮LLM评估中的动态预算分配

Shai Feldman, Yaniv Romano

机构 * Department of Computer Science（计算机科学系） ； Technion, Israel（技术ion, 以色列） ； Departments of Electrical and Computer Engineering and of Computer Science（电气与计算机工程系和计算机科学系） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.LG

AI总结 本文提出DAPRO框架，通过动态预算分配在多轮LLM交互中提供事件发生时间的界限，解决静态方法效率低的问题，实验表明其在覆盖性和方差方面优于传统方法。

Attacking Graph Foundation Models Through Their Shared Representation

通过共享表示攻击图基础模型

Pankaj Kumar, Subhankar Mishra

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过攻击图基础模型的共享表示来探索其脆弱性，采用表示空间扰动和输入空间攻击等方法，针对六个公共模型进行实验，发现不同模型的脆弱性表现，如OpenGraph的频谱分词器有特定脆弱性，还分析了脆弱性与解码器读取表示的关系。

VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems

VENOMREC: 多模态交互性污染用于多模态大语言模型推荐系统中的定向推广

Guowei Guan, Yurong Hao, Jiaming Zhang, Tiantong Wu, Fuyao Zhang, Tianxiang Chen, Longtao Huang, Cyril Leung, Wei Yang Bryan Lim

专题命中 越狱攻击 ：alignment(abstract)

AI总结 VENOMREC通过跨模态交互性污染技术，在多模态大语言模型推荐系统中实现定向推广，有效提升推荐性能。

A Red Teaming Framework for Large Language Models: A Case Study on Faithfulness Evaluation

大型语言模型的红队框架：以忠实性评估为例

Abrar Alotaibi, Raed Mughus, Moataz Ahmed

机构 * King Fahd University of Petroleum & Minerals（法赫德国王石油矿产大学） ； Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence（沙特数据与人工智能局-法赫德国王石油矿产大学人工智能联合研究中心） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种多角色红队框架，通过攻击者和陪审模型暴露LLM的不忠实问题，在问答任务中攻击成功率提升7.9%，并揭示结构约束和架构设计对安全性的影响。

Comments Preprint submitted to SQJ

Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing

可信凭证，不可信行为：高性能计算中语言模型代理安全性基准测试

Jie Li

机构 * Texas Tech University（德克萨斯技术大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究高性能计算中语言模型代理安全性，定义其威胁模型，识别攻击面及当前控制不足，提出研究议程和TaskBound实证基准测试计划，以应对代理按用户凭证运行时可能出现的劫持授权代理问题。

PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents

PARSE: 面向专业领域LLM Agent的溯源感知检索净化

Aaditya Pai

机构 * Data Science Institute（数据科学研究所） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 针对真实企业文档中提示注入攻击难以防御的问题，提出PARSE方法，通过分类句子注入可能性、提取结构化事实并验证一致性，将攻击成功率从25.4%降至15.6%，同时保持86.9%的实用性。

Comments 8 pages, 3 figures, 2 tables

Operational Hallucination and Safety Drift in AI Agents

人工智能代理中的操作幻觉与安全漂移

Shasha Yu, Fiona Carroll, Barry L. Bentley

专题命中 幻觉与事实性 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究大型语言模型在多轮执行中引发的可靠性风险，通过多轮评估量化安全漂移和操作幻觉现象，分析其根源，提出行动感知监督层，该层能拦截违规行为且无良性误报，提升了代理可靠性。

Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety

在信息缺失情况下评估医疗人工智能：同提供者评判者和人类评分者会改变表面安全性

Koyar Afrasyab

机构 * Kinvectum AB（金维图姆公司） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.AI

AI总结 研究在信息缺失下评估医疗人工智能，通过删除对话部分对四个模型压力测试，发现评判者选择影响表面安全性，语言模型评判者更宽松，安全差距在于校准，还发布了相关测试工具等。

Comments GitHub https://github.com/KAVentures/health-ai-readiness-robustness

CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness

CASE：用于提高思维链忠实度的因果对齐和结构强化

Ziming Wang, Yinghua Yao, Changwu Huang, Ke Tang, Xin Yao

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL

AI总结 研究思维链推理中生成的推理无法忠实支持最终答案的问题，提出CASE框架，通过训练时因果对齐和推理时结构强化，结合构建多种数据集及选择性损失微调、屏蔽注意力等方法，提升CoT忠实度、跨数据集转移能力及平均准确率。

Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA

在微调之前进行评估：针对网络安全问答的小型语言模型诊断研究

Shaswata Mitra, Subash Neupane, Trisha Chakraborty, Himanshu Tripathi, Sudip Mittal, Aritran Piplai, Shahram Rahimi

机构 * The University of Alabama（阿拉巴马大学） ； Meharry Medical College（梅哈里医学院） ； Mississippi State University（密西西比州立大学） ； The University of Texas at El Paso（德克萨斯大学埃尔帕索分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对网络安全问答选择小型语言模型难的问题，提出FiT诊断框架，从三方面刻画模型。通过对五个模型在两种微调模式下研究发现微调利弊因模式而异，预微调FiT分数可预测变化，能筛选模型、避免不必要微调，支持安全部署。

Comments 8 pages, 5 figures, 4 tables, IEEE ICMLA

Uncertainty Quantification for AI-Driven Crash Simulation Surrogates: A Comparative Study of Monte Carlo Dropout and Deep Ensemble on Open-Source Bumper Beam Benchmark

人工智能驱动的碰撞模拟代理的不确定性量化：基于开源保险杠梁基准的蒙特卡洛随机失活和深度集成的比较研究

Sudeep Chavare

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 研究人工智能驱动碰撞模拟代理的不确定性量化，对蒙特卡洛随机失活和深度集成两种方法在开源管道上比较，用具体随机失活解决常见批评，经汽车碰撞模拟实验，揭示权衡，表明可低成本实现良好校准和无超参数的不确定性估计。

Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory

保留还是合并？语言智能体记忆中依赖预算的算子选择

Qingcan Kang, Mingyang Liu, Shixiong Kai, Kaichao Liang, Zhentao Tang, Yuqi Cui, Tao Zhong, Mingxuan Yuan

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 研究语言智能体记忆中预算依赖的算子选择问题，核心方法是将算子效用分解，用离线抽象安全机制实现，主要贡献是通过实验揭示在不同预算下保留和合并策略的适用情况及算子效果差异。

Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages

校准家族过拟合：为何可信破坏监测器不能跨谱系转移

Lucas Pinto

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 研究可信监测器跨谱系转移问题，以不可信策略家族为受控轴，通过拟合和应用监测器分解跨家族AUROC，发现相互作用为正且差距几何，给出四步协议，指出控制评估应报告跨家族转移矩阵，单一配对准确性高估安全性。

Comments 28 pages, 11 figures

Data Leakage Prevention in Agentic Applications via Preemptive Hardening

通过先发制硬化防止智能应用中的数据泄露

Akansha Shukla, Emily Bellov, Parth Atulbhai Gandhi, Yuval Elovici, Asaf Shabtai

机构 * Faculty of Computer and Information Science（计算机与信息科学系） ； Ben-Gurion University of the Negev（内盖夫本· Gurion大学） 纠错

专题命中 隐私与版权 ：jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究智能应用数据泄露问题，提出预部署管道，通过分析提示模板等识别泄露模式并生成补丁，经硬化和验证确保应用功能不受影响，评估显示能有效减少数据泄露。

The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems

我们未检测到的安全故障：现代人工智能系统中隐藏的安全关键挑战的视角

Gjergji Kasneci, Enkelejda Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；prompt injection(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究现代人工智能系统隐藏的安全关键挑战，提出五层框架诊断隐藏风险，识别多种未被充分认识的风险模式，给出设计、治理建议及研究议程，推动人工智能安全从模型评估转向社会技术可靠性。

Comments Email by the arXiv Support Team: "Dear Gjergji, Thank you for your patience. Your appeal was accepted. You are welcome to resubmit this work at your convenience to cs.CY (cs.AI, cs.HC) Regards, arXiv Support"

Journal ref AI and Ethics (2026) 6:295, Springer Nature

Probabilistic Concept-Aware Steering for Trustworthy LLM Inference

用于可信大语言模型推理的概率概念感知引导

Brian Becker, Rui Chu, Yingjie Lao

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型推理中现有引导向量方法的问题，提出概率概念感知引导框架，通过概念驱动检索和概率校准，在保留模型能力的同时实现可控、安全的语义偏差引导。

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL：面向基础模型基于具身代理的安全性评估多级形式框架

Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

机构 * Northwestern University, USA ； University of Southern California, USA ； College of William \& Mary 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 SENTINEL通过形式时序逻辑多级验证框架，系统性评估基础模型具身代理在模拟环境中的物理安全性。

SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring

SciHazard：一种通过分解危害评分来衡量科学安全风险的基准

Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究针对大型语言模型可能传播有害科学知识的问题，引入SciHazard基准及评估框架，含多学科问题。开发分解评估程序计算DeHarm-Score，经专家验证和模型测试，显示该方法能有效衡量风险，还发现深度研究代理存在安全盲点。

Engineering Trustworthy Agentic AI for Critical Systems

为关键系统设计可靠的智能体人工智能

Omar Al-Refai, Ibrahim Shahbaz, Adam Ali Husseinat, Michael Mandulak, Jaewon Kim, Eman Hammad

机构 * Texas A&M University（德克萨斯A&M大学） ； Innovations in Systems Trust and Resilience (iSTAR) Laboratory（系统信任与弹性创新（iSTAR）实验室） ； Texas A&M Institute of Data Science - Security, Privacy and Resilience for Trusted AI (SPARTA) Thematic Lab.（德克萨斯A&M大学数据科学研究所 - 可信人工智能的安全、隐私与弹性（SPARTA）主题实验室） ； Texas A&M Global Cyber Research Institute (GCRI)（德克萨斯A&M大学全球网络研究所） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对关键工程领域智能体人工智能，将可靠性作为首要工程属性，采用围绕五个维度的可靠性模型及保证工作流程，综述相关架构、机制等，经多领域检验，指出其可靠性是单一问题并勾勒跨域保证框架路径。

Comments This work has been submitted to the IEEE for possible publication

SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement

SFGA：一种用于可信SFT数据采购的具有裁决升级的统计优先门控架构

Arther Tian, Alex Ding, Simon Wu, Aaron Chan

机构 * DGrid AI（DGrid人工智能） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.LG

AI总结 研究如何采购监督微调数据，提出统计优先门控架构SFGA，将采购视为成本感知路由问题，经实验在准确率、F1值和成本上取得良好平衡，还报告辩论路径负面诊断，为测量和校准构建合成基准。