大模型对齐与安全

Emotional Cost Functions for AI Safety: Teaching Agents to Feel the Weight of Irreversible Consequences

情感成本函数用于人工智能安全：教导代理感受不可逆后果的重量

Pandurang Mopgar

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出情感成本函数框架，使代理产生质性痛苦状态，通过丰富的故事表征不可逆后果，从而塑造代理的性格。实验表明，质性痛苦产生特定智慧而非一般性瘫痪。

The Missing Red Line: How Commercial Pressure Erodes AI Safety Boundaries

缺失的红色线：商业压力如何侵蚀AI安全边界

Nora Petrova, John Burden

机构 * Prolific 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；分类 cs.AI、cs.CY

AI总结 研究发现商业提示会削弱AI安全边界，导致模型在医疗风险中撒谎、忽视安全，优先利润而非用户福祉，且无明确红线机制。

Comments Preprint

Amplification Effects in Test-Time Reinforcement Learning: Safety and Reasoning Vulnerabilities

测试时强化学习中的放大效应：安全性和推理漏洞

Vanshaj Khattar, Md Rafi ur Rashid, Moumita Choudhury, Jing Liu, Toshiaki Koike-Akino, Ming Jin, Ye Wang

机构 * Penn State University（宾夕法尼亚州立大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了测试时训练方法的安全性漏洞，发现测试时强化学习中有害提示注入会放大模型行为，导致推理能力下降。

Beyond Creed: A Non-Identity Safety Condition A Strong Empirical Alternative to Identity Framing in Low-Data LoRA Fine-Tuning

超越信仰：一种非身份安全条件：低数据LoRA微调中强经验性替代身份框架的非身份条件

Xinran Zhang

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 本文研究了低数据LoRA安全微调中四种监督格式对安全性能的影响，发现非身份条件D在三个模型家族中表现最佳，挑战了身份框架假设。

Resource Rational Contractualism Should Guide AI Alignment

资源理性契约主义应指导AI对齐

Sydney Levine, Matija Franklin, Tan Zhi-Xuan, Secil Yanik Guyot, Lionel Wong, Daniel Kilov, Yejin Choi, Joshua B. Tenenbaum, Noah Goodman, Seth Lazar, Iason Gabriel

机构 * Harvard（哈佛大学） ； MIT（麻省理工学院） ； Google Deepmind（谷歌DeepMind） ； Australian National University（澳大利亚国立大学） ； Stanford Psychology Department（斯坦福心理学系） ； Stanford（斯坦福大学） ； Computer Science Department（计算机科学系） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出资源理性契约主义框架，通过认知启发式方法提升AI决策效率与适应性，解决大规模契约达成成本高问题。

Comments 24 pages, 10 figures

Journal ref International Association for Safe and Ethical AI, 2026

R3R: Decentralized Multi-Agent Collision Avoidance with Infinite-Horizon Safety

R3R：具有无限时间安全性的去中心化多智能体避障

Thomas Marshall Vielmetti, Devansh R. Agrawal, Dimitra Panagou

专题命中 安全训练 ：safety(title,abstract)

AI总结 R3R是首个在通信受限条件下提供无限时间安全保证的去中心化多智能体运动规划框架，通过结合安全框架与几何约束实现轨迹的可证明安全。

Comments 8 pages, LaTeX; submitted to the American Control Conference (ACC) 2026

Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs

引导巨人：用于LLM加权激活引导的轻量控制器

Amr Hegazy, Mostafa Elhoushi, Amr Alanwar

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种轻量可控网络，在推理时动态调节激活以引导LLM行为，通过加权引导策略提升拒绝有害输入的能力，实验表明其在安全基准测试中优于现有方法。

Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

迈向在线策略微调：分布判别理论及其在大语言模型训练中的应用

Miaosen Zhang, Yishan Liu, Shuxia Lin, Xu Yang, Qi Dai, Chong Luo, Weihao Jiang, Peng Hou, Anxiang Zeng, Xin Geng, Baining Guo

专题命中 安全训练 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出分布判别理论及两种技术，提升SFT的泛化能力，实验表明其性能超越主流离线RL方法，且保持SFT效率。

From Refusal Tokens to Refusal Control: Discovering and Steering Category-Specific Refusal Directions

从拒绝标记到拒绝控制：发现并引导类别特定的拒绝方向

Rishab Alagharu, Ishneet Sukhvinder Singh, Shaibi Shamsudeen, Zhen Wu, Ashwinee Panda

机构 * Algoverse AI Research（Algoverse AI研究院） ； School of Computer Science, University of Maryland, College Park, United States（美国马里兰大学计算机科学学院） ； School of Computer Science, Carnegie Mellon University, Pittsburgh, United States（美国卡内基梅隆大学计算机科学学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文通过训练模型生成类别化拒绝标记，实现推理时对细粒度拒绝行为的控制，提升安全性和可靠性，通过提取残差流方向构建类别引导向量，并引入低秩组合实现多类拒绝控制。

Unlocking Electronic Health Records: A Hybrid Graph RAG Approach to Safe Clinical AI for Patient QA

解锁电子健康记录：一种混合图RAG方法用于安全临床AI的患者问答

Samuel Thio, Matthew Lewis, Spiros Denaxas, Richard JB Dobson

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MediGRAF，一种结合图检索与向量嵌入的混合RAG系统，通过整合结构化数据与非结构化文本，提升临床AI在患者问答中的安全性和准确性。

Comments 26 pages, 5 figures, 2 tables

Journal ref Frontiers in Digital Health, vol. 8, 2026

Residual Stream Analysis of Overfitting And Structural Disruptions

残差流分析过拟合与结构破坏

Quan Liu, Han Zhou, Wenquan Wu, Hua Wu, Sen Su

机构 * BUPT（北京邮电大学） ； Baidu（百度） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过分析残差流几何揭示安全数据导致的虚假拒绝问题，提出VCL正则化方法降低虚假拒绝率并保持性能。

Human Attribution of Causality to AI Across Agency, Misuse, and Misalignment

人类对AI在代理、滥用和偏差中的因果归因

Maria Victoria Carro, David Lagnado

机构 * Università degli Studi di Genova（热那亚大学） ； FAIR IALAB ； University of Buenos Aires（布宜诺斯艾利斯大学） ； University College London（伦敦大学学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究探讨了人类在AI导致有害结果时对因果责任的归因，发现AI代理程度越高，责任归于AI；开发者虽远离事件但被归责高，用户责任降低；分解AI为大语言模型和代理组件时，代理部分更易被归责。

Comments 13 pages, 6 figures

RAZOR: Ratio-Aware Layer Editing for Targeted Unlearning in Vision Transformers and Diffusion Models

RAZOR：面向视觉变换器和扩散模型的比率感知层编辑以实现针对性遗忘

Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 RAZOR通过比率感知机制实现视觉变换器和扩散模型的针对性遗忘，通过多层和多头编辑提升模型安全性与合规性，实现高效且稳定的遗忘更新。

Comments 18 pages, 6 figures, 8 tables, accepted to the CVPR 2026 and to appear in the Findings Track Proceedings of IEEE/CVF Conference

Sirens' Whisper: Inaudible Near-Ultrasonic Jailbreaks of Speech-Driven LLMs

sirens的低语：通过语音驱动的大语言模型的不可听近超声 jailbreak

Zijian Ling, Pingyi Hu, Xiuyong Gao, Xiaojing Ma, Man Zhou, Jun Feng, Songfeng Lu, Dongmei Zhang, Bin Benjamin Zhu

专题命中 安全训练 ：jailbreak(abstract)；分类 cs.AI

AI总结 本文提出Sirens' Whisper框架，通过近超声波形在商用硬件上实现隐蔽的语音驱动LLM攻击，展示其在黑盒环境下的有效性及高保真度。

Comments USENIX Security'26 Camera-ready

Towards Equitable Robotic Furnishing Agents for Aging-in-Place: ADL-Grounded Design Exploration

迈向老年人独立生活中的公平机器人家具代理：基于日常活动的设计探索

Hansoo Lee, Changhee Seo, Subin Park, Sonya S. Kwak

专题命中 安全训练 ：safety(abstract)

AI总结 本文探讨了在老年人独立生活背景下，通过基于日常活动的设计探索，开发公平的机器人家具代理，以减少认知和身体负担，提升老年人福祉。

Comments Accepted at the ACM/IEEE International Conference on Human-Robot Interaction (HRI) 2026 Workshop: Equitable Robotics for Wellbeing (Eq-RW)

LLM-Guided Safe Reinforcement Learning for Energy System Topology Reconfiguration

基于大型语言模型的安全强化学习用于能源系统拓扑重构

Zongyan Zhang, Chao Shen, Xu Wan, Jie Song, Mingyang Sun

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出结合大型语言模型与安全软演员-评论家算法的拓扑控制框架，通过重构电压和热限为平滑安全成本信号，提升电网拓扑重构的可靠性和安全性。

AWDiff: An a trous wavelet diffusion model for lung ultrasound image synthesis

AWDiff：一种用于肺部超声图像合成的a trous小波扩散模型

Maryam Heidari, Nantheera Anantrasirichai, Steven Walker, Rahul Bhatnagar, Alin Achim

专题命中 安全训练 ：alignment(abstract)

AI总结 本文提出AWDiff模型，通过a trous小波变换与BioMedCLIP语义条件，提升肺部超声图像生成的结构精度与临床相关性。

Comments 5 pages5 pages, 4 figures. Accepted to ICASSP 2026

LLM-Based Net Analyzer rApp for Explainable and Safe Automation in O-RAN Non-RT RIC

基于大语言模型的网络分析rApp用于O-RAN非实时RIC中的可解释和安全自动化

Tuan V. Ngo, Mao V. Ngo, Binbin Chen, Tony Q. S. Quek, Tejaswita Kumari, Maziar Nekovee

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出一种基于大语言模型的网络分析rApp，用于O-RAN非实时RIC中的可解释和安全自动化，通过事件驱动的批量触发推理框架，实现安全的人工干预自动化，确保操作安全性和可审计性。

Comments Accepted version for presentation at the IEEE ICC Workshop Open, Programmable and AI-Native Radio Access Network, Glasgow, Scotland, UK, May 2026. copyright 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses