大模型对齐与安全

Beyond Simulations: What 20,000 Real Conversations Reveal About Mental Health AI Safety

超越模拟：20000次真实对话揭示心理健康AI安全

Caitlin A. Stamatis, Jonah Meyerhoff, Richard Zhang, Olivier Tieleman, Matteo Malgaroli, Thomas D. Hull

专题命中 安全评测 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CL、cs.CY

AI总结 本研究通过分析20000次真实对话，揭示心理健康AI在现实应用中的安全性能差异，指出专门设计的AI在减少有害内容生成方面表现更优，但测试集失败率高于实际部署，强调需转向持续的安全保障而非有限的基准认证。

Comments 43 pages, 8 figures

$S^3$: Improving Agent Safety through Multi-Stage Defense

$S^3$：通过多阶段防御提升智能体安全性

Zibo Xiao, Haoyu Wang, Jun Sun

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本研究针对LLM智能体工作流的跨阶段安全风险问题，提出多阶段防御框架$S^3$，引入阶段特定安全技能，构建MSRB基准，实验显示其安全有效性和效用保留均优于现有基线。

When Behavioral Safety Evaluation Fails: A Representation-Level Perspective

当行为安全评估失败时：表征层面的视角

Enyi Jiang, Anders Gjølbye, Yibo Jacky Zhang, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出行为安全与干预鲁棒性之间的“审计差距”，通过构建解离模型和引入潜在脆弱性评分（LVS），证明行为安全指标不足以衡量表征层面的鲁棒性。

Comments Preprint

The Evolutionary Origin of Values: implications for AI alignment, sentience and existential risk

价值的进化起源：对AI对齐、感知能力和生存风险的启示

Francis Heylighen

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 该研究通过追溯生物价值的进化起源，论证LLMs无内在生存动机与感知能力，正交性论点不适用于它们，AI对齐的核心挑战是确保LLMs应用习得的伦理价值。

Comments submitted chapter for book: T. Veloz & C. Rittberg (Eds.), AI and Human Values. Springer

ADMITBench: A Safety-Governed Reference Framework for Evaluating the Admissibility of Industrial LLM Advisories

ADMITBench：用于评估工业LLM咨询建议可采纳性的安全管控参考框架

Yash Misra, Javal Vyas, Siddharth Gutta, Mehmet Mercangöz

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究提出ADMITBench框架，用于评估工业LLM咨询建议的可采纳性，该框架采用带版本的安全管控评估契约，0.1.0版本为公开参考实现，面向技术与研究评估。

Evaluating Counterfactual Sensitivity to Patient Information in Medication-Safety Reasoning

评估药物安全推理中对患者信息的反事实敏感性

Zhitian Hou, Yuhang Liu, Pengkai Wang, Zeyu Liu, Guanghao Zhu, Zheng Liu, Shuo Cai, Congkai Xie, Zhijie Sang, Kun Zeng, Hongxia Yang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究推出MedPIC-Bench基准，评估不同LLM在药物安全推理中对患者信息的反事实敏感性，发现所有模型在反事实问题上表现更差，医学专用LLM的反事实表现落后于通用LLM，凸显静态准确性的评估局限性。

VLAFlow: A Unified Training Framework for Vision-Language-Action Models via Co-training and Future Latent Alignment

VLAFlow：通过协同训练和未来潜在对齐的视觉-语言-动作模型统一训练框架

Guoyang Xia, Fengfa Li, Hongjin Ji, Lei Ren, Fangxiang Feng, Kun Zhan, Yan Xie

机构 * Li Auto Inc.（理想汽车） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出VLAFlow统一框架，比较四种训练范式，发现语言监督保持视觉-语言泛化，未来潜在对齐改进状态转换建模，两者结合实现最佳迁移性能。

HomeSafeBench: Benchmarking Embodied Vision-Language Models in Free-Exploration Home Safety Inspection

HomeSafeBench：面向自由探索式家庭安全检查的具身视觉-语言模型基准

Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

机构 * Beijing Institute of Technology（北京理工大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 研究针对家庭安全隐患检查需求构建HomeSafeBench基准，提出CueBack数据构建方法，微调4B规模VLM使分布外测试集F1值显著提升，缩小了与人类检查员的性能差距。

Comments Preprint

Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation

基于多智能体评估的角色扮演语言智能体的对抗性压力测试

Saqib Shouqi, Abdullah Nazly, Januki Wanniarachchi, Ravisha De Alwis

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本研究提出模块化多智能体平台，通过多轮对话对角色扮演语言智能体开展对抗性压力测试，揭示单策略测试无法发现的故障模式，相关成果作为开源平台发布以支持AI安全。

Comments 8 pages, 1 figure, 7 tables; accepted and presented at ADScAI Conference 2026, University of Moratuwa, Sri Lanka

Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning

Token Buncher: 保护大语言模型免受有害强化学习微调的威胁

Weitao Feng, Lixu Wang, Peizhuo Lv, Tianyi Wei, Jie Zhang, Chongyang Gao, Sinong Zhan, Wei Dong

机构 * Nanyang Technological University（南洋理工大学） ； Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR） ； Northwestern University（西北大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TokenBuncher，通过限制模型响应熵来防御基于强化学习的有害微调，实验显示其能有效抑制有害行为同时保持正常任务性能。

Comments Accepted by ACM CCS 26

Estimating Tail Risks in Language Model Output Distributions

语言模型输出分布中的尾部风险估计

Rico Angell, Raghav Singhal, Zachary Horvitz, Zhou Yu, Rajesh Ranganath, Kathleen McKeown, He He

机构 * Columbia University（哥伦比亚大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于重要性采样的方法，通过创建不安全版本来高效估计语言模型产生有害输出的尾部概率，在10-20倍更少样本下匹配蒙特卡洛估计，并揭示模型对输入的敏感性。

Comments Accepted to ICML 2026

Don't Walk the Line: Boundary Guidance for Filtered Generation

不要走线：边界引导用于过滤生成

Sarah Ball, Andreas Haupt

机构 * Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Stanford University, Department of Computer Science, Stanford, California, USA（斯坦福大学计算机科学系） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出边界引导方法，通过强化学习微调生成模型，使其远离分类器边缘，从而提升生成输出的安全性和实用性。

Comments Accepted at ICML 2026

Confident but Unreliable: A Behavioral Safety Audit of Vision-Language Models on Brain MRI

自信但不可靠：对基于脑MRI的视觉语言模型的行为安全审计

Amir Sabbaghziarani, Mohammadsajad Abavisani, Sergey Plis

机构 * Georgia State University（佐治亚州立大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） ； TReNDS Center（TReNDS中心） 纠错

专题命中 安全评测 ：safety(title)

AI总结 本研究对6个指令微调VLMs开展脑MRI行为安全审计，发现其置信度校准差、存在大量高置信度错误，提出医学图像VLM评估需报告置信度可靠性等指标。

Robust General Utility for Reinforcement Learning

面向强化学习的鲁棒通用效用方法

Zixuan Liu, Fangzheng Wu, Brian Summa, Zizhan Zheng

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 针对通用效用强化学习的部署效用误指定问题，提出极小极大学习框架及两种收敛随机算法，经LLM安全对齐等实验验证了其有效性。

EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners

EduClaw-Bench：面向教学大型语言模型智能体的长周期基准测试集（含模拟学习者）

Unggi Lee, Sookbun Lee, Yeil Jeong, Eunjoo Lee, Minchul Shin, Hoilym Kwon

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究人员推出EduClaw-Bench长周期基准测试集，结合模拟学习者评估LLM智能体辅导效果，发现辅导质量取决于基础模型与智能体适配器的结合，且多数组合无法维持全程良好辅导。

From Pixels to Semantics: A Multi-Stage AI Framework for Structural Damage Detection in Satellite Imagery

从像素到语义：一种多阶段AI框架用于卫星图像中的结构损坏检测

Bijay Shakya, Catherine Hoier, Khandaker Mamun Ahmed

机构 * The Beacom College of Computer & Cyber Sciences, Dakota State University（达科他州立大学比康计算机与网络科学学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)

AI总结 本文提出一种多阶段AI框架，结合超分辨率、目标检测和视觉-语言模型，提升灾害后建筑损坏评估的语义解读能力，通过CLIPScore和多模型策略提高检测可靠性。

Journal ref IEEE/CVF Conference on Computer Vision & Pattern Recognition Workshop (CVPRW) 2026

Socially Grounded Agentic AI: Coordinating Plural Perspectives through Social Theory

基于社会基础的智能体人工智能：通过社会理论协调多元视角

Matt Ratto, Abhishek Moturu, Daniel Silver

专题命中 安全评测 ：alignment(abstract,comments)；分类 cs.AI、cs.LG

AI总结 本文提出将社会理论用于人工智能系统设计，以解决多元对齐问题，将多元对齐重新定位为基于社会基础的协调问题，勾勒了相关系统的设计空间并指明未来研究方向。

Comments Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea

Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs

结构化因果输入下神经网络预测的实际原因计算

Jannick Strobel, Muqsit Azeem, Stefan Leue

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对结构化因果输入下神经网络预测解释的误导性问题，提出基于布尔结构因果模型与边界传播、分支定界技术的方法，可高效计算所有最小实际原因，性能优于多种基线方法。

When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills

当智能体学会成为你：对角色技能中的隐私泄露、冒充风险及防御措施进行基准测试

Yongli Xiang, Zhifang Zhang, Bojun Yang, Ziming Hong, Lei Feng, Miao Xu, Tongliang Liu

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.CY

AI总结 该研究推出AntiSkillBench基准，评估角色技能流程的隐私泄露、冒充风险及防御，发现风险持续存在，现有防御效果有限，为相关技能开发提供基准。

Comments Project page: https://yonglixiang.github.io/AntiSkillBench

A Security-Oriented Lifecycle Model for Large Language Model Systems

面向大型语言模型系统的安全导向生命周期模型

Eleftherios Batzolis, George Drosatos, Vassilis Katsouros, Konstantinos Rantos

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文针对LLM系统生命周期框架重效率轻安全、治理与生命周期阶段脱节的问题，提出含32个阶段的安全导向生命周期模型，整合多监管框架发现治理证据分布不均的结构特性。

Comments Accepted as: Batzolis, E., Drosatos, G., Katsouros, V., & Rantos, K. (2026). A Security-Oriented Lifecycle Model for Large Language Model Systems. In: Kieseberg, P., Skopik, F., Atli, B., Schrittwieser, S., & Asplund, M. (Eds.), Availability, reliability and security---ARES 2026 EU Projects Symposium workshops (Lecture Notes in Computer Science, pp. 1-18). Springer Nature Switzerland

AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality

跨研究社区的AI辅助同行评审：从评审人AI政策到大语言模型评审质量

Alexander M. Fichtl, Lukas Ellinger, Josefin Kelber, Kryštof Olík, Georg Groh

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 该研究调研111个顶尖AI/NLP会议及医学期刊的AI评审政策，评估ICLR 2026和《自然·通讯》的AI评审质量，发现AI评审存在系统性缺陷，主张采用多维度评估。

Comments 30 pages, 19 figures, 10 tables. Currently under peer review. GitHub link for code and data is given in the paper

Lightweight Chunk Selection for Mobile Retrieval-Augmented Generation

面向移动端检索增强生成的轻量级分块选择

Sicong Chang, Yidan Shen, Wen Yu, Jiefu Chen, Xin Fu, Renjie Hu

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对移动端RAG部署的成本问题，提出结合LLM侧查询意图、MoE路由信号与检索分块嵌入的轻量级分块选择方法，提升了排名1的证据选择性能。

Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?

我们真的需要参数超过10亿的多模态情感语言模型吗？

Kaiwen Zheng, Junchen Fu, Wenhao Deng, Hu Han, Joemon M. Jose, Xuri Ge

机构 * University of Glasgow（格拉斯哥大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 质疑多模态情感识别需参数超10亿模型的假设，提出轻量级MER框架Light-MER，通过知识蒸馏及两种优化策略，在九个基准数据集实验中实现最优性能并显著提高推理效率，凸显小模型潜力。

Comments Accepted by ACM MM2026

Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling

通过多级标注者建模提高评估的可重复性

Deepak Pandita, Flip Korn, Chris Welty, Christopher M. Homan

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Google Research（谷歌研究） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多级抽样方法，通过分析标注者数量与响应数量的平衡，提升评估结果的可重复性与统计显著性。

Injection-Execution Dissociation: A Mechanistic Evaluation of Persistent Memory Attacks and Defenses in Stateful LLM Agents

多层架构中的防御效果：对持久内存攻击状态机LLM代理的机制性评估

Jun Wen Leong

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文评估了六种防御措施在九个开源模型上的延迟触发攻击效果，发现输入级和检索级过滤器效果不佳，而内存层工具门控（Memory Sandbox）显著降低攻击成功率，揭示了不同防御类别的失效原因。

Comments v4: Added double dissociation (reasoning-mode ablation), content-layer defense (RATG), loaded-corpus frontier evaluation (21 models, 3 providers, N=40), 7B judge capability bound, reproducibility validity criterion, ethics/disclosure statement. Gemini 3.1 Pro Preview 95% ASR; GPT-5.1 regression (22.5%); tripartite vendor divergence. Code: github.com/junwenleong/stateful-agent-security-eval

ChiEngMixBench: Evaluating Large Language Models on Expert-Style Chinese-English Terminology Mixing

ChiEngMixBench: 评估大型语言模型在自发和自然的中英混合生成中的能力

Qingyan Yang, Tongxi Wang, Yunsheng Luo

机构 * School of Future Technology（未来技术学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 ChiEngMixBench通过评估中英混合生成的自发性和自然性，揭示多语言模型与人类交流的结构化认知对齐

Comments 15 pages, 2 figures, 8 tables. Substantially revised version

Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation

遗忘能否跨模态迁移？面向跨模态知识遗忘评估的真实世界基准

Chunlin Liu, Junnian Chen, Haitong Jiang, Jianyu Zhao, Yingsen Pang, Jingchen Li, Jiabiao He, Youming Lu, Jinhe Bi, Yuntao Du

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文针对跨模态知识遗忘迁移研究缺口，推出UNLINK-VL基准，实验发现跨模态遗忘存在不对称性，纯文本遗忘迁移效果差，凸显跨模态遗忘与评估的必要性。

KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation

KnowHal：用于全面多模态幻觉评估的知识驱动基准

Ruihan Li, Jiyang Tan, Kailin Jiang, Huining Li, Hengyang Lu, Yu Huang, Qian Li, Yuntao Du

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型（MLLMs）的幻觉评估缺口，提出知识驱动的KnowHal基准，涵盖四个幻觉维度，经评估发现知识维度是模型最大挑战，多数模型对错误前提鲁棒性有限。

Comments 9 pages, 7 figures

CARE-Bench: Benchmarking Patient-Facing LLM Triage

CARE-Bench：面向患者的大语言模型分诊基准测试

Yining Hua, Hongbin Na, Cyrus Ayubcha

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本研究推出面向患者的大语言模型分诊基准CARE-Bench，评估11个模型后发现提示可提升多数模型性能但仍存阈值错误，表明患者分诊需明确评估行动时机而非仅靠简单提示。

Comments Code and data are available at GitHub and Hugging Face. Submitted as a preprint

GenOS: Compositional Certificates for Semantic Robustness in AI Code Generation

GenOS：AI代码生成中语义鲁棒性的组合式证书

Corrado Priami

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 GenOS是针对AI代码生成语义鲁棒性的概率操作语义，通过马尔可夫核与等价关系确保工作流中组件替换的安全性，经实验验证其鲁棒性界与兼容性可测性。