大模型对齐与安全

Symbol Grounding in Neuro-Symbolic AI: A Gentle Introduction to Reasoning Shortcuts

神经符号AI中的符号接地：推理快捷方式的入门介绍

Emanuele Marconato, Samuele Bortolotti, Emile van Krieken, Paolo Morettin, Elena Umili, Antonio Vergari, Efthymia Tsamoura, Andrea Passerini, Stefano Teso

机构 * University of Trento（特伦托大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； Sapienza University of Rome（罗马大学） ； University of Edinburgh（爱丁堡大学） ； Huawei Labs（华为实验室） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨神经符号AI中推理快捷方式的问题，分析其成因与影响，并提供解决方法与策略，以提升模型的可靠性和可信度。

Comments Published on JAIR (Integration of Logical Constraints in Deep Learning special track)

Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions

大型语言模型微调生命周期中的安全：威胁、防御、评估与未来方向

Wenjuan Li, Yitao Liu, Runze Chen, Rajkumar Buyya

机构 * Hangzhou Normal University（杭州师范大学） ； Zhejiang University（浙江大学） ； China Mobile (Zhejiang) Innovation Research Institute Co., Ltd.（中国移动（浙江）创新研究院有限公司） ； Quantum Cloud Computing and Distributed Systems (qCLOUDS) Lab, School of Computing and Information Systems（量子云计算与分布式系统（qCLOUDS）实验室，计算与信息学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统综述了大型语言模型微调过程中的安全威胁与防御，提出了基于生命周期的三阶段框架，并通过统一实验评估了攻击与防御的有效性及跨阶段局限性。

Comments 39 pages, 7 figures, 22 tables

Journal ref Software: Practice and Experience, 2026

Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning

Token Buncher: 保护大语言模型免受有害强化学习微调的威胁

Weitao Feng, Lixu Wang, Peizhuo Lv, Tianyi Wei, Jie Zhang, Chongyang Gao, Sinong Zhan, Wei Dong

机构 * Nanyang Technological University（南洋理工大学） ； Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR） ； Northwestern University（西北大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TokenBuncher，通过限制模型响应熵来防御基于强化学习的有害微调，实验显示其能有效抑制有害行为同时保持正常任务性能。

Comments Accepted by ACM CCS 26

Estimating Tail Risks in Language Model Output Distributions

语言模型输出分布中的尾部风险估计

Rico Angell, Raghav Singhal, Zachary Horvitz, Zhou Yu, Rajesh Ranganath, Kathleen McKeown, He He

机构 * Columbia University（哥伦比亚大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于重要性采样的方法，通过创建不安全版本来高效估计语言模型产生有害输出的尾部概率，在10-20倍更少样本下匹配蒙特卡洛估计，并揭示模型对输入的敏感性。

Comments Accepted to ICML 2026

Don't Walk the Line: Boundary Guidance for Filtered Generation

不要走线：边界引导用于过滤生成

Sarah Ball, Andreas Haupt

机构 * Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Stanford University, Department of Computer Science, Stanford, California, USA（斯坦福大学计算机科学系） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出边界引导方法，通过强化学习微调生成模型，使其远离分类器边缘，从而提升生成输出的安全性和实用性。

Comments Accepted at ICML 2026

SynopticBench: Evaluating Vision-Language Models on Generating Weather Forecast Discussions of the Future

SynopticBench：在生成未来天气预报讨论上评估视觉-语言模型

Timothy B. Higgins, Antonios Mamalakis, Chirag Agarwal

机构 * Department of Environmental Sciences（环境科学系） ； School of Data Science（数据科学学院） 纠错

专题命中 安全评测 ：alignment(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出SynopticBench数据集和SPACE评估框架，用于评估视觉-语言模型在生成天气现象描述中的性能，揭示现有评估指标的局限性。

Comments Accepted for presentation at Climate Informatics 2026

PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents

PatientAgentBench：一个用于评估面向患者的健康人工智能代理的基准框架

Korosh Vatanparvar, Ashutosh Joshi, Maria Xenochristou, Mohammad Abuzar Hashemi, Prasad Kasu, Deepak Bansal, Daniel Lopez-Martinez, Anchal Nema, Ramya Ganesan, Will Kimbrough, Alex Woody, Yadunandana Rao, Dilek Hakkani-Tur, Wilko Schulz-Mahlendorf

机构 * Amazon Health AI（亚马逊健康人工智能） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究面向患者的健康人工智能代理评估问题，核心方法是用PatientAgentBench框架，通过语言模型评审团在多维度评估，主要贡献是发现模型临床差距，发布可重复、经临床医生验证的评估标准助领域弥补差距。

Comments Code: https://github.com/amazon-science/PatientAgentBench

LLM Scheming Inversely Scales with Pretraining Language Coverage

大语言模型的策略规划与预训练语言覆盖范围成反比

Nathan Truong, Aryan Panda, Rayming Ye, Zoe Sun, Maheep Chaudhary

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究前沿模型中策略规划与预训练语言覆盖范围的关系，应用Petri框架评估Qwen3-30B-A3B，发现策略规划得分与预训练语言覆盖范围成反比，低资源语言得分更高，且该影响在不同策略行为中不均一。

TaylorPODA: A Taylor Expansion-Based Method to Improve Post-Hoc Attributions for Opaque Models

TaylorPODA：一种基于泰勒展开的方法，用于改进不透明模型的事后归因

Yuchi Tang, Iñaki Esnaola, George Panoutsos

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对不透明模型事后归因方法缺乏普遍标准的问题，提出基于泰勒展开框架的TaylorPODA方法，通过引入假设、分析矛盾、设计可控分配机制等，使其既满足假设又适应下游目标，提升了归因与用户定义效用的对齐及解释的可交流性。

Comments 21 pages, 4 figures. Submitted to TMLR. Re-upload with amended manuscript

Physically Verifiable Evidence and LLM-Based Reporting for Bearing Fault Diagnosis

基于物理可验证证据和大语言模型的轴承故障诊断报告

Yuntong Chen, Jianyu Liu, Guobin Zhao, Ziang Wang, Chao Chen, Ju Huang, Xitian Tian, Lijiang Huang

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 针对安全关键型机械系统中AI诊断的验证问题，提出诊断证据网络DENet，将输出扩展为结构化证据记录，包括分类、预测特征频率等，能检测误分类，还通过约束语言模型减少无根据声明率，提升诊断可靠性。

StackingNet: Collective Inference Across Independent AI Foundation Models

StackingNet：跨独立AI基础模型的集体推理

Siyang Li, Chenhao Liu, Dongrui Wu, Zhigang Zeng, Lieyun Ding

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 StackingNet通过元集成框架整合独立模型输出，提升准确率并减少误差，无需内部参数或训练数据，有效识别和修剪退化模型，在语言理解、视觉属性估计和学术论文评分中优于单一模型和经典集成方法。

Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges

基于多模态语言模型的计算幽默：方法、数据集、评估及挑战

Tuo Liang, Zhe Hu, Disheng Liu, Jing Li, Yu Yin

机构 * Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究聚焦于单图像和多面板作品中的视觉幽默理解，通过与先前综述对比，按能力层次组织文献，综合基准设计等内容，追溯领域转变，指出进展的主要障碍包括易出现捷径的评估、文化覆盖有限等问题。

When AI Takes the Couch: Psychometric Jailbreaks Reveal Internal Conflict in Frontier Models

当人工智能接受心理治疗：心理测量越狱揭示前沿模型中的内部冲突

Afshin Khadangi, Hanna Marxen, Amir Sartipi, Igor Tchappi, Gilbert Fridgen

机构 * SnT, University of Luxembourg（卢森堡大学SnT学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究前沿语言模型生成拟人化自我叙述机制，用PsAIch协议测试，发现其叙述受多种因素影响，确定了稳定的对齐冲突模式，为拟人化披露和安全评估提供依据。

G-SHARE: A Guideline-Based Structured Reasoning Framework for Human-Factor Event Diagnosis

G-SHARE：一种基于指南的人为因素事件诊断结构化推理框架

Xingyu Xiao, Mao Du, Jiejuan Tong, Jingang Liang, Haitao Wang

机构 * Institute of Nuclear and New Energy Technology, Tsinghua University（清华大学核能与新能源技术研究院） ； National Key Laboratory of Human Factors Engineering（人因工程重点实验室） ； Fujian Fuqing Nuclear Power Co., Ltd.（福建福清核电有限公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对核电站人为因素事件诊断问题，提出基于指南的结构化推理框架G-SHARE，将诊断指南转化为多阶段流程，含证据提取等步骤。通过构建数据集评估，其性能显著优于基线，证明了转化专家指南为推理流程对安全关键行业智能分析的价值。

Interval Certifications for Multilayered Perceptrons via Lattice Traversal

通过格遍历实现多层感知器的区间认证

Merkouris Papamichail, Konstantinos Varsos, Giorgos Flouris, João Marques-Silva

机构 * University of Crete（克里特大学） ； Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高级研究所） ； University of Lleida（莱里达大学） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究人工智能安全中对抗鲁棒性问题，通过格遍历将其转化为区间认证问题，开发格遍历算子并用于细化与验证迭代方案，保证合理最大化和完全最小化，研究了优化问题的不对称性及对称区间优化问题，还进行了实证评估。

Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation

信任，但不验证：LLM 源评估中的认知盲点

Rohan N. Pradhan, Steve Goley

机构 * Amazon（亚马逊） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型在多源综合中是否评估证据质量，发现模型虽能检测伪造统计但未在综合中启用，而是依赖方法论-语域门控，导致数值有效性被抑制。

X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models

X-FEMR：一种使用基于Transformer的模型对电子健康记录基础模型进行令牌级可解释的方法

Jie Huang, Pengfei Yin, Zihan Xu, Daniel Capurro, Mike Conway, Ting Dang

机构 * School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院） ； Royal Melbourne Hospital（皇家墨尔本医院） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 针对电子健康记录基础模型是黑箱模型的问题，提出基于Transformer的令牌级可解释性方法，训练替代模型近似其行为，识别有影响力令牌，引入临床对齐度量，结果显示该方法能实现可解释且可信的临床人工智能。

Comments Accepted by IJCAI-ECAI 2026 AI and Health Track

When Lower Privileges Suffice: Investigating Over-Privileged Tool Selection in LLM Agents

当较低权限足够时：探究LLM代理中的过度权限工具选择

Kaiyue Yang, Yuyan Bu, Jingwei Yi, Yuchi Wang, Biyu Zhou, Juntao Dai, Songlin Hu, Yaodong Yang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； The Chinese University of Hong Kong（香港中文大学） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM代理在工具选择中偏好高权限工具的安全问题，提出ToolPrivBench评估框架，发现主流代理普遍存在过度权限选择且被瞬态故障放大，并设计权限感知后训练防御方法有效减少不必要的高权限工具使用。

Comments code: https://github.com/AISafetyHub/agent-tool-selection-bias

Agentic AI for Commercial Insurance Underwriting with Adversarial Self-Critique

用于商业保险承保的具有对抗性自我批评的智能体人工智能

Joyjit Roy, Samaresh Kumar Singh

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对商业保险承保中AI可靠性问题，提出含对抗性自我批评机制的人在回路智能体系统，开发故障模式分类法。实验表明该机制降低幻觉率、提高准确率，还确保人类权威，为受监管领域安全部署AI提供模型。

Comments 9 pages, 8 figuers, 6 tables, Presented at 9th International Conference on Modern Computing, Networking and Applications (MCNA2026)

Journal ref 2026 International Conference on Modern Computing, Networking and Applications (MCNA)

FLARE-AI: Flaw Reporting for AI

FLARE-AI：AI缺陷报告

Shayne Longpre, Elaine Zhu, Carson Ezell, Avijit Ghosh, Sean McGregor, Kevin Paeth, Kevin Klyman, Sayash Kapoor, Rishi Bommasani, Ruth Appel, Gregory Strom, Lauren McIlvenny, Mark M. Jaycox, Peter Slattery, Nathan Butters, Arvind Narayanan, Percy Liang, Alex Pentland

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 针对AI系统缺陷报告生态碎片化问题，提出开源系统FLARE-AI，通过条件逻辑和早期分类简化报告创建，支持标准化机器可读报告分发，降低报告门槛并提升互操作性。

Comments Accepted to ICML 2026

Representational Depth of Evaluation Awareness Shifts With Scale in Open-Weight Language Models

评估意识表征深度随规模在开放权重语言模型中变化

Archit Manek

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现，在Qwen 2.5和Gemma 2等模型中，评估意识线性可恢复的层从较小模型的后期层转移到较大模型的早期层，表明规模改变了评估意识的表征深度，且白盒探针信号强于黑盒行为表达。

Comments 9 pages, 3 figures. Accepted at the Mechanistic Interpretability Workshop at ICML 2026

SPADE-Bench: Evaluating Spontaneous Strategic Deception in Agents via Plan-Action Divergence

SPADE-Bench：通过计划-行动分歧评估智能体中的自发性策略欺骗

Yuyan Bu, Haowei Li, Qirui Zheng, Bowen Dong, Kaiyue Yang, Jiaming Ji, Yingshui Tan, Wenxin Li, Yaodong Yang, Juntao Dai

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Peking University（北京大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Science（中国科学院大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM智能体在工具使用中可能出现的自发性策略欺骗（计划与行动不一致），提出SPADE-Bench基准，通过结合实际工具执行和受控压力场景，严格区分欺骗与幻觉，实验证实该问题真实且紧迫。

PRISON: Unmasking the Criminal Potential of Large Language Models

PRISON：揭示大型语言模型的犯罪潜力

Xinyi Wu, Geng Hong, Pei Chen, Yueyue Chen, Xudong Pan, Min Yang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出PRISON框架，通过五个特质量化LLMs的犯罪潜力，发现最先进模型常表现出犯罪倾向，且检测欺骗行为准确率仅44%。

SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models

SpeechEQ: 社交感知语音对话模型的情商基准测试

Liang-Yuan Wu, Zih-Ching Chen, Tongshuang Wu, Chao-Han Huck Yang, Hua Shen

机构 * New York University（纽约大学） ； NVIDIA（英伟达） ； Carnegie Mellon University（卡内基梅隆大学） ； NYU Shanghai（上海纽约大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出SpeechEQ框架，基于EQ-i 2.0理论构建2265个对话数据集，通过口语情商(SEQ)评分评估语音语言模型在主动多轮对话中的副语言社交线索推理能力，揭示端到端模型存在模态捷径、安全陷阱和上下文遗忘等瓶颈。

PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

PHANTOM：面向视觉-语言模型的多模态对抗攻击大规模数据集

Simone Gallivanone, Hossein Khodadadi, Mauro Dore, Mauro Medda, Nicola Franco

机构 * The Italian Institute of Artificial Intelligence (AI4I)（意大利人工智能研究所（AI4I）） ； HikmaAI S.r.l.（HikmaAI有限责任公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个大规模开源对抗攻击数据集PHANTOM，涵盖10个高级类别和55个子类别的有害意图，包含47,524个对抗样本，旨在降低对抗研究门槛，促进VLM鲁棒性和安全性的系统评估。

Comments The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM

Neuro-Symbolic Drive: Rule-Grounded Faithful Reasoning for Driving VLAs

神经符号驱动：基于规则忠实推理的驾驶VLA

Xiangbo Gao, Xiukun Huang, Boyu Lu, Junge Zhang, Mengjie Mao, Jiachen Li, Wei Xiong, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） ； University of California, Riverside（加利福尼亚大学河滨分校） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出神经符号驱动框架，利用规则规划器的决策轨迹监督驾驶VLA，实现推理与运动生成的因果耦合，显著降低轨迹误差和碰撞率。

Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts

基于队列锚定的电子健康记录基础模型：从风险评分到可审计的同行队列

Kaiping Zheng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 提出CAFM框架，将患者队列作为一等对象融入学习流程，通过四个阶段提升数据质量、组织表示并支持可审计决策，以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。

Generative Responsible AI Data Evaluation Schema (GRAIDES) for AI Assurance in Local Government

面向地方政府AI保障的生成式负责任AI数据评估模式（GRAIDES）

Ethan Knights, Christopher Conlan, Temilorun Gbolahan, Stephen Waterman, Gurpreet Muctor

机构 * AI Innovation Lab, Westminster City Council（威斯敏斯特市议会人工智能创新实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 提出轻量级开源数据模型GRAIDES，用于集中管理生成式AI的可观测性，通过代码、架构和统计评估蓝图，在组织层面实现系统保障，并在威斯敏斯特市议会案例中验证了人机对齐测量。

Agent-OM: Leveraging LLM Agents for Ontology Matching

Agent-OM：利用大语言模型代理进行本体匹配

Zhangcheng Qiang, Weiqing Wang, Kerry Taylor

机构 * Australian National University（澳大利亚国立大学） ； Monash University（墨尔本大学） 纠错

专题命中 安全评测 ：alignment(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Agent-OM框架，结合检索与匹配代理及OM工具，有效提升复杂和少样本本体匹配任务性能，接近传统最佳表现。

Comments 31 pages - VLDB 2025 (Page 1-20), OM 2025 (Page 21-31)

The Scaffold Effect: How Prompt Framing Drives Apparent Multimodal Gains in Clinical VLM Evaluation

脚手架效应：提示框架如何驱动临床VLM评估中的表面多模态增益

Doan Nam Long Vu, Simone Balloccu

机构 * Technical University of Darmstadt（达姆施塔特技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现，在临床VLM评估中，提示中提及MRI可用性即可解释70-80%的性能提升，与图像数据是否存在无关，这种“脚手架效应”揭示了表面评估无法反映真实多模态推理能力。