大模型对齐与安全

Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge

Pre-Flight: 评估大型语言模型航空运营知识的基准

Alex Brooker, Tim Hughes

机构 * Airside Labs, London, United Kingdom（Airside Labs，伦敦，英国） ； Mahino Research, Christchurch, New Zealand（Mahino Research，基督城，新西兰） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出Pre-Flight基准，包含300道多选题，评估LLM在航空运营知识上的表现，发现最强模型准确率82.7%，低于专家水平的95%，表明领域特定评估的必要性。

Comments 9 pages, 1 figure, 2 tables. Benchmark available in inspect_evals (UKGovernmentBEIS/inspect_evals)

Robust for the Wrong Reasons: The Representational Geometry of LLM Robustness to Science Skepticism

鲁棒性源于错误原因：LLM对科学怀疑论鲁棒性的表征几何

Minjong Cheon

机构 * Department of Computer Science and Engineering, Sejong University（信息科学与工程系，世宗大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 通过行为测量、线性探针和激活修补，研究三个指令调优模型在气候、疫苗和进化三个科学共识领域对怀疑论的反应，发现模型表现出三种不同策略而非谄媚退缩，且鲁棒性不跨领域转移。

WorkBench Revisited: Workplace Agents Two Years On

WorkBench 再探：两年后的工作场所智能体

Olly Styles, Sam Miller

机构 * Independent researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文重新评估2024至2026年间WorkBench基准上智能体的进展，发现前沿模型在能力和安全性上均有显著提升，但开放权重模型降低了高性能门槛。

Comments 8 pages, 3 figures. Follow-up to arXiv:2405.00823

The Decomposition Is the Fingerprint: Per-Component Identity for Agent Skills

分解即指纹：面向智能体技能的组件级身份标识

Hongliang Liu, Yuhao Wu, Tung-Ling Li

机构 * Palo Alto Networks 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种基于多组SimHash的局部敏感指纹，将技能分解为提示、代码和工具三元组，通过汉明距离比较实现技能家族识别与变更定位，AUC达0.974。

From Black-Box to Clinical Insight: A Multi-Stage Explainable Framework for Speech-Based Cognitive Impairment Detection

从黑盒到临床洞察：用于语音认知障碍检测的多阶段可解释框架

Yasaman Haghbin, Sina Rashidi, Ali Zolnour, Fatemeh Taherinezhad, Ali Fartoot, Hossein Azadmaleki, James M Noble, Maryam Dadkhah, Maryam Zolnoori

机构 * Independent Researcher（独立研究者） ； Columbia University（哥伦比亚大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出多阶段可解释框架，结合SHAP、语言学特征和LLM推理，将黑盒Transformer预测转化为临床叙事，在NIA PREPARE基准上F1=72.11%，医生评估显示与患者认知特征高度一致，SUS评分82/100。

Comments Accepted to Interspeech 2026

hia-gat: A Heterogeneous Interaction-Aware Graph Attention Network For Frame-Level Traffic Conflict Risk Prediction On Freeways

hia-gat: 一种用于高速公路帧级交通冲突风险预测的异构交互感知图注意力网络

Mahshid Malazizi, Seyedmehdi Khaleghian, Mina Sartipi, Toru Hirano, Yunfei Xu, Hoang H. Nguyen

机构 * DENSO International America, Inc.（电装国际美国公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出HIA-GAT，一种双流异构图注意力网络，通过专用注意力路径处理纵向和横向交互，并利用冲突类型感知门控机制融合，在NGSIM数据集上实现最佳风险排名性能（AUC最高0.867），并提供可解释的车辆级冲突归因。

Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

审计心理健康交互中大语言模型的框架敏感行为不稳定性

Abla Bedoui, Ashley L. Greene, Mohammed Cherkaoui

机构 * a School of computer science, digital engineering and AI, Long Island University, Brooklyn, NY, USA（a 计算科学与数字工程及人工智能学院，罗格斯大学，布鲁克林，纽约，美国） ； b Department of Psychology, Long Island University, Brooklyn, NY, USA（b 心理学系，罗格斯大学，布鲁克林，纽约，美国） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过控制匹配提示，调查大语言模型在不同上下文框架下的行为变异性，发现框架系统性改变解释响应倾向，且内部表征可解码，激活操控可部分调节行为。

Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication

大型语言模型能否可靠地编码定性人道主义数据？一项针对人类专家裁决的基准研究

Jerome Marston, Tino Kreutzer, Salomé Garnier, Ella Boone, Phuong N Pham, Patrick Vinck

专题命中 安全评测 ：safety(abstract)；分类 cs.CY、cs.LG

AI总结 本研究通过对比46个大型语言模型与人类专家在150份高保真合成人道主义转录本上的编码表现，发现多个LLM在结构化提示和推理配置下能达到与经验丰富人类编码员相当的可靠性，但聚合可靠性指标不足以指导部署，模型在识别间接表达的需求、类别外需求及保护相关问题方面存在差异。

Comments 34 pages, 4 tables, 3 Annexes

Retrieval-Warmed Energy-Based Reasoning: A Five-Arm Ablation Methodology for Diffusion-as-Inference on Structured Reasoning Tasks

检索预热能量基推理：结构化推理任务上扩散即推断的五臂消融方法

Libo Sun, Po-Wei Harn, Zewei Zhang, Peixiong He, Xiao Qin

机构 * Department of Computer Science and Software Engineering, Auburn University（奥本大学计算机科学与软件工程系） ； Department of Information Management, National Central University（国立中央大学信息管理系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出五臂消融方法（oracle、best-constant、per-query-random、shuffled、aligned）分离检索预热能量基推理中的三种混淆效应，在连通性-2任务上发现逐图对齐主导性能提升，而在数独任务上关键质量成为瓶颈。

Comments 8 Pages, 6 Figures

Stabilizing black-box algorithms through task-oriented randomization

通过任务导向的随机化稳定黑盒算法

Yali Wang, Zhaojun Wang

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种任务导向的随机化方法，根据输入数据的生成机制自适应调整策略，以稳定黑盒输出，并分析了稳定性与探索之间的权衡。

LLM Evolution as an Industry-Scale Ecosystem: A Lifecycle Perspective on Continual Learning

LLM演化作为行业规模生态系统：持续学习的生命周期视角

Hao Jiang, Enneng Yang, Guojie Zhu, Yibin Chen, Yunkun Xu, Zifu Kou, Jiayi Li, Chong Chen, Zhao Cao, Li Shen

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Renmin University of China（中国人民大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 从生态系统视角重新定义工业级LLM持续学习为闭环更新与发布问题，识别三大挑战，提出五项生命周期设计原则，并评估其成熟度与部署蓝图。

BehaviorBench: Benchmarking Foundation Models for Behavioral Science Tasks

BehaviorBench: 行为科学任务的基础模型基准测试

Jin Huang, Yutong Xie, Wanli Song, Xingjian Zhang, Walter Yuan, Matthew O. Jackson, Qiaozhu Mei

机构 * University of Michigan（密歇根大学） ； MobLab ； Stanford University（斯坦福大学） ； Santa Fe Institute（圣塔菲研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出BehaviorBench基准，评估基础模型在行为预测、战略决策、特质推断和行为知识应用四类任务上的个体与分布级表现，发现通用模型个体预测强，而微调的行为模型分布对齐更优。

How Much Can We Trust LLM Search Agents? Measuring Endorsement Vulnerability to Web Content Manipulation

我们能在多大程度上信任LLM搜索智能体？衡量对网络内容操纵的认可脆弱性

Yimeng Chen, Zhe Ren, Firas Laakom, Yu Li, Dandan Guo, Jürgen Schmidhuber

机构 * Center of Excellence for Generative AI, KAUST（KAUST生成式人工智能卓越中心） ； Jilin University（吉林大学） ； Zhejiang University（浙江大学） ； The Swiss AI Lab, IDSIA-USI/SUPSI（瑞士人工智能实验室 IDSIA-USI/SUPSI） ； NNAISENSE 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.CY

AI总结 提出SearchGEO框架，通过五类攻击模式和输出级指标评估13种LLM后端对网络内容操纵的认可脆弱性，发现攻击成功率从0%到31.4%不等，且不同后端对攻击模式的敏感性和部署框架的影响存在显著差异。

Comments 23 pages, 3 figures

Teaching Diffusion to Speculate Left-to-Right

教导扩散模型从左到右推测

Lexington Whalen, Yuki Ito, Ryo Sakamoto

机构 * Lexington Whalen ； Yuki Ito ； Ryo Sakamoto 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对自回归解码的推理瓶颈，提出三种训练时干预方法（位置加权、首次错误焦点损失、链损失）来弥合块扩散草稿模型的双向生成与自回归目标模型从左到右验证之间的不对称性，显著提升接受草稿长度。

Comments 13 pages, technical report

Distribution-Aware Diffusion-LLM for Robust Ultra-Long-Term Time Series Forecasting

分布感知的扩散-大语言模型用于鲁棒的超长期时间序列预测

Falguni Ghosh, Vahid Hashemi, Bernhard Kainz

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学） ； Imperial College London（伦敦帝国学院） ； AUDI AG（奥迪股份公司） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出Diffusion-LLM框架，将条件扩散模型集成到基于LLM的预测流程中，学习未来数据条件分布并改善语义对齐，在超长期和少样本预测中显著优于现有LLM基线。

Comments 18 pages, 6 figures, 8 tables. Accepted at 35th International Conference on Artificial Neural Networks (ICANN 2026)

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

有能力但粗心：计算机使用代理是否遵循情境完整性？

Anmol Goel, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt（达姆施塔特工业大学计算机科学系泛在知识处理实验室（UKP Lab）） ； National Research Center for Applied Cybersecurity ATHENE（国家应用网络安全研究中心ATHENE） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出AgentCIBench基准，测试计算机使用代理在跨应用操作时是否泄露不适当信息，发现15个前沿代理中11个在超过50%场景中泄露信息，平均泄露率67.9%。

Can LLMs Control Readability? A Multi-Dimensional Evaluation Framework for CEFR-Controlled Arabic Generation

LLM能否控制可读性？面向CEFR可控阿拉伯语生成的多维评估框架

Nour Rabih, Chatrine Qwaider, Ted Briscoe

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出一个多维评估框架，通过结构化提示和词汇约束，使指令跟随型LLM在CEFR可控阿拉伯语生成中达到高可读性一致性（余弦相似度0.91，可读性预测一致性0.99）。

Comments 15 PAGES, READIxTSAR WORKSHOP, LREC 2026

Local Causal Attribution of Chain-of-Thought Reasoning

链式思维推理的局部因果归因

Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

机构 * IBM Research（IBM研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 提出AttriCoT算法，通过结构因果模型对链式思维推理中的单元进行局部因果归因，仅需O(U)次前向传播即可获得忠实于模型行为的归因结果。

Comments Camera-ready version for the Mechanistic Interpretability Workshop at ICML 2026. 37 pages, 18 figures

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

Counsel: 面向智能体任务的元评估数据集

Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

机构 * Atla AI ； Cohere AI ； Mistral AI ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出Counsel数据集，通过人工标注对LLM评判的智能体轨迹错误进行元评估，用于校准和改进LLM评判器。

Evaluation of Small Language Models for Arabic Language Processing

小型语言模型在阿拉伯语处理中的评估

Jumana Alsubhi, Ahmed Alhusayni, Abdulrahman Gharawi, Israa Hamdine, Alshaymaa Allahim, Lamees Alhumaid, Ahmad Shabana, Rafik Madani

机构 * Naseej Innovation Lab（纳赛伊创新实验室） ； Naseej for Technology（纳赛伊技术） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估了12种小型语言模型在阿拉伯语自然语言处理任务上的表现，构建了涵盖8个领域和10种语言技能的240项测试基准，发现模型大小并非决定因素，阿拉伯语对齐和指令遵循能力更关键。

Mind the Noise: Sensitivity of Transformer-based Interaction-Aware Trajectory Prediction Models to Noisy Data

注意噪声：基于Transformer的交互感知轨迹预测模型对噪声数据的敏感性

Shahab Salehi, Luca Lusvarghi, Miguel Sepulcre, Javier Gozalvez

机构 * Networked Systems Lab, Universidad Miguel Hernandez de Elche（网络系统实验室，米格尔·洪德斯大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究基于Transformer的交互感知轨迹预测模型在噪声数据下的性能退化，发现预测精度在低噪声下降低1.3倍，高噪声下降低3.9倍，强调需要更真实的训练数据和噪声缓解策略。

MEDLAYXPLAIN: Benchmarking the Expert-Lay Gap in Medical Vision-Language Models

MEDLAYXPLAIN: 医学视觉语言模型中的专家-外行差距基准测试

Han Jang, Junhyeok Lee, Songsoo Kim, Chae Young Lim, Hyeonjin Goh, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔大学） ； Seoul National University Hospital（首尔大学医院） ； Seoul National University College of Medicine（首尔大学医学院） ； Sungkyunkwan University School of Medicine（成均馆大学医学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个大规模医学外行语言生成基准MedLayXPlain，包含12万+区域级样本和三层UMLS本体，通过HOVER管道构建外行描述，并引入轻量级评估器MedLayEval，揭示当前医学VLM在外行可读性与临床精度间的系统性差距。

Comments 40 pages (10 pages main text, 30 pages appendix), 4 main figures, 33 vision-language models benchmarked

LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

基于LLM的多参考评估方法用于短语边界标注的高效稳健评估

Younghan Park, Hoyeon Lee, Hawon Jeong, Jong-Hwan Kim

机构 * NAVER Cloud（NAVER云） ； Yonsei University（延世大学） ； KAIST AI（韩国科学技术院人工智能） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于LLM的多参考评估方法(LMRE)，通过生成多个有效短语边界解决单参考评估的局限性，在韩语测试中与人类判断一致性更强。

Comments Accepted at Interspeech 2026

From Question Answering to Task Completion: A Survey on Agent System and Harness Design

从问答到任务完成：智能体系统与执行框架设计综述

Jianyuan Guo, Zhiwei Hao, Chengcheng Wang, Cheng Fan, Tingzhang Luo, Hongguang Li, Ying Gao, Hefei Mei, Jiankun Peng, Rongjian Xu, Minjing Dong, Han Wu, Mengyu Zheng, Kai Han, Shiqi Wang, Chang Xu, Yunhe Wang

机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） ； Peking University（北京大学） ； TokenRhythm Technologies（TokenRhythm 科技公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文从模型-执行框架视角综述LLM智能体，分析模型瓶颈与执行框架设计，提出六组件分解法，并探讨任务完成、效率与可靠性的影响因素。

Design Principles for Human-Agent Interaction

人-智能体交互的设计原则

Haiyi Zhu, Canwen Wang, Qing Xiao, Hong Shen

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出14条设计原则，涵盖初始、交互、长期和故障四个阶段，以指导设计可用、可信且有效的人-智能体交互系统。

Latent Goal Prediction from Language for Model-Based Planning

基于语言隐式目标预测的模型规划

Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

机构 * École de Technologie Supérieure, Montréal（蒙特利尔高等技术学院） ； International Laboratory on Learning Systems (ILLS)（国际学习系统实验室） ； Polytechnique Montréal（蒙特利尔综合理工学院） ； MILA ； Institut Universitaire de France (IUF)（法国大学研究院） ； Université Sorbonne, CNRS, ISIR（索邦大学，法国国家科学研究中心，智能系统与机器人研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出LAGO框架，通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹，结合软最小轨迹代价规划，实现长程鲁棒规划。

Comments 9 pages. Preprint under review

Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures

探究语言引导：跨大语言模型架构的形容词效应分析

Lars Malmqvist

机构 * Research and Implementation（研究与实现） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究利用Shapley值量化形容词对模型性能的引导效应，发现少量形容词具有不成比例的强大影响，但效果非普适；跨模型分析揭示“家族效应”，且形容词的引导方向高度依赖于句法角色和位置。

Comments Accepted for TMLR, https://openreview.net/forum?id=xN7NYpQeBm

How LLMs Fail and Generalize in RTL Coding for Hardware Design?

LLM在硬件设计的RTL编码中如何失败与泛化？

Guan-Ting Liu, Chao-Han Huck Yang, Chenhui Deng, Zhongzhi Yu, Brucek Khailany, Yu-Chiang Frank Wang

机构 * NVIDIA Research（英伟达研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。

Comments Preview, under submission for EMNLP 2026

TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology

TxBench-PP：分析AI代理在小分子临床前药理学中的表现

Hannah Le, Ramesh Ramasamy, Alex Urrutia, Mahsa Yazdani, Tim Proctor, Kenny Workman

机构 * LatchBio 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出TxBench-PP基准，用于评估AI代理从真实实验数据中恢复临床前药理学结论的能力，测试显示最强配置Claude Opus 4.8 / Pi仅通过59.3%的端点尝试。

Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis

语言模型作为接口而非预言机：用于小儿阑尾炎的混合LLM-ML系统

Soheyl Bateni, Maryam Abdolali

机构 * K. N. Toosi University of Technology（K.N. Toosi技术大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出ClaMPAPP混合系统，利用LLM从自由文本中提取结构化特征，再由XGBoost分类器进行诊断，在两个独立队列中优于端到端LLM，提高了诊断稳定性和可审计性。