大模型对齐与安全

Mind the Noise: Sensitivity of Transformer-based Interaction-Aware Trajectory Prediction Models to Noisy Data

注意噪声：基于Transformer的交互感知轨迹预测模型对噪声数据的敏感性

Shahab Salehi, Luca Lusvarghi, Miguel Sepulcre, Javier Gozalvez

机构 * Networked Systems Lab, Universidad Miguel Hernandez de Elche（网络系统实验室，米格尔·洪德斯大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究基于Transformer的交互感知轨迹预测模型在噪声数据下的性能退化，发现预测精度在低噪声下降低1.3倍，高噪声下降低3.9倍，强调需要更真实的训练数据和噪声缓解策略。

MEDLAYXPLAIN: Benchmarking the Expert-Lay Gap in Medical Vision-Language Models

MEDLAYXPLAIN: 医学视觉语言模型中的专家-外行差距基准测试

Han Jang, Junhyeok Lee, Songsoo Kim, Chae Young Lim, Hyeonjin Goh, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔大学） ； Seoul National University Hospital（首尔大学医院） ； Seoul National University College of Medicine（首尔大学医学院） ； Sungkyunkwan University School of Medicine（成均馆大学医学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个大规模医学外行语言生成基准MedLayXPlain，包含12万+区域级样本和三层UMLS本体，通过HOVER管道构建外行描述，并引入轻量级评估器MedLayEval，揭示当前医学VLM在外行可读性与临床精度间的系统性差距。

Comments 40 pages (10 pages main text, 30 pages appendix), 4 main figures, 33 vision-language models benchmarked

LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

基于LLM的多参考评估方法用于短语边界标注的高效稳健评估

Younghan Park, Hoyeon Lee, Hawon Jeong, Jong-Hwan Kim

机构 * NAVER Cloud（NAVER云） ； Yonsei University（延世大学） ； KAIST AI（韩国科学技术院人工智能） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于LLM的多参考评估方法(LMRE)，通过生成多个有效短语边界解决单参考评估的局限性，在韩语测试中与人类判断一致性更强。

Comments Accepted at Interspeech 2026

From Question Answering to Task Completion: A Survey on Agent System and Harness Design

从问答到任务完成：智能体系统与执行框架设计综述

Jianyuan Guo, Zhiwei Hao, Chengcheng Wang, Cheng Fan, Tingzhang Luo, Hongguang Li, Ying Gao, Hefei Mei, Jiankun Peng, Rongjian Xu, Minjing Dong, Han Wu, Mengyu Zheng, Kai Han, Shiqi Wang, Chang Xu, Yunhe Wang

机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） ； Peking University（北京大学） ； TokenRhythm Technologies（TokenRhythm 科技公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文从模型-执行框架视角综述LLM智能体，分析模型瓶颈与执行框架设计，提出六组件分解法，并探讨任务完成、效率与可靠性的影响因素。

Design Principles for Human-Agent Interaction

人-智能体交互的设计原则

Haiyi Zhu, Canwen Wang, Qing Xiao, Hong Shen

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出14条设计原则，涵盖初始、交互、长期和故障四个阶段，以指导设计可用、可信且有效的人-智能体交互系统。

Latent Goal Prediction from Language for Model-Based Planning

基于语言隐式目标预测的模型规划

Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

机构 * École de Technologie Supérieure, Montréal（蒙特利尔高等技术学院） ； International Laboratory on Learning Systems (ILLS)（国际学习系统实验室） ； Polytechnique Montréal（蒙特利尔综合理工学院） ； MILA ； Institut Universitaire de France (IUF)（法国大学研究院） ； Université Sorbonne, CNRS, ISIR（索邦大学，法国国家科学研究中心，智能系统与机器人研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出LAGO框架，通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹，结合软最小轨迹代价规划，实现长程鲁棒规划。

Comments 9 pages. Preprint under review

Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures

探究语言引导：跨大语言模型架构的形容词效应分析

Lars Malmqvist

机构 * Research and Implementation（研究与实现） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究利用Shapley值量化形容词对模型性能的引导效应，发现少量形容词具有不成比例的强大影响，但效果非普适；跨模型分析揭示“家族效应”，且形容词的引导方向高度依赖于句法角色和位置。

Comments Accepted for TMLR, https://openreview.net/forum?id=xN7NYpQeBm

How LLMs Fail and Generalize in RTL Coding for Hardware Design?

LLM在硬件设计的RTL编码中如何失败与泛化？

Guan-Ting Liu, Chao-Han Huck Yang, Chenhui Deng, Zhongzhi Yu, Brucek Khailany, Yu-Chiang Frank Wang

机构 * NVIDIA Research（英伟达研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。

Comments Preview, under submission for EMNLP 2026

TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology

TxBench-PP：分析AI代理在小分子临床前药理学中的表现

Hannah Le, Ramesh Ramasamy, Alex Urrutia, Mahsa Yazdani, Tim Proctor, Kenny Workman

机构 * LatchBio 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出TxBench-PP基准，用于评估AI代理从真实实验数据中恢复临床前药理学结论的能力，测试显示最强配置Claude Opus 4.8 / Pi仅通过59.3%的端点尝试。

Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis

语言模型作为接口而非预言机：用于小儿阑尾炎的混合LLM-ML系统

Soheyl Bateni, Maryam Abdolali

机构 * K. N. Toosi University of Technology（K.N. Toosi技术大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出ClaMPAPP混合系统，利用LLM从自由文本中提取结构化特征，再由XGBoost分类器进行诊断，在两个独立队列中优于端到端LLM，提高了诊断稳定性和可审计性。

GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science

GRACE-DS：数据科学中的受保护奖励引导智能体修正环境

Aleksandr Tsymbalov, Danis Zaripov, Artem Epifanov, Anastasiya Palienko

机构 * ITMO University（ITMO大学） ； HSE University（高等经济学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出GRACE-DS，一个用于评估LLM驱动的AutoML智能体在部署前性能的隔离环境，通过隐藏的可执行验证器衡量预测性能、泄漏避免、可重复性等指标，实验证明其灵活迭代交互模式优于基线方法。

RubricsTree: Scalable and Evolving Open-Ended Evaluation of Personal Health Agents across Health Memory and Medical Skills

RubricsTree: 面向个人健康代理在健康记忆与医疗技能上的可扩展且不断演进的开放式评估

Weizhi Zhang, Zechen Li, Hamid Palangi, Ben Graef, A. Ali Heydari, Simon A. Lee, Salman Rahman, Ray Luo, Zeinab Esmaeilpour, Erik Schenck, Chloe Zhang, Yamin Li, Menglian Zhou, Philip S. Yu, Daniel McDuff, Lindsey Sunden, Mark Malhotra, Shwetak Patel, Ahmed A. Metwally

机构 * Google Research（谷歌研究院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出RubricsTree框架，通过专家对齐的层次化分类法（含100多个原子布尔规则）和上下文自适应路由，实现可扩展、可审计且不断演进的开放式评估，在HealthBench上使模型性能提升高达约66%。

PseudoBench: Measuring How Agentic Auto-Research Fuels Pseudoscience

PseudoBench: 衡量自主研究如何助长伪科学

Xinyang Liao, Lingyu Li, Huacan Liu, Tianle Gu, Yang Yao, Tong Zhu, Yan Teng, Yingchun Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiao Tong University（西安交通大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出PseudoBench基准，通过200个伪科学声明-证据对评估AI代理识别和抵制伪科学的能力，发现当前系统极易生成有说服力的伪科学报告，拒绝率接近零。

Comments 26 pages, 21 figures

AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows

AIPatient Arena：基于电子健康记录的大语言模型在端到端临床咨询工作流中的评估

Jiahui Niu, Huizi Yu, Wenkong Wang, Guangxin Dai, Jingxian He, Xiang Li, Zhiying Liang, Xinxin Lin, Kent CY So, Bryan YP Yan, Yun Kwok Wing, Yanqiu Xing, Xin Ma, Lizhou Fan

机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） ； Key Laboratory of Machine Intelligence and System Control, Shandong University（机器智能与系统控制重点实验室，山东大学） ； Department of Medicine and Therapeutics, The Chinese University of Hong Kong（医学与治疗学系，香港中文大学） ； Department of Geriatric Medicine, Qilu Hospital of Shandong University（老年医学科，山东大学齐鲁医院） ； Department of Psychiatry, The Chinese University of Hong Kong（精神病学系，香港中文大学） ； Li Chiu Kong Family Sleep Assessment Unit, Department of Psychiatry, Faculty of Medicine, The Chinese University of Hong Kong（李秋虹家庭睡眠评估单元，精神病学系，医学院，香港中文大学） ； Li Ka Shing Institute of Health Sciences, Faculty of Medicine, The Chinese University of Hong Kong（李嘉诚健康科学研究院，医学院，香港中文大学） ； Gerald Choa Neuroscience Institute, Department of Medicine and Therapeutics, The Chinese University of Hong Kong（Gerald Choa 神经科学研究所，医学与治疗学系，香港中文大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出AIPatient Arena框架，通过电子健康记录构建患者知识图谱，在多轮医患交互中评估大语言模型的八项临床能力，发现模型在信息覆盖、诊断推理等方面存在不足，强调过程评估的重要性。

Comments 49 pages, 12 figues, 11 tables

XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

基于XAI的语音深度伪造检测解释生成：使用免训练多模态大语言模型

Yupei Li, Qiyang Sun, Xiaoliang Wu, Chenxi Wang, Berrak Sisman, Björn W. Schuller

机构 * Imperial College London（帝国理工学院） ； Technical University of Munich（慕尼黑工业大学） ； University of Southampton（南安普顿大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 针对语音深度伪造检测缺乏可解释性的问题，提出一种免训练框架，融合XAI证据与多模态大语言模型，生成基于证据的特定解释，在PartialSpoof数据集上内部准确率提升超45%。

Comments Accepted at Interspeech 2026

How to Detect and Measure the AI Dangers to Democracy

如何检测和衡量人工智能对民主的危险

Giulia Sandri, Claudio Novelli

机构 * Université libre de Bruxelles（布鲁塞尔自由大学） ； Yale University（耶鲁大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 针对AI对民主进程的影响，提出基于委托代理理论和NIST框架的分析体系，通过可测量指标评估问责缺口与治理失败，强调机构可评估性是民主控制的关键。

SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills

SkillVetBench: 基于LLM评判的多维安全风险评估开源LLM智能体技能

Ismail Hossain, Sai Puppala, Md Jahangir Alam, Tanzim Ahad, Sajedul Talukder

机构 * SUPREME Lab, University of Texas at El Paso, Texas, USA（SUPREME实验室，德克萨斯理工大学埃尔帕索分校，德克萨斯州，美国） 纠错

专题命中 安全评测 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 提出SkillVetBench，利用LLM作为评判器对开源LLM智能体技能进行多维安全风险评估，引入五维技能智能体风险评分（SARS）和CVSS v4.0向量分解，在78个恶意技能上实现零假阴性，22个良性技能上零假阳性。

Comments The main research paper is submitted to NeurIPS 2027, it is in under review

Let LLMs Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering

让LLMs互相评判：面向医学问答的多智能体同行评审推理

Zaifu Zhan, Shuang Zhou, Rui Zhang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出多智能体同行评审推理方法，让多个LLM独立生成思维链推理并相互评估，选择最优推理链输出答案，在三个医学问答数据集上优于单模型和多数投票方法。

Comments Accepted by the Journal of the American Medical Informatics Association

Risk-Aware LLM Agents for Geospatial Data Retrieval: Design and Preliminary Adversarial Evaluation

风险感知的LLM智能体用于地理空间数据检索：设计与初步对抗性评估

Kyle Gao, Joel Cumming, Jonathan Li, Linlin Xu, David A. Clausi

机构 * Dept. of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系） ； SkyWatch ； Dept. of Geography and Environmental Management, University of Waterloo（滑铁卢大学地理与环境管理系） ； Dept. of Geomatics Engineering, University of Calgary（卡尔加里大学测绘工程系） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种基于LLM的框架，通过自然语言查询从云地理空间目录检索遥感数据，集成三个智能体实现安全、意图解析和API调用生成，初步对抗实验表明提示级安全指令提升鲁棒性但需系统级防御。

Comments Accepted for publication in the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS Archives), ISPRS Congress 2026

Journal ref Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIX-B3-2026, 1419-1426, 2026

ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning

ClinHallu: 用于诊断医学多模态大语言模型推理中阶段式幻觉的基准

Sicheng Yang, Hangjie Yuan, Wenjun Zhang, Jinwang Wang, Yichen Qian, Weihua Chen, Fan Wang, Lei Zhu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出ClinHallu基准，包含7031个实例，每个实例带有结构化推理轨迹（视觉识别、知识回忆、推理整合），通过阶段替换干预和轨迹监督微调，实现细粒度幻觉诊断与缓解。

Comments Code and datasets: https://github.com/alibaba-damo-academy/ClinHallu

MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

MLUBench: 多模态大语言模型终身遗忘评估基准

He Li, Haoang Chi, Qizhou Wang, Yunxin Mao, Zhiheng Zhang, Jie Tan, Tongliang Liu, Wenjing Yang, Bo Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出MLUBench基准，评估多模态大模型在连续遗忘请求下的性能，发现现有方法存在累积退化，并揭示多模态对齐保持的挑战，提出LUMoE方法缓解退化。

Comments 36 pages, accepted to the ICML 2026

Emerging Flexible Designs for Geospatial Multimodal Foundation Models

地理空间多模态基础模型的新兴灵活设计

Philipe Dias, Waqwoya Abebe, Abhishek Potnis, Aristeidis Tsaris, Dan Lu, Xiao Wang, Dalton Lunga

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。

The Challenges of Balancing AI Compliance and Technological Innovations in Critical Sectors: A Systematic Literature Review

关键领域中平衡AI合规与技术创新的挑战：系统文献综述

Ayush Enkhtaivan, Chinazunwa Uwaoma

机构 * Claremont Graduate University（克莱蒙特研究生大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 通过系统文献综述，识别出碎片化法规、中小企业过度合规负担和治理模型错配三大挑战，并提出风险分级监管、设计合规和可解释AI等策略。

Comments 11 pages, 7 figures, Hawaii International Conference on System Sciences

GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs

GraspLLM: 面向文本属性图与LLM的零样本泛化

Hengyi Feng, Zeang Sheng, Meiyi Qiang, Yang Li, Wentao Zhang

机构 * Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出GraspLLM框架，通过融合图结构理解与LLM语义能力，利用基序感知对比学习和最优上下文子图对齐，实现跨数据集和跨任务的零样本泛化。

System Report for CCL25-Eval Task 5: New Dataset and LoRA-Fine-Tuned Qwen2.5

CCL25-Eval 任务5系统报告：新数据集与LoRA微调Qwen2.5

Haotao Xie

机构 * The Hangzhou International Innovation Institute Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 针对古典诗歌翻译与情感理解任务，构建高质量指令数据集CCPoetry-49K，并采用LoRA微调Qwen2.5-14B模型得到PoetryQwen，在CCL25-Eval任务5上取得0.757分，较基线提升9.7%。

MedCTA: A Benchmark for Clinical Tool Agents

MedCTA: 临床工具智能体基准

Tajamul Ashraf, Hyewon Jeong, Fida Mohammad Thoker, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出MedCTA基准，基于放射影像、病理切片和报告等真实临床多模态输入，评估医疗AI智能体在工具检索、证据获取和集成方面的规划与执行能力。

Comments Project Page: https://ivul-kaust.github.io/MedCTA/ Code: https://github.com/IVUL-KAUST/MedCTA Data: https://huggingface.co/datasets/IVUL-KAUST/MedCTA

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

层隔离评估：使用无LLM、回归锁定的测试工具对生产级LLM代理的确定性框架进行门控

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出层隔离评估方法，将LLM代理分解为固定层次，用确定性无LLM测试套件逐层检测回归，证明聚合指标会掩盖局部退化，而逐层基线门控可准确定位。

Comments 12 pages, 2 figures, 5 tables

A Navigable Manifold of Hypothesized Consciousness-Spectrum States in Language Model Representations

语言模型表示中假设的意识谱状态的可导航流形

Sophie Zhao

机构 * School of Computer Science（计算机科学学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型嵌入空间中与意识谱相关的几何结构，发现嵌入形成可导航流形，高低层区域稳定，中间为过渡走廊，导航性为内在属性。

Hybrid Robustness Verification for Spatio-Temporal Neural Networks

时空神经网络的混合鲁棒性验证

Sherwin Varghese, Matthew Wicker, Alessio Lomuscio

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对3D CNN在视频和体素输入中的鲁棒性验证，提出时空约束建模和STBP框架，实现精确闭式传播与可扩展近似，在UCF-101等基准上提升1.7倍认证鲁棒准确率。

Comments Accepted at the 9th International Symposium on AI Verification (SAIV 2026)

SafeRun: Enabling Determinism in LLM Planning for Running

SafeRun：在跑步规划中实现LLM的确定性

Meilin Chen, Zepeng Zhai, Jiaxuan Zhao, Yuan Lu

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM在跑步规划中因概率性导致安全违规的问题，提出SafeRun框架，通过解耦架构将LLM的软解释与确定性求解器的硬约束分离，实现100%安全评分。

Comments Workshop on Planning in the Era of LLMs (LM4Plan) at ICML 2026