Counsel: A Meta-Evaluation Dataset for Agentic Tasks
Counsel: 面向智能体任务的元评估数据集
机构 * Atla AI ； Cohere AI ； Mistral AI ； Google DeepMind（谷歌DeepMind）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 提出Counsel数据集，通过人工标注对LLM评判的智能体轨迹错误进行元评估，用于校准和改进LLM评判器。
AI 大模型
大模型对齐与安全
大模型对齐、安全、越狱、红队、提示注入和可信评测。
1. 安全评测 9331 篇
Evaluation of Small Language Models for Arabic Language Processing
小型语言模型在阿拉伯语处理中的评估
机构 * Naseej Innovation Lab（纳赛伊创新实验室） ； Naseej for Technology（纳赛伊技术）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 本文评估了12种小型语言模型在阿拉伯语自然语言处理任务上的表现，构建了涵盖8个领域和10种语言技能的240项测试基准，发现模型大小并非决定因素，阿拉伯语对齐和指令遵循能力更关键。
Mind the Noise: Sensitivity of Transformer-based Interaction-Aware Trajectory Prediction Models to Noisy Data
注意噪声：基于Transformer的交互感知轨迹预测模型对噪声数据的敏感性
机构 * Networked Systems Lab, Universidad Miguel Hernandez de Elche（网络系统实验室，米格尔·洪德斯大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 研究基于Transformer的交互感知轨迹预测模型在噪声数据下的性能退化，发现预测精度在低噪声下降低1.3倍，高噪声下降低3.9倍，强调需要更真实的训练数据和噪声缓解策略。
MEDLAYXPLAIN: Benchmarking the Expert-Lay Gap in Medical Vision-Language Models
MEDLAYXPLAIN: 医学视觉语言模型中的专家-外行差距基准测试
机构 * Seoul National University（首尔大学） ； Seoul National University Hospital（首尔大学医院） ； Seoul National University College of Medicine（首尔大学医学院） ； Sungkyunkwan University School of Medicine（成均馆大学医学院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出首个大规模医学外行语言生成基准MedLayXPlain，包含12万+区域级样本和三层UMLS本体，通过HOVER管道构建外行描述，并引入轻量级评估器MedLayEval，揭示当前医学VLM在外行可读性与临床精度间的系统性差距。
Comments 40 pages (10 pages main text, 30 pages appendix), 4 main figures, 33 vision-language models benchmarked
LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations
基于LLM的多参考评估方法用于短语边界标注的高效稳健评估
机构 * NAVER Cloud（NAVER云） ； Yonsei University（延世大学） ； KAIST AI（韩国科学技术院人工智能）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出基于LLM的多参考评估方法(LMRE)，通过生成多个有效短语边界解决单参考评估的局限性，在韩语测试中与人类判断一致性更强。
Comments Accepted at Interspeech 2026
From Question Answering to Task Completion: A Survey on Agent System and Harness Design
从问答到任务完成：智能体系统与执行框架设计综述
机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） ； Peking University（北京大学） ； TokenRhythm Technologies（TokenRhythm 科技公司）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 本文从模型-执行框架视角综述LLM智能体，分析模型瓶颈与执行框架设计，提出六组件分解法，并探讨任务完成、效率与可靠性的影响因素。
Design Principles for Human-Agent Interaction
人-智能体交互的设计原则
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY
AI总结 本文提出14条设计原则，涵盖初始、交互、长期和故障四个阶段，以指导设计可用、可信且有效的人-智能体交互系统。
Latent Goal Prediction from Language for Model-Based Planning
基于语言隐式目标预测的模型规划
机构 * École de Technologie Supérieure, Montréal（蒙特利尔高等技术学院） ； International Laboratory on Learning Systems (ILLS)（国际学习系统实验室） ； Polytechnique Montréal（蒙特利尔综合理工学院） ； MILA ； Institut Universitaire de France (IUF)（法国大学研究院） ； Université Sorbonne, CNRS, ISIR（索邦大学，法国国家科学研究中心，智能系统与机器人研究所）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 提出LAGO框架，通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹，结合软最小轨迹代价规划，实现长程鲁棒规划。
Comments 9 pages. Preprint under review
Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures
探究语言引导：跨大语言模型架构的形容词效应分析
机构 * Research and Implementation（研究与实现）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 本研究利用Shapley值量化形容词对模型性能的引导效应，发现少量形容词具有不成比例的强大影响，但效果非普适；跨模型分析揭示“家族效应”，且形容词的引导方向高度依赖于句法角色和位置。
Comments Accepted for TMLR, https://openreview.net/forum?id=xN7NYpQeBm
LLM-ReSum: A Framework for LLM Reflective Summarization through Self-Evaluation
LLM-ReSum: 一个通过自我评估实现LLM反思性总结的框架
机构 * dept. of Information Science University of North Texas Denton, Texas, USA（信息科学系 俄克拉荷马州立大学 丹顿 俄克拉荷马州 美国） ； dept. of Data Science University of North Texas Denton, Texas, USA（数据科学系 俄克拉荷马州立大学 丹顿 俄克拉荷马州 美国）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出LLM-ReSum框架，通过整合LLM评估与生成，提升低质量摘要的事实准确性与覆盖率，引入新的法律文档摘要基准PatentSumEval。
Comments This paper has been accepted as an invited paper for publication in Proceedings of The 12th IEEE International Conference on Big Data Computing Service and Machine Learning Applications. This is the accepted manuscript. The final authenticated version will be available via IEEE Xplore
From RAG to Agentic RAG for Faithful Islamic Question Answering
从RAG到智能体RAG：面向可靠的伊斯兰问答
机构 * Qatar Computing Research Institute, HBKU, Qatar（卡塔尔计算研究中心，HBKU，卡塔尔） ； College of Humanities and Social Sciences, HBKU, Qatar（人文与社会科学学院，HBKU，卡塔尔） ； Arab Center for Research and Policy Studies, Qatar（阿拉伯研究中心与政策研究所，卡塔尔） ； College of Islamic Studies, HBKU, Qatar（伊斯兰研究学院，HBKU，卡塔尔） ； College of Public Policy, HBKU, Qatar（公共政策学院，HBKU，卡塔尔）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 针对LLM在伊斯兰问答中的幻觉与弃权问题，构建双语基准IslamicFaithQA，并提出基于结构化工具调用的智能体RAG框架，显著提升正确性与鲁棒性。
Comments Islamic Question Answering; Faithful Question Answering; Retrieval-Augmented Generation; Agentic RAG; Large Language Models
One Interaction Is Worth a Thousand Guesses: Benchmarking the Interactive Capabilities of Deep Research Agents
一次交互胜过千次猜测：深度研究代理的交互能力基准测试
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） ； Zhejiang University（浙江大学） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出IDRBench基准，通过交互式框架和用户模拟器评估深度研究代理的交互能力，实验表明交互能提升研究质量和鲁棒性。
Comments 17 pages, 9 figures, 9 tables
MedFedPure: A Medical Federated Framework with MAE-based Detection and Diffusion Purification for Inference-Time Attacks
MedFedPure: 基于MAE检测和扩散净化的医疗联邦框架用于推理时攻击防御
机构 * School of Electrical and Computer Engineering（电气与计算机工程学院） ； Max Planck Institute for Brain Research（马克斯·普朗克脑研究所在法兰克福） ； School of Computer Engineering,University of Science and Technology (IUST)（科学技术大学（IUST）计算机工程学院） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； University of Waterloo（滑铁卢大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG
AI总结 提出MedFedPure框架，结合个性化联邦学习、掩码自编码器检测和自适应扩散净化，在推理时防御对抗攻击，在Br35H脑MRI数据集上强攻击下准确率从49.50%提升至87.33%，干净准确率保持97.67%。
MultiCNKG: Integrating Cognitive Neuroscience, Gene, and Disease Knowledge Graphs Using Large Language Models
MultiCNKG: 利用大语言模型整合认知神经科学、基因和疾病知识图谱
机构 * Department of Computer Engineering and Information Technology, University of Qom（卡姆大学计算机工程与信息科技系） ； University of Qom（卡姆大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出MultiCNKG框架，整合认知神经科学、基因和疾病知识图谱，利用大语言模型实现实体对齐和图谱增强，提升生物医学领域知识图谱的整合与应用能力。
Journal ref Transactions on Machine Intelligence, 9(1), 1-15 (2026)
How LLMs Fail and Generalize in RTL Coding for Hardware Design?
LLM在硬件设计的RTL编码中如何失败与泛化？
机构 * NVIDIA Research（英伟达研究院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。
Comments Preview, under submission for EMNLP 2026
TxBench-PP: Analyzing AI Agent Performance on Small-Molecule Preclinical Pharmacology
TxBench-PP：分析AI代理在小分子临床前药理学中的表现
机构 * LatchBio
专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出TxBench-PP基准，用于评估AI代理从真实实验数据中恢复临床前药理学结论的能力，测试显示最强配置Claude Opus 4.8 / Pi仅通过59.3%的端点尝试。
Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis
语言模型作为接口而非预言机：用于小儿阑尾炎的混合LLM-ML系统
机构 * K. N. Toosi University of Technology（K.N. Toosi技术大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出ClaMPAPP混合系统，利用LLM从自由文本中提取结构化特征，再由XGBoost分类器进行诊断，在两个独立队列中优于端到端LLM，提高了诊断稳定性和可审计性。
GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science
GRACE-DS：数据科学中的受保护奖励引导智能体修正环境
机构 * ITMO University（ITMO大学） ； HSE University（高等经济学院）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 提出GRACE-DS，一个用于评估LLM驱动的AutoML智能体在部署前性能的隔离环境，通过隐藏的可执行验证器衡量预测性能、泄漏避免、可重复性等指标，实验证明其灵活迭代交互模式优于基线方法。
InstructTime++: Time Series Classification with Multimodal Language Modeling via Implicit Feature Enhancement
InstructTime++: 通过隐式特征增强的多模态语言建模进行时间序列分类
机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 提出将时间序列分类转化为多模态生成任务，通过离散化模块和对齐投影层弥合模态差距，并利用隐式特征建模提升语言模型性能。
ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark
ASyMOB：代数符号数学运算基准
机构 * MIT（麻省理工学院） ； Technion - Israel Institute of Technology（技术学院-以色列理工学院）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 提出ASyMOB基准，包含35,368个符号数学问题，通过扰动测试揭示大模型在符号数学推理中的鲁棒性不足，并发现LLM与CAS的互补潜力。
Comments Published in ICML2026: https://icml.cc/virtual/2026/poster/63549 Code repository: https://github.com/RamanujanMachine/ASyMOB Complete benchmark dataset: https://huggingface.co/datasets/Shalyt/ASyMOB-Algebraic_Symbolic_Mathematical_Operations_Benchmark
Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization
简单域泛化方法是开放域泛化的强基线
机构 * Graduate School of Environment and Information Sciences（环境与信息科学研究生院） ； Yokohama National University（Yokohama国立大学） ； Faculty of Environment（环境学系）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 本文评估现有域泛化方法在开放域泛化中的表现，发现简单方法CORAL和MMD与复杂方法DAML竞争力相当，并通过集成学习和Dirichlet混合数据增强简单扩展后性能接近DAML且计算成本更低。
Comments Accepted at IJCNN 2024. The code used in the experiments is available at https://github.com/shiralab/OpenDG-Eval
RubricsTree: Scalable and Evolving Open-Ended Evaluation of Personal Health Agents across Health Memory and Medical Skills
RubricsTree: 面向个人健康代理在健康记忆与医疗技能上的可扩展且不断演进的开放式评估
机构 * Google Research（谷歌研究院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出RubricsTree框架，通过专家对齐的层次化分类法（含100多个原子布尔规则）和上下文自适应路由，实现可扩展、可审计且不断演进的开放式评估，在HealthBench上使模型性能提升高达约66%。
PseudoBench: Measuring How Agentic Auto-Research Fuels Pseudoscience
PseudoBench: 衡量自主研究如何助长伪科学
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiao Tong University（西安交通大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI
AI总结 提出PseudoBench基准，通过200个伪科学声明-证据对评估AI代理识别和抵制伪科学的能力，发现当前系统极易生成有说服力的伪科学报告，拒绝率接近零。
Comments 26 pages, 21 figures
AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows
AIPatient Arena：基于电子健康记录的大语言模型在端到端临床咨询工作流中的评估
机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） ； Key Laboratory of Machine Intelligence and System Control, Shandong University（机器智能与系统控制重点实验室，山东大学） ； Department of Medicine and Therapeutics, The Chinese University of Hong Kong（医学与治疗学系，香港中文大学） ； Department of Geriatric Medicine, Qilu Hospital of Shandong University（老年医学科，山东大学齐鲁医院） ； Department of Psychiatry, The Chinese University of Hong Kong（精神病学系，香港中文大学） ； Li Chiu Kong Family Sleep Assessment Unit, Department of Psychiatry, Faculty of Medicine, The Chinese University of Hong Kong（李秋虹家庭睡眠评估单元，精神病学系，医学院，香港中文大学） ； Li Ka Shing Institute of Health Sciences, Faculty of Medicine, The Chinese University of Hong Kong（李嘉诚健康科学研究院，医学院，香港中文大学） ； Gerald Choa Neuroscience Institute, Department of Medicine and Therapeutics, The Chinese University of Hong Kong（Gerald Choa 神经科学研究所，医学与治疗学系，香港中文大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出AIPatient Arena框架，通过电子健康记录构建患者知识图谱，在多轮医患交互中评估大语言模型的八项临床能力，发现模型在信息覆盖、诊断推理等方面存在不足，强调过程评估的重要性。
Comments 49 pages, 12 figues, 11 tables
XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models
基于XAI的语音深度伪造检测解释生成：使用免训练多模态大语言模型
机构 * Imperial College London（帝国理工学院） ； Technical University of Munich（慕尼黑工业大学） ； University of Southampton（南安普顿大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 针对语音深度伪造检测缺乏可解释性的问题，提出一种免训练框架，融合XAI证据与多模态大语言模型，生成基于证据的特定解释，在PartialSpoof数据集上内部准确率提升超45%。
Comments Accepted at Interspeech 2026
How to Detect and Measure the AI Dangers to Democracy
如何检测和衡量人工智能对民主的危险
机构 * Université libre de Bruxelles（布鲁塞尔自由大学） ； Yale University（耶鲁大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY
AI总结 针对AI对民主进程的影响，提出基于委托代理理论和NIST框架的分析体系，通过可测量指标评估问责缺口与治理失败，强调机构可评估性是民主控制的关键。
SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills
SkillVetBench: 基于LLM评判的多维安全风险评估开源LLM智能体技能
机构 * SUPREME Lab, University of Texas at El Paso, Texas, USA（SUPREME实验室，德克萨斯理工大学埃尔帕索分校，德克萨斯州，美国）
专题命中 安全评测 ：prompt injection(abstract)；分类 cs.AI、cs.LG
AI总结 提出SkillVetBench，利用LLM作为评判器对开源LLM智能体技能进行多维安全风险评估，引入五维技能智能体风险评分（SARS）和CVSS v4.0向量分解，在78个恶意技能上实现零假阴性，22个良性技能上零假阳性。
Comments The main research paper is submitted to NeurIPS 2027, it is in under review
Let LLMs Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering
让LLMs互相评判：面向医学问答的多智能体同行评审推理
机构 * University of Minnesota（明尼苏达大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI
AI总结 提出多智能体同行评审推理方法，让多个LLM独立生成思维链推理并相互评估，选择最优推理链输出答案，在三个医学问答数据集上优于单模型和多数投票方法。
Comments Accepted by the Journal of the American Medical Informatics Association
Risk-Aware LLM Agents for Geospatial Data Retrieval: Design and Preliminary Adversarial Evaluation
风险感知的LLM智能体用于地理空间数据检索：设计与初步对抗性评估
机构 * Dept. of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系） ； SkyWatch ； Dept. of Geography and Environmental Management, University of Waterloo（滑铁卢大学地理与环境管理系） ； Dept. of Geomatics Engineering, University of Calgary（卡尔加里大学测绘工程系）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI
AI总结 提出一种基于LLM的框架，通过自然语言查询从云地理空间目录检索遥感数据，集成三个智能体实现安全、意图解析和API调用生成，初步对抗实验表明提示级安全指令提升鲁棒性但需系统级防御。
Comments Accepted for publication in the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS Archives), ISPRS Congress 2026
Journal ref Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIX-B3-2026, 1419-1426, 2026
Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints
优化大语言模型推理：带有内存约束的流引导在线调度
机构 * Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Alibaba Group（阿里巴巴集团）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出流引导在线调度方法，通过等待阈值算法和嵌套等待算法，在内存约束下优化大语言模型推理的延迟和容量，减少过载时的延迟。
Comments 79 pages, 20 figures
