大模型对齐与安全

A Blind Spot in Alignment: Quantifying Biosecurity Risks in Large Language Models

对齐机制中的盲区：量化大语言模型的生物安全风险

Shu Quan, Tianfang Hao, Sitong Fang, He Geng, Jiayi Zhou, Boyuan Chen, Kaile Wang, Donghai Hong, Juntao Dai, Yaodong Yang, Jiaming Ji

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究针对大语言模型生物安全评估盲区，构建SPIKE-Bench评估框架，发现多数模型易生成毒素序列，提出BioSafe-Guard分类器降低功能风险并开源相关资源。

Comments Accepted to COLM 2026. 40 pages, 9 figures

VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought

VG-CoT：通过 grounded Chain-of-Thought 实现可信的视觉推理

Byeonggeuk Lim, Kyeonghyun Kim, JungMin Yun, YoungBin Kim

机构 * Graduate School of Advanced Imaging Science, Multimedia & Film, Chung-Ang University（高级影像科学、多媒体与电影研究生院， Chung-Ang 大学） ； Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出 VG-CoT 数据集，通过自动化三阶段流程将推理步骤与图像真实视觉证据联系起来，提升大视觉-语言模型的可信度和推理能力。

Comments Accepted to LREC 2026

Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

安全，还是仅仅是能力？智能体安全基准的有效性审计

Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 该研究审计了R-Judge等四个智能体安全基准的有效性，发现其排名分歧源于小样本偏差，能力与对齐错误安全负相关，AgentHarm与越狱安全的关联为收敛效度而非通用安全，强调安全主张需明确关键要素。

FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments

FinVault：在执行 grounded 环境中评估金融代理安全性的基准测试

Zhi Yang, Runguo Li, Qiqi Qiang, Jiashun Wang, Fangqi Lou, Mengping Li, Dongpo Cheng, Rui Xu, Heng Lian, Shuo Zhang, Xiaolong Liang, Xiaoming Huang, Zheng Wei, Zhaowei Liu, Xin Guo, Huacan Wang, Ronghao Chen, Liwen Zhang

机构 * SUFE（上海财经大学） ； CUHKSZ（香港中文大学） ； SUIBE（上海对外经贸大学） ； FDU（福建大学） ； XDU（西安电子科技大学） ； BUPT（北京邮电大学） ； Tencent（腾讯） ； UCAS（中国科学院大学） ； PKU（北京大学） ； QuantaAlpha（量子Alpha） 纠错

专题命中 安全评测 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 FinVault 是首个针对金融代理的执行 grounded 安全基准测试，通过31个监管案例驱动的沙盒场景和963个测试用例，评估金融代理在现实金融环境中的安全性和防御有效性。

Comments After further review of the current submission, we have identified potential legal and intellectual property concerns associated with keeping the manuscript publicly available as a preprint. In particular, there are ongoing considerations regarding institutional affiliation information, intellectual property ownership, and related compliance matters

The Missing Variable: Socio-Technical Alignment in Risk Evaluation

缺失的变量：风险评估中的社会技术对齐

Niclas Flehmig, Mary Ann Lundteigen, Shen Yin

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CY

AI总结 本文提出社会技术对齐STA变量，用于改进AI安全关键系统风险评估，通过案例研究展示其在捕捉社会技术安全影响方面的贡献。

Comments This paper was accepted for the IFAC World Congress 2026

Probabilistic Concept-Aware Steering for Trustworthy LLM Inference

用于可信大语言模型推理的概率概念感知引导

Brian Becker, Rui Chu, Yingjie Lao

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型推理中现有引导向量方法的问题，提出概率概念感知引导框架，通过概念驱动检索和概率校准，在保留模型能力的同时实现可控、安全的语义偏差引导。

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL：面向基础模型基于具身代理的安全性评估多级形式框架

Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

机构 * Northwestern University, USA ； University of Southern California, USA ； College of William \& Mary 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 SENTINEL通过形式时序逻辑多级验证框架，系统性评估基础模型具身代理在模拟环境中的物理安全性。

Closing the AI Trust Gap: The Case for Independent Certification for Trustworthy AI

缩小人工智能信任差距：可信人工智能独立认证的案例

Trisevgeni Papakonstantinou, Cansu Canca, Farah Nanji, Waheedullah Pardess, Jen Weedon, Jasmijn Remmers, Eliza Krigman, Matthew Ball, Yalda Daryani, Kiran Iqbal, Francielle Vargas, María Llorente Sánchez, Joe Humphreys, Fendi Tsim, Kelly Fitzpatrick, Jeff Dunn, Catherine Feldman

机构 * University College London（伦敦大学学院） ； AI Ethics Lab（人工智能伦理实验室） ； University of Cambridge（剑桥大学） ； Columbia University（哥伦比亚大学） ； MATS ； Tech with Intention（技术与意图） ； University of Southern California（南加州大学） ； Kyushu University（九州大学） ； University of Chile（智利大学） ； BehSci Meets AI（行为科学与人工智能） ； Digital Trust Council（数字信任委员会） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究指出负责任AI虽有实践但未形成奖励可信度的市场，存在信任差距。原因包括关注重点偏差及三个复合失败。通过审查治理工具发现不足，进而提出以结果为导向的独立认证来缩小信任差距，补充监管与内部治理。

Democratizing Agent Deployment Safety: A Structural Monitoring Approach

使智能体部署安全民主化：一种结构监测方法

Preeti Ravindra, Rahul Tiwari, Vincent Wolowski

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究人工智能智能体部署安全问题，引入信息流图（IFG）监测器，通过控制流、数据流图及原始代码差异分析结构安全回归。实验表明，IFG监测器能降低攻击错过率，还可同步作为部署前保障，为组织实现部署安全民主化提供实用途径。

Comments Accepted in ICML 2026 Workshops: AI4GOOD and AIWILD

From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Models

从提示风险到响应风险：大型语言模型安全行为的配对分析

Mengya Hu, Qiong Wei, Sandeep Atluri

机构 * Microsoft（微软） 纠错

专题命中 安全评测 ：safety(title,abstract)；harmlessness(abstract)；分类 cs.CL

AI总结 本研究通过配对分析人类标注的提示和响应记录，探讨了大型语言模型在四个危害类别（性、自残、仇恨和暴力）和有序严重性级别上的安全行为，发现61%的响应比提示减少了危害，3%的响应升级了危害，并揭示了安全行为与无害性之间的权衡。

Toward Contemplative LLM: A Modular Framework for Evaluating and Enhancing LLM Alignment in Mental Health

迈向沉思型大语言模型：心理健康领域中评估与增强大语言模型对齐性的模块化框架

Asher Sprigler, Yang-Yang Feng, Iftach Amir, Jonathan E. Bogard, Todd S Braver, Yi Ding, David Kinney, Yixue Zhao

机构 * Purdue University（普渡大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Yixue Research Institute（易学研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 针对新模型等涌现使评估沉思原则增强大语言模型对齐性具挑战的问题，提出模块化可扩展评估框架，能集成新元素并重现先进结果，支持交叉评估，其提示模块便于纳入伦理视角，为跨学科研究及有益人机生态系统奠定基础。

Comments Accepted as an oral presentation at HARMONY 2026 (Human-centered AI Research for Mental Health, an Open Networking Symposium), co-located with IEEE/ACM Conference on Connected Health: Applications, Systems, and Engineering Technologies (CHASE 2026) held in Pittsburgh, August 6, 2026

Safety-Aware Evaluation of LLM-Generated Driver Intervention Messages through Multi-Task Risk Fusion

通过多任务风险融合的LLM生成驾驶员干预信息的安全感知评估

Keito Inoshita

机构 * Faculty of Business and Commerce, Kansai University（关西大学商学部） ； Data Science and AI Innovation Research Promotion Center, Shiga University（滋贺大学数据科学与人工智能创新研究推进中心） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 提出DSAIS指标，结合规则与LLM评估五个维度，通过多任务风险融合框架提升干预信息质量，实验表明多任务集成使上下文相关性提升9.1%。

AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent

AgentLens: 通过机制子空间实现多轮编码代理的可解释安全引导

Weidi Luo, Qiming Zhang, Yihao Quan, Mingyu Jin, Jie Cai, Chaowei Xiao, Jingcheng Niu, Zhen Xiang

机构 * University of Georgia（佐治亚大学） ； University of South Florida（南佛罗里达大学） ； Rutgers University（罗格斯大学） ； University of Southern California（南加州大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出AgentLens框架，从内部表示层检测和缓解多轮编码代理的安全风险，通过单层10维子空间干预实现运行时安全控制，并在MAS基准上验证有效性。

Revelio: Cost-Efficient Agentic Memory Safety Vulnerability Detection For Repository-Scale Codebases

Revelio: 面向仓库级代码库的高性价比智能体内存安全漏洞检测

Yiwei Hou, Hao Wang, Muxi Lyu, Marius Momeu, Eric Nguyen, Taige Yang, Koushik Sen, Dawn Song, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出Revelio框架，通过生成可执行漏洞证明并用确定性消毒器验证，结合低成本LLM和轻量静态分析，在仓库级代码库中高效发现内存安全漏洞，7个项目中19个新漏洞，成本约300美元。

The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs

错误的正确：量化和定位大语言模型中的失调对齐

Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen

机构 * University of Michigan（密歇根大学） ； University of Cambridge（剑桥大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出VETO基准和失调对齐率（MAR）指标，发现所有LLM在刻板印象相关问题上均存在非平凡的失调对齐，且人类为0%，机制分析表明对齐诱导的线索会放大该现象。

Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents

能力最小化作为安全原语：风险感知因果门控实现最小特权LLM代理

Laxmipriya Ganesh Iyer, Rahul Suresh Babu

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出风险感知因果门控（RACG）框架，通过因果效应估计与校准风险控制决定是否采纳模型预测，显著降低高成本错误，同时保持非门控策略的大部分效用。

SpheriCity: Designing Trustworthy Conversational AI for Sustainability Decision Support

SpheriCity：为可持续发展决策支持设计可信赖的对话式AI

Ahmed Qayyum, Madison Werner, Kathryn Youngblood, Jenna R. Jambeck, Tahiya Chowdhury

机构 * Department of Computer Science, Colby College（科里尔学院计算机科学系） ； Circularity Informatics Lab, University of Georgia（佐治亚大学循环信息实验室） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 提出SpheriCity，一种基于来源的对话式AI原型，通过结构化合成和交互支架，支持从城市循环性评估报告中可信地获取知识，解决大语言模型在可持续性高风险领域中的透明度与信任问题。

Comments Accepted to ACM SIGCAS/SIGCHI Conference on Computing and Sustainable Societies (COMPASS '26)

The Containment Gap: How Deployed Agentic AI Frameworks Fail Public-Facing Safety Requirements

遏制缺口：已部署的自主AI框架如何未能满足面向公众的安全要求

Md Jafrin Hossain, Mohammad Arif Hossain, Weiqi Liu, Nirwan Ansari

机构 * New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究发现主流自主AI框架缺乏架构级安全保证，内存完整性漏洞可导致定向腐败，提出轻量级遏制机制消除攻击向量。

Comments ICML 2026 (AI4GOOD Workshop)

ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents

ST-WebAgentBench：用于评估网络代理安全性和可信度的基准测试

Ido Levy, Ben Wiesel, Sami Marreed, Alon Oved, Avi Yaeli, Nir Mashkif, Segev Shlomov

机构 * IBM Research（IBM研究院） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出ST-WebAgentBench基准测试，用于评估网络代理在现实企业场景中的安全性和可信度，通过引入新的评估指标CuP和风险比，揭示了现有代理的安全性缺陷。

Comments The Fourteenth International Conference on Learning Representations (ICLR 2026)

Reasoning over Boundaries: Enhancing Specification Alignment via Test-time Deliberation

推理边界：通过测试时深思增强规范对齐

Haoran Zhang, Yafu Li, Xuyang Hu, Dongrui Liu, Zhilin Wang, Bo Li, Yu Cheng

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； University of Science and Technology of China, Hefei, Anhui, China（中国科学技术大学） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学） ； University of Illinois Urbana-Champaign, Urbana, IL, USA（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 提出Align3方法，利用测试时深思（TTD）和分层反思修正来推理规范边界，并构建SpecBench基准，实验表明TTD能有效增强规范对齐。

Comments 10 pages main text, 52 pages total (including appendix). Code and resources are available at https://github.com/zzzhr97/SpecBench

Beyond English and Evasion: A Human-Annotated Multi-Domain Benchmark for High-Stakes LLM Safety Evaluation in Chinese

超越英语与规避：用于高风险LLM中文安全评估的人工标注多领域基准

Wajdi Zaghouani, Kholoud K. Aldous, Yicheng Gao

机构 * Northwestern University in Qatar（卡塔尔西北大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 针对LLM在中文环境下安全系统失效的问题，构建了包含1,897个对抗性提示的人工标注基准ChiSafe-PAS，覆盖四个高风险领域，并提供完整标注以评估模型安全对齐。

Journal ref Proceedings of The fourth international workshop on the role of resources in the age of large language models RESOURCEFUL-2026 at LREC 2026, Palma de Mallorca, Spain, 2026

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization

对齐但脆弱：通过零阶优化增强LLM安全鲁棒性

Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高科技园区（滨江）区块链与数据安全研究院） ； Sun Yat-sen University（中山大学） ； KAUST（卡塔尔大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对大语言模型安全对齐后易受轻量级后处理（如参数噪声、激活噪声或量化）影响的问题，提出基于零阶优化的混合框架，通过先标准一阶安全对齐再零阶精炼提升鲁棒性，并利用扰动评估估计层鲁棒性敏感性以高效聚焦关键层更新。

KSAFE-MM: A Multimodal Safety Benchmark via Localized Contextualization for Korean Cultural Risks

KSAFE-MM：通过本地化语境化实现韩国文化风险的多模态安全基准

Yongwoo Kim, Sojung An, Yunjin Park, Jungwon Yoon, Dujin Lee, HyunBeom Cho, Jaewon Lee, Wonhyuk Lee, Youngchol Kim, JeongYeop Kim, Donghyun Kim

机构 * Korea University（韩国大学） ； KT Corporation（KT公司） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型在安全评估中缺乏文化特异性问题，提出KSAFE-MM基准，通过语言和视觉语境化构建通用与韩国文化特有的多模态安全测试集，揭示模型对文化攻击的脆弱性及安全性与过度拒绝之间的权衡。

ReasonOps: A Unified Operational Paradigm for Trustworthy Verified LLM Reasoning

ReasonOps: 可信验证的LLM推理的统一操作范式

Adnan Rashid

机构 * School of Electrical Engineering（电子工程学院） ； Computer Science (SEECS) National University of Sciences（计算机科学（SEECS）国家 Sciences and Technology） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出ReasonOps，一种将推理视为持续监控、可验证、可靠性感知的操作过程的统一范式，整合语义解释、自动形式化、符号推理、定理证明、运行时保证、概率可靠性估计和自适应修正，以解决当前LLM推理中的逻辑不一致、幻觉符号转换等问题。

Comments 5 Pages

Benchmarking and Improving Monitors for Out-Of-Distribution Alignment Failure in LLMs

基准测试与改进LLMs中的分布外对齐失败监控器

Dylan Feng, Pragya Srivastava, Anca Dragan, Cassidy Laidlaw

机构 * University of California, Berkeley, USA（加州大学伯克利分校） ； Haize Labs, New York, USA（Haize实验室） ； Google DeepMind, India（谷歌DeepMind） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 针对大语言模型在分布外情境下的安全与对齐失败问题，提出MOOD基准并证明结合守卫模型与OOD检测器可提升监控召回率。

Is GPT-4o mini Blinded by its Own Safety Filters? Exposing the Multimodal-to-Unimodal Bottleneck in Hate Speech Detection

GPT-4o mini 是否被自身的安全过滤器蒙蔽？揭示多模态到单模态瓶颈在仇恨言论检测中的作用

Niruthiha Selvanayagam, Ted Kurti

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 本文通过 Hateful Memes Challenge 数据集系统分析 GPT-4o mini 在多模态仇恨言论检测中的安全架构，发现并实验验证了“单模态瓶颈”缺陷，即上下文无关的安全过滤器会优先阻断多模态推理，导致误报。

Comments This paper reports preliminary findings from a small-scale study whose sample size is insufficient to support the stated conclusions. The authors are withdrawing it to conduct a more comprehensive evaluation

Bridging AI and Clinical Reasoning: Abductive Explanations for Alignment on Critical Symptoms

弥合AI与临床推理：针对关键症状对齐的溯因解释

Belona Sonna, Alban Grastien

专题命中 安全评测 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文利用形式溯因解释，通过最小充分特征集提供一致且保证的推理，使AI决策与临床推理对齐，在保持预测准确性的同时提供可操作的临床见解，建立可信AI框架。

Comments The Algorithm 1 is not entirely correct and they may affect the results as well. We are restarting the experimentations and will upload the new version as soon as possible

Can AI Make Conflicts Worse? An Alignment Failure in LLM Deployment Across Conflict Contexts

AI 是否会加剧冲突？在冲突情境下LLM部署中的对齐失败

Andrii Kryshtal

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了AI模型在冲突情境下可能产生的对齐失败问题，通过测试九种模型配置，发现其在处理冲突相关场景时存在错误等价、否认种族灭绝和未能识别种族歧视术语等问题，提出了首个评估框架以提高AI在冲突情境下的安全性。

Comments Preprint. 8 pages, 2 figures. Code and evaluation framework: https://github.com/akryshtal/conflict-sensitivity-eval-bloom

Broadening Access to Transportation Safety Data with Generative AI: A Schema-Grounded Framework for Spatial Natural Language Queries

通过生成式AI拓宽交通安全管理数据的可及性：一种基于模式的时空自然语言查询框架

Mahdi Azhdari, Eric J. Gonzales

机构 * Department of Civil and Environmental Engineering, University of Massachusetts Amherst（麻省大学阿姆赫斯特分校土木与环境工程系） 纠错

专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文提出了一种基于模式的自然语言接口，利用大型语言模型解释用户意图，同时保持确定性和可审查的执行，以解决交通安全管理数据访问不均的问题，通过整合事故记录、道路属性和地理空间数据，提升公共部门的安全规划能力。

Comments 30 pages, 5 figures

LLM-Safety Evaluations Lack Robustness

大语言模型安全评估缺乏鲁棒性

Tim Beyer, Sophie Xhonneux, Simon Geisler, Gauthier Gidel, Leo Schwinn, Stephan Günnemann

机构 * Department of Computer Science \& Munich Data Science Institute, Technical University of Munich ； Canada AI CIFAR Chair 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文指出当前大语言模型安全对齐研究受到多种交织的噪声源阻碍，如小数据集、方法学不一致和不可靠的评估设置，导致难以公平评估和比较攻击与防御，阻碍了进展。我们系统分析了大语言模型安全评估流程，涵盖数据集整理、自动化红队优化策略、响应生成和响应评估使用LLM法官。在每个阶段，我们识别了关键问题并突出了其实际影响。我们还提出了一套减少未来攻击和防御论文评估中噪声和偏见的指南。最后，我们提出了对立观点，强调现有限制的实用原因。我们相信，未来研究解决这些问题将提高领域生成可比结果的能力，并实现可衡量的进步。