语言大模型 / LLM

MÖVE: A Holistic LLM Benchmark for the German Public Sector

MÖVE：德国公共部门的大语言模型整体基准

Camilla Dalerci, Thilo Michael, Robin Schaefer, Daniel Weinland

机构 * Innovations Department, Bundesdruckerei GmbH（德国联邦印钞公司创新部） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出MÖVE基准，从性能和治理两个维度评估39个LLM在德国公共部门的应用，发现无单一模型全面领先，模型大小非质量可靠指标。

On the Limits of LLM-as-Judge for Scientific Novelty Assessment

论LLM作为评审在科学新颖性评估中的局限性

Soumitra Sinhahajari, Navonil Majumder, Soujanya Poria

机构 * DeCLaRe Lab, Nanyang Technological University（德克莱实验室，南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过构建RQ-Bench基准，发现LLM评审对模型生成的研究问题产生新颖性幻觉，而人类专家则持相反意见，揭示了LLM在评估科学新颖性时的可靠性问题。

Schützen: Evaluating LLM Safety in Bulgarian and German Contexts

Schützen: 在保加利亚语和德语语境中评估LLM安全性

Kiril Georgiev, Yuxia Wang, Dimitar Iliyanov Dimitrov, Preslav Nakov, Ivan Koychev

机构 * Sofia University "St. Kliment Ohridski" MBZUAI（索菲亚大学"圣克莱门特·奥赫里德斯基" MBZUAI） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有安全评估数据集以英语和中文为主的问题，构建了覆盖低资源语言保加利亚语和高资源语言德语的Schützen安全数据集，实验揭示多语言LLM在安全行为上的显著跨语言差异，强调了区域特定评估资源的必要性。

Comments 19 pages, 13 tables, 12 figures

LaQual: An Automated Framework for LLM App Quality Evaluation

LaQual: 一种用于LLM应用质量评估的自动化框架

Yan Wang, Xinyi Hou, Junjun Si, Yanjie Zhao, Weiguo Lin, Haoyu Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LaQual自动化框架，通过静态指标筛选和动态场景评估，实现LLM应用质量评估，与人类判断高度一致，可减少66.7%-81.3%候选应用。

Superficial Beliefs in LLM Decision-Making

LLM决策中的表面信念

Gabriel Freedman, Francesca Toni

机构 * Department of Computing, Imperial College London（帝国理工学院计算系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大型语言模型在二元选择中是否仅模仿理由，通过合成决策实验发现模型行为有系统性但自我报告与行为推断的驱动因素不完全一致，表明存在“表面信念”。

Comments Under review

Beyond Static Evaluation: Co-Evolutionary Mechanisms for LLM-Driven Strategy Evolution in Adversarial Games

超越静态评估：对抗性游戏中LLM驱动策略演化的协同进化机制

Haoran Li, Zengle Ge, Ziyang Zhang, Xiaomin Yuan, Yui Lo, Qianhui Liu, Bocheng An, Dongke Rong, Jiaqun Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen

机构 * Baidu Inc.（百度公司） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM驱动代码进化在对抗性多智能体游戏中因评估景观变化导致停滞的问题，提出评估器协同进化、层次深度评估和弱点压力三种机制，在MCTF任务中实现最优性能和泛化能力。

From Confident Closing to Silent Failure: Characterizing False Success in LLM Agents

从自信收尾到无声失败：LLM智能体中的虚假成功特征分析

Laksh Advani

机构 * Laksh Advani 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究LLM智能体在环境状态未完成时声称任务完成的虚假成功模式，发现其普遍存在但检测困难，轻量级TF-IDF检测器优于LLM评判器。

Comments Accepted to FAGEN@ICML2026

How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

提示工程在最小编辑乌克兰语语法错误纠正中能走多远？

Kateryna Karpo, Artem Chernodub

机构 * Ukrainian Catholic University（乌克兰天主教大学） ； YouScan ； Zendesk 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(title)；large language model(abstract)；language model(abstract)

AI总结 评估11个商业LLM在乌克兰语最小编辑语法错误纠正上的表现，发现结合最小编辑提示和少样本策略的Gemini 3.1-Pro达到F0.5=69.22，缩小了与微调SOTA的差距。

The Cold-Start Safety Gap in LLM Agents

LLM智能体中的冷启动安全差距

Chung-En Sun, Linbo Liu, Tsui-Wei Weng

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究发现工具调用型LLM智能体在会话开始时最脆弱，随着常规任务执行安全性提升，提出SODA基准并验证预热策略可缩小冷启动安全差距。

Cutting LLM Evaluation Costs with SySRs: A Bandit Algorithm that Provably Exploits Model Similarity

利用SySRs降低LLM评估成本：一种可证明利用模型相似性的Bandit算法

Zifan Lyu, Chahine Nejma, Tobias Wegel, Fanny Yang, Florian E. Dorner

机构 * ETH Zurich（苏黎世联邦理工学院） ； Centrale Supélec（中央理工-高等电力学院） ； ENS de Cachan（卡尚高等师范学校） ； MPI for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出SySRs算法，通过配对比较和自适应分配评估预算，利用模型相似性降低LLM评估成本，在15个基准上平均错误率最低。

Comments Published at ICML 2026

Nonparametric LLM Evaluation from Preference Data

基于偏好数据的非参数化LLM评估

Dennis Frauen, Athiya Deviyani, Mihaela van der Schaar, Stefan Feuerriegel

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出非参数统计框架DMLRank，通过去偏机器学习从偏好数据中比较和排名大语言模型，引入广义平均排名分数，具有统计高效、兼容黑箱方法、结合预训练评估器和优化数据收集策略等优势。

Comments Accepted at ICML 2026

Self-evolving LLM agents with in-distribution Optimization

自演化分布内优化的LLM智能体

Yudi Zhang, Meng Fang, Zhenfang Chen, Mykola Pechenizkiy

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Q-Evolve框架，通过分布内强化学习统一过程奖励标注与策略学习，利用加权隐式Q学习稳定贝尔曼更新，实现智能体自演化，在AlfWorld等任务上优于基线。

Comments ICML 2026

LLM Agent-Assisted Reverse Engineering with Quantitative Readability Metrics

LLM 代理辅助逆向工程与定量可读性指标

Neil Archibald, Ruben Thijssen

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出定量可读性分数（QRS）框架，结合结构相似性门控与三个可读性子指标，指导 LLM 代理提升反编译代码可读性，同时保持功能正确性。

Agent Planning Benchmark: A Diagnostic Framework for Planning Capabilities in LLM Agents

Agent规划基准：LLM Agent规划能力的诊断框架

Haoyu Sun, Wenxuan Wang, Mingyang Song, Jujie He, Weinan Zhang, Yang Liu, Yang Yang, Yu Cheng

机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Skywork AI ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出Agent规划基准(APB)，通过4209个多模态案例和五个设置，诊断LLM Agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统弱点。

Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States in RAG-based Fact-Checking

诊断基于RAG的事实核查中LLM对证据前认知状态的仲裁行为

Yuxi Sun, Wenbo Shang, Wei Gao, Xin Huang, Jing Ma

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Singapore Management University（新加坡 Management 大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PAVE测试平台，通过将LLM验证器分为四种认知状态，评估其在检索增强生成事实核查中仲裁参数知识与检索证据的能力，发现不可靠且高度依赖模型的仲裁行为，并提出轻量级JSD测试时仲裁方法。

Comments Accepted to ACL-2026 Findings (voluntarily withdraw)

LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation

LLM作为元评判者：用于NLP评估指标验证的合成数据

Lukáš Eigler, Jindřich Libovický, David Hurych

机构 * Faculty of Mathematics and Physics, Charles University（数学与物理系，查尔斯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出LLM作为元评判者框架，通过控制语义退化生成合成数据替代人工判断，验证NLG评估指标，在多语言问答中元相关性超过0.9。

Comments 16 pages, 1 figure, 14 tables

ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer

ADK Arena: 通过LLM即开发者评估智能体开发工具包

Jintao Huang, Xiaomin Li, Gaurav Mittal, Yu Hu

机构 * The Ohio State University（俄亥俄州立大学） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LLM-as-a-Developer方法，通过自动化流水线ADK Arena评估51个Python ADK框架，发现框架间生成成本差异达5.6倍，但无单一框架占优，且文档、源码和参数知识可相互替代。

Comments Work in Progress

ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment

ForeSci: 评估LLM智能体在前瞻性AI研究判断中的能力

Qiuyu Tian, Haojie Yin, Yingce Xia, Youyong Kong, Zequn Liu

机构 * Southeast University（东南大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出ForeSci基准，通过时间控制的500个任务评估LLM智能体基于历史证据做出前瞻性研究判断的能力，发现证据与决策脱节问题。

The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents

饱和陷阱与干预时机的主观性：为什么基于情感的触发器和LLM评判者无法在自主智能体上把握干预时机

Manvendra Modgil

机构 * manvendramodgil.ai 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究通过18维情感动力学引擎HEART诊断自主智能体干预时机问题，发现状态饱和陷阱、LLM评判者的能力与上下文门槛，以及人类标注者之间极低的干预时机一致性，表明干预时机是一个低可靠性构念。

Comments 11 pages, 5 tables. Code and data:https://github.com/2025eb1100268-tech/intervention-timing-saturation-trap

Traceable by Design: An LLM Pipeline and Dashboard for EU Regulatory Consultation Analysis

可追溯性设计：用于欧盟监管咨询分析的LLM流程与仪表板

Thales Bertaglia, Haoyang Gui, Catalina Goanta, Gerasimos Spanakis

机构 * Utrecht University（乌特勒支大学） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出基于LLM的端到端流程与交互式仪表板，从监管咨询提交中提取结构化主题，确保逐字引用、完全可追溯和透明性，并以欧盟数字公平法案为例验证。

Comments This research has been supported by funding from the ERC Starting Grant HUMANads (ERC-2021-StG No 101041824)

Talk is (Not) Cheap: A Taxonomy and Benchmark Coverage Audit for LLM Attacks

谈话（不）廉价：LLM攻击的分类法与基准覆盖审计

Karthik Raghu Iyer, Yazdan Jamshidi, Nicholas Bray, Alexey A. Shvets

机构 * Palo Alto Networks（帕洛阿尔托网络） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出一个基于STRIDE的4×6目标×技术矩阵框架，用于审计LLM攻击基准的集体覆盖，发现现有基准仅覆盖最多25%的威胁面，且存在命名碎片化和评估空白。

TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment

TriEval: 一种资源高效的LLM偏见、毒性和真实性评估流水线

Akshatha Srikantha, Manpreet Singh, Yash Jajoo, Shyamal Lakhanpal

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出TriEval流水线，通过同时评估LLM输出的偏见、毒性和真实性，在标准笔记本电脑上高效运行，并揭示开源与闭源模型在毒性和真实性上的差异。

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； National University of Singapore（新加坡国立大学） ； De Artificial Intelligence Lab（德人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 提出WildRoadBench基准，通过VLM直接定位和LLM驱动智能体自主研究两种协议，评估模型在航拍道路损伤定位上的性能，发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers

评估和校准LLM在多个正确答案问题上的置信度

Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多正确答案问题导致现有置信度校准方法失效的问题，提出语义置信度聚合（SCA）方法，通过聚合多个高概率采样响应的置信度，在混合答案设置下实现最优校准性能。

ParliaBench: An Evaluation and Benchmarking Framework for LLM-Generated Parliamentary Speech

ParliaBench: 面向大语言模型生成的议会演讲的评估与基准框架

Marios Koniaris, Argyro Tsipi, Panayiotis Tsanakas

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ParliaBench基准框架，通过构建英国议会数据集、结合计算指标与LLM评判的评估方法以及两种新型嵌入指标（政治光谱对齐和政党对齐），系统评估LLM生成议会演讲的语言质量、语义连贯性和政治真实性，实验表明微调显著提升多数指标且新指标对政治维度具有强区分力。

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 4797-4818, European Language Resources Association (ELRA), Palma, Mallorca, Spain, May 2026

Do Gender Cues Affect LLM Value Trade-offs? Evidence from a Controlled Decision Benchmark

性别线索是否影响LLM价值权衡？来自受控决策基准的证据

Yangyang Liu, Dong Yu, Pengyuan Liu

机构 * Beijing Language and Culture University（北京语言大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过构建受控基准RVDB，研究性别线索是否导致大语言模型在价值决策中产生系统性翻转，并发现性别效应集中在价值边界模糊和决策严重性高的情境下，且模型自我归因常掩盖性别影响。

Algorithmic algorithm development with LLMs: A Case Study on LLM-Usage for Contraction Order Optimization in Tensor Networks

基于LLM的算法开发：以张量网络收缩顺序优化中LLM使用为例

Fabian Hoppe, Melven Röhrig-Zöllner, Philipp Knechtges

机构 * German Aerospace Center (DLR), Institute of Software Technology, department High-Performance Computing（德国航空航天中心（DLR）软件技术研究所高性能计算部门） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 通过OpenEvolve对张量网络收缩顺序优化的案例研究，探讨了基于LLM的算法开发，重点分析了LLM选择、评估指标和测试实例等设计因素，强调了验证引导的进化编码代理的潜力以及人类科学家在评估、验证和解释方面的重要性与挑战。

Comments Submitted to the proceedings of the deRSE26 conference

CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation

CRAB-Bench：在复杂任务依赖和人类对齐用户模拟下评估LLM智能体

Danqing Wang, Akshay Sivaraman, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出CRAB-Bench和RUSE框架，通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟，评估LLM智能体在真实服务场景中的表现，发现最佳模型仅达61%通过率，用户模拟导致性能下降高达57%。

A Finite-Calibration Regime Map for LLM Judge Panels

有限校准机制图：LLM评审团面板

Bin Zhu, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究在有限人工标注预算下，低维堆叠器与联合输出表对LLM评审团面板的校准权衡，提出有限校准面板选择方法，实验表明多数评审输出可加或冗余。

Comments Work in Progress

LLM-Driven Co-Evolutionary Automated Heuristic Design for Bi-Component Coupled Combinatorial Optimization

LLM驱动的双组件耦合组合优化的协同进化自动启发式设计

Mingen Kuang, Xudong Deng, Xi Lin, Ye Fan, Jianyong Sun, Jialong Shi

机构 * Xi’an Jiao Tong University（西安交通大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CoEvo-AHD框架，利用大语言模型协同进化两个算子种群，通过合作评估和联合交叉发现互补逻辑，解决旅行窃贼问题等耦合组合优化问题。