语言大模型 / LLM

TwinRouterBench: Fast Static and Live Dynamic Evaluation for Realistic Agentic LLM Routing

TwinRouterBench：面向现实智能体LLM路由的快速静态与实时动态评估

Pei Yang, Wanyi Chen, Tongyun Yang, Pengbin Feng, Jiarong Xing, Wentao Guo, Yuhang Yao, Yuhang Han, Hanchen Li, Xu Wang, Zeyu Wang, Jie Xiao, Anjie Yang, Liang Tian, Lynn Ai, Eric Yang, Tianyu Shi

机构 * Gradient ； Soochow University（苏州大学） ； Independent Researcher（独立研究者） ； University of Southern California（南加州大学） ； Rice University（Rice大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of the Chinese Academy of Sciences（中国科学院大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出TwinRouterBench基准，通过静态轨迹级前缀和动态智能体执行两轨，实现无需在线LLM评判的步骤级路由评估。

Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents

Agentic CLEAR: 自动化多层级评估LLM代理

Asaf Yehudai, Lilach Eden, Michal Shmueli-Scheuer

机构 * IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出Agentic CLEAR框架，通过多层级细粒度分析实现LLM代理的自动化评估，提供高质量的数据驱动反馈并预测任务成功率。

Comments ACL

LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications

LLM Readiness Harness: 评估、可观测性和持续集成门禁用于LLM/RAG应用

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种LLM和RAG应用的准备性框架，通过自动化基准测试、OpenTelemetry可观测性和持续集成质量门禁，将评估转化为部署决策流程，并通过帕累托前沿计算场景加权的准备度分数，展示了在票务路由工作流和BEIR接地任务上的评估结果。

Comments 19 pages, 4 figures, 15 tables

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

叫还是不叫：诊断LLM代理中的内在过度调用偏差

Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了LLM代理中过度调用现象，提出内在偏差假说，通过稀疏自编码器恢复行为对齐的特征基，减少到带符号激活边距，并估计偏移量，从而修正过度调用问题。

BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

BoLT：一个民主化黑盒优化研究的基准，用于昂贵的LLM任务

Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出BoLT基准，旨在通过提供真实LLM优化问题，促进黑盒优化方法在昂贵的大型语言模型任务中的研究和评估。

Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most

确认正确，遗漏其余：LLM辅导代理在反馈最关键的地方表现不佳

Tahreem Yasir, Wenbo Li, Sam Gilson, Sutapa Dey Tithi, Xiaoyi Tian, Tiffany Barnes

机构 * North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文研究了LLM在逻辑推理中的辅导性能，发现其在区分最优解、次优解和错误解方面存在系统性偏差，影响适应性教学效果。

Comments 22 pages, 20 fgures

Look Before You Leap: Autonomous Exploration for LLM Agents

先看再跳：面向LLM代理的自主探索

Ziang Ye, Wentao Shi, Yuxin Liu, Yu Wang, Zhengzhou Cai, Yaorui Shi, Qi Gu, Xunliang Cai, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； Meituan（美团） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出自主探索能力，通过探索检查点覆盖率指标，改进LLM代理在陌生环境中的适应性，采用探索与执行交替训练策略，提升任务执行的泛化能力。

IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia

IndicSafe：评估南亚多语言大语言模型安全性的基准

Priyaranjan Pattnayak, Sanchari Chowdhuri

机构 * Oracle America Inc.（Oracle美洲公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IndicSafe基准，评估12种南亚语言中LLM的安全性，发现跨语言一致性仅12.8%，安全率波动超17%，揭示多语言LLM安全泛化缺口。

Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory

一个评分够吗？重新思考序列演进LLM记忆的评估

Songwei Dong, Zihan Chen, Chengshuai Shi, Peng Wang, Jundong Li, Cong Shen

机构 * University of Virginia（弗吉尼亚大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SeqMem-Eval框架，通过评估记忆状态的演变、泛化、经验巩固和信息保留，揭示传统指标无法捕捉的记忆质量差异。

Comments 29 pages, 13 figures

Structure-BiEval: A Self-Supervised, Dual-Track Framework for Decoupling Structure and Content in LLM Evaluation for Web Information Systems

Structure-BiEval: 一种自监督、双轨框架，用于解耦Web信息系统中LLM评估的结构与内容

Boxiang Zhao, Qince Li, Zhonghao Wang, Zelin Cao, Yi Wang, Peng Cheng, Bo Lin

机构 * Tele-Communication Technology Bureau, Xinhua News Agency（新华通讯社电信技术局） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Structure-BiEval框架，通过确定性中间表示解耦结构与内容，利用内容语义准确性和归一化树编辑距离评估Web数据工程中的LLM结构 fidelity，发现不同模型在Web数据格式化中表现差异显著。

Mechanical Enforcement for LLM Governance:Evidence of Governance-Task Decoupling in Financial Decision Systems

针对LLM治理的机械执行：在金融决策系统中治理-任务解耦的证据

José Manuel de la Chica Rodríguez, Carlos Martí-González

机构 * Santander AI Lab（Santander AI实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出五种治理指标，用于评估政策在决策理由层面的合规性，并在合成银行领域比较纯文本治理与机械执行的效果，发现机械执行能显著提升决策信息内容和任务准确性，表明治理与任务评估是两个独立的维度。

RxEval: A Prescription-Level Benchmark for Evaluating LLM Medication Recommendation

RxEval: 一个处方级基准，用于评估LLM药物推荐

Shuhao Chen, Weisen Jiang, Changmiao Wang, Xiaoqing Wu, Xuanren Shi, Yu Zhang, James T. Kwok

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Southern University of Science and Technology（南方科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区） ； Shenzhen University General Hospital（深圳大学人民医院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 RxEval通过多选题评估LLM处方能力，包含1547个问题，涵盖584名患者、18种诊断类别和969种药物，测试16个LLM显示其挑战性和区分性，F1值从45.18到77.10，最佳精确匹配仅46.10%。

Reasoning Is Not Free: Robust Adaptive Cost-Efficient Routing for LLM-as-a-Judge

推理并非免费：面向LLM-as-a-Judge的鲁棒自适应成本高效路由

Wenbo Zhang, Lijinghua Zhang, Liner Xiang, Hengrui Cai

机构 * Department of Statistics, University of California, Irvine, USA（加州大学伊维特分校统计学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对比推理与非推理法官，发现推理在结构验证任务中提升准确性，但成本高。提出RACER方法，通过分布鲁棒优化动态选择推理或非推理法官，实现成本效率的最优平衡。

Comments Accepted at ICML 2026

AdaRubric: Task-Adaptive Rubrics for Reliable LLM Agent Evaluation and Reward Learning

AdaRubric：面向可靠LLM代理评估和奖励学习的任务自适应评分标准

Liang Ding

机构 * The University of Sydney（悉尼大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 AdaRubric通过自适应生成任务特定评分标准，结合置信度加权评分和密集奖励信号，提升LLM代理评估的准确性与可靠性，实验表明其在多个基准测试中表现优异。

Comments KnowFM @ ACL 2026

LLM-guided Semi-Supervised Approaches for Social Media Crisis Data Classification

基于大语言模型的半监督方法用于社交媒体危机数据分类

Jacob Ativo, Bharaneeshwar Balasubramaniyam, Anh Tran, Khushboo Gupta, Hongmin Li, Doina Caragea, Cornelia Caragea

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大语言模型引导的半监督学习在社交媒体危机数据分类中的应用，比较了VerifyMatch和LLM引导的协同训练方法，发现LLM引导的协同训练在低资源环境下表现优异，同时验证了知识迁移的可行性。

DSGBench: A Diverse Strategic Game Benchmark for Evaluating LLM-based Agents in Complex Decision-Making Environments

DSGBench：一种多样化的战略游戏基准，用于评估基于大语言模型的代理在复杂决策环境中的能力

Wenjie Tang, Yuan Zhou, Erqiang Xu, Keyan Cheng, Minne Li, Liquan Xiao

机构 * College of Computer, National University of Defense Technology（国防科技大学计算机学院） ； Intelligent Game and Decision Lab (IGDL)（智能博弈与决策实验室） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DSGBench通过六个复杂战略游戏评估LLM代理在复杂决策环境中的能力，采用细粒度评分系统和自动决策追踪机制，揭示不同LLM模型的优劣与系统限制。

Comments 43 pages, 5 figures, conference

LLM Wardens: Mitigating Adversarial Persuasion with Third-Party Conversational Oversight

LLM卫士：通过第三方对话监督缓解对抗说服

Lennart Wachowiak, Scott D. Blain, David Williams-King, Samuele Marro

机构 * University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究通过引入第三方LLM卫士模型，降低对抗性LLM对用户的操纵成功率，实验显示卫士模型使对手成功率从65.4%降至30.4%。

Mage: Multi-Axis Evaluation of LLM-Generated Executable Game Scenes Beyond Compile-Pass Rate

Mage：多轴评估LLM生成的可执行游戏场景超越编译通过率

Hugh Xuechen Liu, Kıvanç Tatar

机构 * Chalmers University of Technology and University of Gothenburg（楚尔姆斯理工大学和哥德堡大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Mage多轴评估框架，通过编译通过率、运行通过率、结构保真度和机制符合度四个维度评估LLM生成的游戏场景，发现编译通过率与功能正确性反相关，证明多轴评估对检测领域差异的必要性。

Comments Main Content: 10 pages, 1 figure. In total 22 pages

XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

XL-SafetyBench: 一个基于国家的跨文化安全基准，用于LLM安全性和文化敏感性

Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park

机构 * AIM Intelligence（AIM智能研究院） ； Microsoft（微软公司） ； Korea AISI（韩国人工智能研究所） ； KT Corporation（KT公司） ； BMW Group（宝马集团） ； Coinbase（Coinbase公司） ； Technical University of Munich（慕尼黑技术大学） ； Ankara University（安卡拉大学） ； Cyril Amarchand Mangaldas（Cyril Amarchand Mangaldas法律事务所） ； Seoul National University（首尔国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 XL-SafetyBench通过5500个跨10个国家语言对的测试案例，评估LLM在文化敏感性和安全性的表现，揭示了前沿模型的安全性与文化意识无耦合关系，以及本地模型在安全与文化敏感性间的线性权衡。

ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

ExCyTIn-Bench：评估LLM代理在网络安全调查中的表现

Yiran Wu, Mauricio Velazco, Andrew Zhao, Manuel Raúl Meléndez Luján, Srisuma Movva, Yogesh K Roy, Quang Nguyen, Roberto Rodriguez, Qingyun Wu, Michael Albada, Julia Kiseleva, Anand Mudgerikar

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Microsoft Security AI Research（微软安全AI研究） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 ExCyTIn-Bench是首个评估LLM代理在网络安全调查任务中的基准，通过从调查图中生成的安全问题进行测试。该基准利用Azure租户中的SQL环境和Microsoft Sentinel日志构建威胁调查图，并生成问题以评估LLM代理的能力。

Comments Accepted By ICML 2026

Beyond the Mean: Within-Model Reliable Change Detection for LLM Evaluation

超越平均：LLM评估中的模型内可靠变化检测

Jon-Paul Cacioli

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文将临床心理学的可靠变化指数应用于LLM版本比较，发现大多数项目无可靠变化，但部分项目存在双向变化，且领域分解揭示了模型特定的反转现象。

Comments 7 pages, 4 figures, 2 tables. Pre-registered study. Code and data available

Instruction Complexity Induces Positional Collapse in Adversarial LLM Evaluation

指令复杂性导致对抗性LLM评估中的位置崩溃

Jon-Paul Cacioli

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨指令复杂性如何影响对抗性LLM评估中的位置崩溃现象，通过六种条件对抗性指令梯度测试，发现不同指令类型导致不同的响应分布和内容参与度，揭示了指令复杂性对响应机制的影响。

Comments 12 pages, 3 figures, 3 tables. Pre-registered on OSF (osf.io/7p64)

Cutscene Agent: An LLM Agent Framework for Automated 3D Cutscene Generation

Cutscene Agent：一种用于自动化3D场景生成的LLM代理框架

Lanshan He, Haozhou Pang, Qi Gan, Xin Shen, Ziwei Zhang, Yibo Liu, Gang Fang, Bo Liu, Kai Sheng, Shengfeng Zeng, Chaofan Li, Zhen Hui, Keer Zhou, Lan Zhou, Shujun Dai

机构 * Kuaishou GameMind Lab（快手游戏大脑实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Cutscene Agent框架，通过双向集成LLM代理与游戏引擎，实现多代理协作生成可编辑的电影化3D内容，并构建了针对长周期多步骤协作的评估基准。

Comments 27 pages excluding appendix

BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks

BenchGuard：谁守护着基准？对LLM代理基准的自动化审计

Xinming Tu, Tianze Wang, Yingzhou, Lu, Kexin Huang, Yuanhao Qu, Sara Mostafavi

机构 * Allen School, University of Washington（华盛顿大学阿伦学院） ； Phylo, Inc.（Phylo公司） ； Genentech, Inc.（基因泰克公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 BenchGuard通过结构化LLM协议交叉验证所有基准制品，发现ScienceAgentBench中的12个问题，并在BIXBench Verified-50子集中准确识别83.3%的问题，证明自动化基准审计的有效性。

Case-Specific Rubrics for Clinical AI Evaluation: Methodology, Validation, and LLM-Clinician Agreement Across 823 Encounters

针对具体病例的评估量表：方法、验证及LLM与医生一致性的823次病例研究

Aaryan Shah, Andrew Hines, Alexia Downs, Denis Bajet, Paulius Mui, Fabiano Araujo, Laura Offutt, Aida Rutledge, Elizabeth Jimenez

机构 * Canvas Medical ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； XPC (X Primary Care)（XPC（X初级保健）） ； FCA Consulting（FCA咨询） ； Department of Pediatrics, University of Nevada, Reno, NV, USA（内华达大学拉斯维加斯分校儿科系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出针对具体病例的评估量表方法，验证了LLM生成的量表在医生一致性上的有效性，展示了在823次病例中医生与LLM的一致性提升。

Comments 14 pages, 2 figures, 3 tables, submitted to JAMIA

LLM-Auction: Generative Auction towards LLM-Native Advertising

LLM-Auction: 面向LLM原生广告的生成拍卖

Chujie Zhao, Qun Hu, Shiping Song, Dagui Chen, Han Zhu, Jian Xu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（淘宝与天猫集团） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出LLM-Auction，首个基于学习的生成拍卖机制，通过整合拍卖与生成过程，优化LLM输出与机制目标的偏好对齐，实现高效分配并满足关键机制属性。

IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review

IntrAgent：通过文献综述实现内容导向的信息检索的LLM代理

Fengbo Ma, Zixin Rao, Xiaoting Li, Zhetao Chen, Hongyue Sun, Yiping Zhao, Xianyan Chen, Zhen Xiang

机构 * University of Georgia（佐治亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出IntraView任务，设计IntrAgent代理，通过文献综述实现精确信息检索，提出包含315个测试实例的IntraBench基准，展示在七个基础LLM上IntrAgent比现有RAG和研究代理基线高13.2%的跨领域准确性。

Comments Accepted to ACL 2026 main conference

Can We Still Hear the Accent? Investigating the Resilience of Native Language Signals in the LLM Era

我们还能听到口音吗？在大语言模型时代探究母语信号的韧性

Nabelanita Utami, Ryohei Sasano

机构 * Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过分析ACL论文集不同时期的母语识别趋势，探讨大语言模型对科研论文同质化的影响，发现后LLM时代出现异常波动，部分语言表现更趋明显。

Predicting Liquidity-Aware Bond Yields using Causal GANs and Deep Reinforcement Learning with LLM Evaluation

利用因果生成对抗网络和深度强化学习预测流动性感知的债券收益率

Jaskaran Singh Walia, Aarush Sinha, Naman Saraswat, Srinitish Srinivasan, Srihari Unnikrishnan

机构 * School of Computer Science and Engineering, Vellore Institute of Technology, India（印度维杰雷理工学院计算机科学与工程学院） ； Indian Institute of Science, Bangalore, India（印度班加罗尔印度科学学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出利用因果GANs和SAC强化学习生成高保真的合成债券收益率数据，结合LLM评估提升预测性能，通过统计验证和专家评估证明其有效性。

Exploiting LLM-as-a-Judge Disposition on Free Text Legal QA via Prompt Optimization

通过提示优化利用LLM-as-a-Judge在自由文本法律问答中的处置

Mohamed Hesham Elganayni, Runsheng Chen, Sebastian Nagl, Matthias Grabmair

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文研究提示设计和法官选择在LLM-as-a-Judge评估自由文本法律问答中的作用，通过ProTeGi方法优化提示，发现自动优化优于人类设计，宽松反馈的提示在严格法官间转移更有效。

Comments Accepted at the 21st International Conference on Artificial Intelligence and Law (ICAIL 2026), Singapore, June 8-12, 2026. 10 pages, 14 figures, 2 tables