语言大模型 / LLM

Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations

LLM评估者真的是自恋者吗？对自我偏好评估的健全性检查

Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Mackenzie Puig-Hall, Narmeen Oozeer

机构 * Department of Machine Learning, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学机器学习系） ； Department of Computer Science and Engineering, University of California San Diego, La Jolla, CA, USA（加州大学圣地亚哥分校计算机科学与工程系） ； Department of Computer Science, University of Virginia, Charlottesville, VA, USA（弗吉尼亚大学计算机科学系） ； Martian Research, San Francisco, California, USA（火星研究公司） ； Apart Research, San Francisco, California, USA（Apart研究公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 通过比较评估者自我评价与评价其他模型时的投票分布，发现仅51%的先前结果具有统计显著性，表明自我偏好主要由评估者质量而非自恋驱动。

Comments ICML 2026 Main

Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All

超越LLM截止日期：一个面向所有人的实时内核崩溃修复基准

Chenxi Huang, Alex Mathai, Feiyang Yu, Aleksandr Nogikh, Petros Maniatis, Franjo Ivančić, Eugene Wu, Kostis Kaffes, Junfeng Yang, Baishakhi Ray

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Live-kBench和kEnv框架，用于持续评估LLM代理修复新发现的Linux内核崩溃，实验显示代理在截止日期前修复率高出25%，但仅20%的补丁与开发者修复匹配。

SkillAxe: Sharpening LLM-Authored Agent Skills Through Evaluation-Guided Self-Refinement

SkillAxe: 通过评估引导的自我精炼提升LLM编写的智能体技能

Srishti Gautam, Arjun Radhakrishna, Sumit Gulwani

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SkillAxe框架，通过无监督评估引导LLM自我诊断和精炼技能，在SkillsBench上提升通过率28%，缩小与人类技能的差距47-67%。

Comments 9 pages, under review

The Chameleon Nature of LLMs: Quantifying Multi-Turn Stance Instability in Search-Enabled Language Models

LLM的变色龙本质：量化搜索增强语言模型中的多轮立场不稳定性

Shivam Ratnakar, Sanjay Raghavendra

机构 * University of Southern California（美国南加州大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出变色龙基准数据集和两个度量指标，揭示搜索增强LLM在多轮对话中因知识多样性不足而严重依赖查询框架，导致立场频繁摇摆。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: MTI-LLM @ NeurIPS 2025

Lost in Historical Time? A Polish History Matura Benchmark for Large Language Models

大语言模型通过了历史考试却遗漏了《历史》：波兰高中毕业考试Matura基准测试

Adrian Trzoss, Kacper Dudzic, Wiktor Werner, Marcin Moskalewicz

机构 * Adam Mickiewicz University（亚当·密茨凯维奇大学） ； IDEAS Research Institute（IDEAS研究院） ； AMU Center for Artificial Intelligence（亚当·密茨凯维奇大学人工智能中心） ； Poznań University of Medical Sciences（波兹南医科大学） ； Maria Curie-Skłodowska University（玛丽·居里-斯克洛多夫斯卡大学） ； WSB Merito University（WSB梅里托大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 该研究针对波兰Matura历史考试评估8款LLM，发现其总分远超人类考生，但存在波兰历史得分惩罚、源内容混淆等缺陷，推出了首个基于波兰国家课程的LLM历史基准。

ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

ChiKhaPo: 一个用于评估大型语言模型词汇理解与生成能力的大规模多语言基准

Emily Chang, Niyati Bafna

机构 * Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学语言与语音处理中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 针对现有基准语言覆盖不足且侧重高阶任务的问题，提出ChiKhaPo基准，包含8个子任务，覆盖2700+种语言，评估LLM的词汇理解与生成能力，发现6个SOTA模型表现不佳。

TSQueryBench: LLM-as-a-Judge for Time Series Explanations

基于时间序列的LLM作为裁判

Preetham Sivalingam, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * BITS Pilani（比拉理工学院皮拉尼校区） ； KIIT（KIIT大学） ； Birla AI Labs（比拉人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文研究了在无参考情况下，利用大语言模型作为生成和评估时间序列解释的工具，通过构造合成基准测试，评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现，发现评估任务比生成任务更稳定。

Comments Accepted at ICML FMSD

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

MEDIC：对LLM在临床应用中的安全性和实用性领先指标的综合评估

Praveenkumar Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Prateek Munjal, Nada Saadi, Hamza A Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

机构 * M42 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MEDIC通过综合评估框架揭示LLM在临床应用中的安全性和实用性差异，强调需采用组合方法以应对多维度性能权衡。

Comments Published in Transactions on Machine Learning Research (06/2026)

Given, When, Then, Again: Mining Subscenario Refactoring Candidates in Behaviour-Driven Test Suites with ML Classifiers and LLM-Judge Baselines

在行为驱动软件测试套件中挖掘子场景重构机会：ML分类器和LLM-判断基线

Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

机构 * Independent Researcher（独立研究者；应用MBA（数据分析），德克萨斯韦斯利安大学） ； Applied MBA (Data Analytics), Texas Wesleyan University（独立研究者；计算机工程学士，国立科学与技术大学（NUST）） ； Independent Researcher（独立研究者；管理硕士，慕尼黑技术大学） ； B.E. Computer Engineering, National University of Sciences and Technology (NUST) ； Independent Researcher ； M.Sc. Management, Technical University of Munich 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过ML分类器和LLM基线，识别行为驱动开发测试套件中可提取的子场景，量化其在公共BDD生态系统中的普及率。

Comments 31 pages, 10 figures, 6 tables, 56 references. v2: retitled; references corrected and verified; threshold-sensitivity and imbalance-robust metrics added; figures restyled. Code and data (Apache-2.0): https://github.com/amughalbscs16/cukereuse_subscenarios_release (archived: https://doi.org/10.5281/zenodo.20356527). Upstream corpus: https://doi.org/10.5281/zenodo.19754359

Random Rule Forest (RRF): Interpretable and Manageable Ensembles of LLM-Generated Questions for Predicting Success from Unstructured Data

随机规则森林 (RRF): 基于LLM生成问题的可解释且可控集成方法用于从非结构化数据预测成功

Ben Griffin, Aaron Ontoyin Yin, Diego Vidaurre, Ugur Koyluoglu, Joseph Ternasky, Fuat Alican, Yigit Ihlamur

机构 * University of Oxford, United Kingdom Aarhus University, Aarhus, Denmark Centre de Recerca Matem\`atica, Barcelona, Spain Oliver Wyman, New York, United States Vela Research, San Francisco, United States 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出随机规则森林 (RRF)，利用大语言模型生成简单的是/否问题作为弱学习器，通过等权投票形成可审计的“绿旗”评分卡，在低基准率任务中实现透明且竞争性的预测性能。

Comments 25 pages including appendix, 6 figures

Narrative Theory-Driven LLM Methods for Automatic Story Generation and Understanding: A Survey

叙事理论驱动的LLM方法在自动故事生成与理解中的应用：综述

David Y. Liu, Aditya Joshi, Paul Dawson

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； School of Arts and Media（艺术与媒体学院） ； University of New South Wales (UNSW)（新南威尔士大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 综述叙事理论驱动的大语言模型方法在自动故事生成与理解中的应用，分析现状并指出生成任务在理论应用、后训练方法、非虚构叙事及叙事层次等方面落后于理解任务，提出未来方向。

Comments 31 pages

Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents

有益于故障：测量多轮、多语言LLM代理中的非法协助

Nivya Talokar, Ayush K Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut

机构 * EPFL（苏黎世联邦理工学院） ； independent（独立研究员） ； tubingen（图宾根大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出STING框架，用于评估多轮多语言LLM代理在执行非法任务时的协助能力，发现低资源语言中攻击成功率不一致，提供实际部署中的压力测试方法。

Comments Accepted in ICML 2026

Leveraging Large Language Models for Trustworthiness Assessment of Web Applications

利用大语言模型评估网络应用的可信度

Oleksandr Yarotskyi, José D'Abruzzo Pereira, João R. Campos

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文提出利用大语言模型自动评估网络应用的可信度，通过比较不同提示工程技术，提出基于逻辑偏好分数的分层质量模型，实验表明规则提示能提高评估可靠性。

Comments Accepted for publication in the 19th IEEE International Conference on Software Testing, Verification and Validation (ICST) 2026

Ensemble Learning for Large Language Models in Text and Code Generation: A Survey

面向文本与代码生成的大语言模型集成学习综述

Mari Ashiga, Wei Jie, Fan Wu, Vardan Voskanyan, Fateme Dinmohammadi, Paul Brookes, Jingzhi Gong, Zheng Wang

机构 * School of Computing and Engineering, University of West London（西伦敦大学计算机与工程学院） ； Turing Intelligence Technology Limited（图灵智能科技有限公司） ； School of Computer Science, University of Leeds（利兹大学计算机科学学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了七种大语言模型集成方法（权重合并、知识融合、混合专家、奖励集成、输出集成、路由和级联），分析了它们在文本与代码生成中提升多样性、输出质量和应用灵活性的能力。

Comments Accepted by IEEE TAI 2025

Can Large Language Models Reason About Complex Execution Paths? An Empirical Study on Python

大型语言模型能否推理复杂执行路径？基于Python的实证研究

Wenhan Wang, Kaibo Liu, Zeyu Sun, An Ran Chen, Ge Li, Gang Huang, Lei Ma

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)

AI总结 本文实证研究大型语言模型在Python执行路径推理中的可行性，构建测试用例生成和缺陷分类任务，发现LLM能提升路径覆盖率，但强推理模型不一定优于弱模型。

Comments Accepted by ACM Transactions on Software Engineering and Methodology (TOSEM)

When Better Codebooks Are Not Enough: Predictive Performance and Behavioral Reliability in LLM Political Event Coding

当更好的代码手册还不够：LLM政治事件编码中的预测性能与行为可靠性

Zixian He, Bharath Raahul Murugesan, Patrick Brandt, Yibo Hu

机构 * Independent Researcher（独立研究者） ； Illinois Institute of Technology（伊利诺伊理工学院） ； The University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL

AI总结 本研究探讨在政治事件编码任务中，将专家代码手册优化为LLM友好形式能显著提升分类性能，但预测增益并未完全转化为行为可靠性，模型在代码手册变化下仍可能失效。

Comments 13 pages, 3 figures, 13 tables. Revised version with updated experiments, behavioral reliability analyses, and additional API-model results

Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines

评判评判者：LLM-as-a-Judge pipelines中偏见缓解策略的系统评估

Sadman Kabir Soumik

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 本文系统评估了LLM-as-a-Judge pipelines中九种偏见缓解策略，发现风格偏见是最主要的偏见类型，且所有模型在扩展对上偏好简洁性，但截断控制能区分质量和长度，表明质量敏感的评估而非单纯长度偏见。

Comments 22 pages, 4 figures. Published in Transactions on Machine Learning Research (2026)

Journal ref Transactions on Machine Learning Research (2026)

Evolutionary Dynamics of Cooperation in Next-Generation LLM Agent Systems: A Cross-Provider Empirical Extension

下一代LLM智能体系统中合作的演化动力学：跨提供商的实证扩展

Francisco León Zúñiga Bolívar

机构 * Institución Universitaria Colegio Mayor del Cauca（大学机构科尔多瓦大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 本研究通过扩展Willis等人的基准，测试2025-2026年四个前沿LLM模型在迭代囚徒困境中的合作偏差，发现合作偏差普遍存在但提供商间差异显著，且噪声仍是普遍挑战。

Comments v2 (erratum): two truncated Gemini 3.1 Pro libraries regenerated; cooperative-plurality 9/12->10/12, conclusions unchanged. 11 pages, 3 figures, 8 tables. Extends arXiv:2501.16173. Code and n=500 replication: https://github.com/arqFranciscoLeon/evollm (archived: https://doi.org/10.5281/zenodo.20248615)

TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories

TraceSafe: 对LLM在多步骤工具调用轨迹上的安全护栏的系统评估

Yen-Shan Chen, Sian-Yao Huang, Cheng-Lin Yang, Yun-Nung Chen

机构 * CyCraft AI Lab, Taiwan（CyCraft AI实验室（台湾）） ； National Taiwan University（国立台湾大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TraceSafe-Bench，首个评估中间轨迹安全的综合基准，发现安全护栏效果更依赖结构数据能力而非语义安全对齐，通用模型在轨迹分析中表现更优，且准确性随执行步骤增加而提升。

Comments Accepted to Conference on Language Modeling (COLM) 2026

BrainBench: Benchmarking Large Language Models for Comprehensive EEG Understanding

BrainBench：面向全面脑电理解的大语言模型基准测试

Yangxuan Zhou, Yuning Chen, Chen Wu, Jiquan Wang, Shijian Li, Gang Pan, Sha Zhao

机构 * Zhejiang University（浙江大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究推出BrainBench基准测试，涵盖4个子集共17个数据集等，评估大语言模型在两种范式下的脑电理解能力，为相关研究提供可复现测试平台。

Comments 51 pages,28 figures

A validity-guided workflow for robust large language model research in psychology

面向心理学中鲁棒大语言模型研究的有效性导向工作流程

Zhicheng Lin

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出一个六阶段工作流程，通过整合心理测量与因果推断，提升心理学中大语言模型研究的有效性，强调研究目标、计算工具验证、实验设计、透明执行、数据分析和结果报告的全面性。

Journal ref Behavior Research Methods, 58, 216 (2026)

BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali

BenHalluEval：孟加拉语大语言模型的多任务幻觉评估框架

Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

机构 * Department of Computer Science and Engineering, Islamic University of Technology（伊斯兰科技大学计算机科学与工程系） ； Department of Computer Science and Engineering, University of California（加州大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；prompting(abstract)

AI总结 针对孟加拉语大语言模型幻觉评估的空白，提出BenHalluEval框架，涵盖四项任务，构建12000个幻觉候选，并提出双轨校准指标BenHalluScore，揭示模型间幻觉校准的显著差异。

Comments Preprint. Under review

Can Large Language Models Derive New Knowledge? A Dynamic Benchmark for Biological Knowledge Discovery

大语言模型能否推导新知识？一种动态生物知识发现基准

Chaoqun Yang, Xinyu Lin, Shulin Li, Wenjie Wang, Ruihan Guo, Fuli Feng, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出DBench-Bio，一种动态生物知识发现基准，通过三阶段流程评估AI的新知识发现能力，揭示当前模型在知识发现上的局限性。

Comments Accepted by KDD 2026

Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks

无需云端的智能编码：在纵向数据准备任务中评估开放权重的大语言模型

Mack Nixon, Liam Wright, Yevgeniya Kovalchuk, Alison Fang-Wei Wu, Martin Danka, Andy Boyd, David Bann

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究在纵向数据准备任务中评估开放权重的大语言模型，介绍开源框架，含真实数据集、任务定义和评估程序，通过基准测试发现当前先进模型表现良好，为治理受限研究中的AI辅助数据准备提供可行路径。

Comments Presented at SLLS 2026; accepted at CLS 2026 and RSS 2026

SHIELD: A Diverse Clinical Note Dataset and Distilled Small Language Models for Enterprise-Scale De-identification

SHIELD: 一个多样化的临床笔记数据集和蒸馏小语言模型，用于企业级去标识化

Jose D. Posada, David Love, Somalee Datta, Priya Desai

机构 * Stanford Medicine（斯坦福医学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 针对现有临床去标识化基准数据集的不足，构建了包含1381份笔记、10229个PHI标注的多样化数据集SHIELD，并通过教师-学生蒸馏框架将大语言模型能力迁移至可本地部署的小模型，在标准工作站上达到0.89精确率和0.88召回率。

Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models

面向手语翻译的大语言模型目标端释义增强

Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

机构 * III-LIDI Universidad Nacional de La Plata（III-LIDI国立拉普拉塔大学） ； CDTEC, Federal University of Pelotas（CDTEC，联邦 Pelotas 大学） ； CONICET III-LIDI ； Comision de Investigaciones Cientificas Universidad Nacional de La Plata（科学委员会国立拉普拉塔大学） ； Universidade Federal de Pelotas（联邦 Pelotas 大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对手语翻译中平行语料稀缺和目标词汇长尾分布的问题，提出利用GPT-4o生成参考句子的受控释义变体进行目标端增强，并在三种手语数据集上验证了方法的有效性。

Comments Accepted at GenSign @ CVPR 2026. Non-Proceedings Track (https://genai4sl.github.io/)

Multi-component Causal Tracing in Large Language Models

大型语言模型中的多组件因果追踪

Zirui Yan, Dennis Wei, Dmitriy A. Katz, Prasanna Sattigeri, Ali Tajer

机构 * Rensselaer Polytechnic Institute（拉特拉姆技术学院） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出一个统一框架，通过软干预和度量转换高效识别对目标性能指标最关键的多组件子集，优于现有基线方法。

Comments Accepted to ACL 2026 main conference

Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits

安全测试作为LLM代码生成的可执行规范：益处、权衡与覆盖范围限制

Yunhao Liang, Chengguang Gan, Ruixuan Ying, Hanjun Wei, Zhe Cui, Shiwen Ni

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究提出将安全测试作为LLM代码生成的可执行规范，开发SecTDD框架，通过多维度评估发现预先展示可见测试可提升联合成功率，结构化反馈修复效果更优但益处受多因素影响。

Skill Is Not Document: Query-Conditioned Compatibility for LLM Agent Skill Routing

技能不是文档：面向LLM智能体技能路由的查询条件基准与两阶段检索器

Zifei Wang, Wei Wen, Qiang Ji, Keyu Chen, Ruizhi Qiao, Xing Sun

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM智能体技能路由中技能兼容性被忽视的问题，提出Reject-as-Resource Retriever (R3)框架，构建双语基准R3-Skill，并设计两阶段检索系统（R3-Embedding + R3-Reranker）显式建模技能兼容性，显著提升检索效果。

Comments 24 pages, 8 figures