语言大模型 / LLM

Augmenting Human Evaluation with LLM Judges: How Many Human Reviews Do You Need?

通过LLM裁判增强人类评估：你真的需要多少人类评审？

Jane Paik Kim

机构 * Department of Psychiatry and Behavioral Sciences（精神病学与行为科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过LLM作为辅助裁判来增强人类评估，通过两阶段抽样设计确定人类和LLM评审样本量，以实现目标统计功效。

Comments 10 pages, 5 figures

From Demographics to Survey Anchors: Evaluating LLM Agents for Modeling Retirement Attitudes

从人口统计学到调查锚点：评估LLM代理在建模退休态度中的表现

Rubén Garzón, Pauline Baron, Vincent Grari, Jonne Kamphorst, Michael Bernstein, Marcin Detyniecki

机构 * AI Research（AI研究） ； AXA Group Operations（AXA集团运营） ； CDSP & CEE（CDSP与CEE） ； Sciences Po（社会科学高等学院） ； Computer Science Department（计算机科学系） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文比较了基于人口统计学的LLM代理与基于调查数据的代理在预测退休态度调查中的准确性，发现仅依赖人口统计学的代理存在偏差且不够准确，而基于调查锚点的代理能更好地捕捉复杂的人类响应模式。

Comments 50 pages, 22 figures

Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

在大型语言模型上进行深度数据研究：评估深度数据研究

Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出深度数据研究（DDR）任务和DDR-Bench基准，评估大型语言模型的探索智能，发现有效探索需要内在策略而非单纯扩展。

Comments 14 pages, 7 tables, 8 figures, accepted by ICML 2026

PIPER: Content-Based Table Search via profiling and LLM-Generated Pseudoqueries

PIPER: 通过 profiling 和 LLM 生成的伪查询实现基于内容的表格搜索

Riccardo Terrenzi, Matteo Falconi, Serkan Ayvaz, Pierluigi Plebani

机构 * Centre for Industrial Software, University of Southern Denmark（丹麦南部大学工业软件中心） ； Department of Electronics, Information and Bioengineering, Politecnico di Milano（米兰理工学院电子、信息与生物工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对数据湖、数据空间和开放数据门户中表格数据集快速增长的问题，PIPER 提出了一种基于内容的表格搜索方法，利用表格 profile 和 LLM 生成的伪查询进行密集检索，优于传统元数据方法和 TableQA 检索方法，展示了 LLM 基于内容建模在表格数据集搜索中的价值。

Comments 15 pages, 3 figures, accepted at DEXA'26

LogRouter: Adaptive Two-Level LLM Routing for Log Question Answering in Big Data Systems

LogRouter: 一种自适应的两级LLM路由用于大数据系统中的日志问题解答

Mert Coskuner, Merve Zeybel, Melik Mert Dolan

机构 * TUBITAK BILGEM（土耳其国家研究 institute） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出LogRouter，一种自适应两级LLM路由系统，用于在大数据系统中实现日志问题解答，通过结合PySpark-based Drain3数据摄入管道、GPU加速的嵌入和Apache Druid和PostgreSQL with pgvector的双索引存储，实现高效的日志查询处理。

Evaluation Drift in LLM Personality Induction: Are We Moving the Goalpost?

LLM个性诱导中的评估漂移：我们是否在移动目标？

Prateek Rajput, Yewei Song, Iyiola E. Olatunji, Jacques Klein, Tegawendé F. Bissyandé

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了大型语言模型在诱导人类样性格时的稳定性问题，通过微调长格式论文来诱导性格，并发现尽管微调减少了问卷评分的方差，但完整五维性格的准确性仍接近随机，表明无指导的论文缺乏表达忠实性格所需的线索。

Comments 14 pages, 8 main pages, 5 figures, 4 main page figures

LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning

LinAlg-Bench：一个 forensic 验证基准，揭示 LLM 数学推理中的结构失效模式

Shradha Agarwal, Deepak Rajbhar, Tariq J

机构 * Department of Nuclear Engineering and Computer Science（核工程与计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 LinAlg-Bench 评估 10 个前沿大语言模型在结构线性代数计算中的表现，揭示 LLM 数学失败并非随机，而是受算法类型和矩阵维度约束。研究发现 4x4 尺寸存在行为阈值，低于该尺寸模型通过执行错误失败，高于则转向计算放弃，通过工具角色扮演等制造响应。

Comments 42 pages, 3 figures, 12 tables. NeurIPS 2026 Evaluations and Datasets Track submission. Dataset: https://huggingface.co/datasets/LinAlgBench/linalg-bench

Coarse Semantic Injection for LLM-Conditioned Structured Indoor Prediction

粗粒度语义注入用于LLM条件的结构室内预测

Shuliang Zhu, Tomiwa Adey, Jinjia Zhou

机构 * Shuliang Zhu（朱舒良） ； Tomiwa Adey（阿德伊汤米瓦） ； Jinjia Zhou（周锦佳） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种接口保持的语义增强方法，用于LLM条件的结构解码，通过将语义证据与点云表示关联，将其编码为RGBB点接口，以提升结构室内预测的精度，特别是在复杂场景中的门框定位和家具检测。

Comprehensive Vulnerability Analysis is Necessary for Trustworthy LLM-MAS

全面的漏洞分析对于可信的LLM-MAS至关重要

Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文探讨了构建可信LLM-MAS需进行全面漏洞分析，提出统一框架以量化不同架构中的漏洞，并识别关键挑战如构建专用评估基准和实现安全信任管理。

MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models

MentalBench: 一个用于评估大语言模型 psychiatric 诊断能力的 DSM 基础基准

Hoyun Song, Migyeong Kang, Jisu Shin, Jihyun Kim, Chanbi Park, Hangyeol Yoo, Jihyun An, Alice Oh, Jinyoung Han, KyungTae Lim

机构 * KAIST（韩国科学技术院） ； Sungkyunkwan University（成均馆大学） ； Dongguk University Medical Center（东国大学医学院） ； Seoultech（首尔技术大学） ； Samsung Medical Center（三星医疗中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 本文提出 MentalBench，一个用于评估大语言模型在不同临床模糊程度下能否做出 DSM 基础的 psychiatric 诊断决策的基准。该基准基于 psychiatrist 构建并验证的知识图谱，生成了 24,750 个合成临床案例，以系统地变化信息完整性和诊断复杂性，从而实现 DSM 基础的评估。实验表明，尽管最先进的 LLM 在噪声自由查询上表现良好，但它们在区分具有重叠症状的诊断时难以校准其信心。

Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback

基于大语言模型判官的多维行为评估：用于代理股票预测系统的闭环强化学习反馈

Mohammad Al Ridhawi, Mahtab Haj Ali, Hussein Al Osman

机构 * School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种多维行为评估方法，通过大语言模型判官评估代理系统决策过程，利用闭环强化学习反馈提升预测性能，验证了方法在股票预测中的有效性。

Comments 17 pages, 5 figures, 14 tables. Manuscript submitted to Applied Artificial Intelligence (Taylor and Francis)

ContractBench: Can LLM Agents Preserve Observation Contracts?

ContractBench: LLM Agents能否保持观察契约？

Jicheng Wang, Yifeng He, Zili Wang, Hanwen Xing, Arkaprava De, Hao Chen

机构 * University of California, Davis（加州大学戴维斯分校） ； University of Southern California（南加州大学） ； University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文提出ContractBench基准测试，用于评估LLM代理在保持观察契约（如时间有效性及字节完整性）方面的能力，发现现有模型在该任务上仍存在显著缺陷。

Exploring Lightweight Large Language Models for Court View Generation

探索用于法院视图生成的轻量级大语言模型

Zhitian Hou, Tianyong Hao, Nanli Zeng, Zhixiong Chao, Kun Zeng

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； School of Computer Science, South China Normal University（华南师范大学计算机学院） ； China Mobile Internet Co., Ltd.（中国移动互联网有限公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.CL、cs.AI

AI总结 本文研究了轻量级大语言模型在法院视图生成中的能力及其对指控预测的影响，探讨了模型架构、大小对性能的影响，以及轻量级LLM与深度神经网络在任务中的比较，同时开发了CVGEvalKit评估框架。

Task Abstention for Large Language Models in Code Generation

大型语言模型在代码生成中的任务回避

Yanke Zhou, Yuhao Tan, Senrong Xu, Zenan Li, Yuan Yao, Taolue Chen, Xiaoxing Ma

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文研究了大型语言模型在代码生成任务中是否应回避生成可能产生幻觉的代码，提出了一种基于多重假设检验原理的校准回避规则，通过代码执行结果评估生成一致性，无需依赖Oracle测试用例或外部数据库，提供了一种可靠的安全且稳健的代码生成机制。

Comments 17 pages, 4 figures

FormuLLA: A Large Language Model Approach to Generating Novel 3D Printable Formulations

FormuLLA：一种用于生成新型3D打印配方的大型语言模型方法

Adeshola Okubena, Yusuf Ali Mohammed, Moe Elbadawi

机构 * School of Biological and Behavioural Sciences, Queen Mary University of London（伦敦女王玛丽大学生物与行为科学学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出FormuLLA方法，利用微调后的大型语言模型推荐3D打印配方的辅料并预测丝材机械性能，揭示了模型选择和参数对性能的影响，指出小模型易遗忘及标准指标无法评估配方可加工性。

When AI Tells You What You Want to Hear: Sycophantic Behavior of Large Language Models in Dementia Care Settings

当AI说你想听的话：大型语言模型在痴呆症护理环境中的趋炎附势行为

Christian Kolb

机构 * Christian Kolb 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究探讨了大型语言模型在痴呆症护理场景中是否因迎合社会期望而降低专业质量，通过五种提示测试四款模型，发现响应质量随提示框架增强而下降，提示框架显著影响响应质量。

Comments 10 pages, 4 figures. Exploratory study

Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

评估大型语言模型发布后教师课程设计和学生学习的变化

Amanda Potasznik, Daniel Haehn

机构 * University of Massachusetts, Boston（马萨诸塞大学波士顿分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 研究通过混合方法分析大学课程中LLM的使用对学生学习和教师教学的影响，结合定量分析和问卷调查数据，探讨学习成果的变化。

BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

BoLT：一个民主化黑盒优化研究的基准，用于昂贵的LLM任务

Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出BoLT基准，旨在通过提供真实LLM优化问题，促进黑盒优化方法在昂贵的大型语言模型任务中的研究和评估。

SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents

SkillGenBench: 评估LLM代理技能生成流水线的基准测试

Yifan Zhou, Zhentao Zhang, Ziming Cheng, Shuo Zhang, Qizhen Lan, Zhangquan Chen, Zhi Yang, QianyuXu, Ronghao Chen, Huacan Wang, Sen Hu

机构 * SJTU（上海交通大学） ； XJTU（西安交通大学） ； NUS（新加坡国立大学） ； QuantaAlpha（量子Alpha） ； THU（清华大学） ； SUFE（上海财经大学） ； NTU（国立.ntu） ； PKU（北京大学） ； UCAS（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出SkillGenBench，一个用于评估LLM代理技能生成流水线的基准测试，通过统一可控的协议评估技能生成过程，涵盖任务条件生成和任务无关生成两种模式，以及基于仓库和文档的两种程序来源，揭示技能生成在不同数据源中的表现差异。

LLM-Safety Evaluations Lack Robustness

大语言模型安全评估缺乏鲁棒性

Tim Beyer, Sophie Xhonneux, Simon Geisler, Gauthier Gidel, Leo Schwinn, Stephan Günnemann

机构 * Department of Computer Science \& Munich Data Science Institute, Technical University of Munich ； Canada AI CIFAR Chair 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文指出当前大语言模型安全对齐研究受到多种交织的噪声源阻碍，如小数据集、方法学不一致和不可靠的评估设置，导致难以公平评估和比较攻击与防御，阻碍了进展。我们系统分析了大语言模型安全评估流程，涵盖数据集整理、自动化红队优化策略、响应生成和响应评估使用LLM法官。在每个阶段，我们识别了关键问题并突出了其实际影响。我们还提出了一套减少未来攻击和防御论文评估中噪声和偏见的指南。最后，我们提出了对立观点，强调现有限制的实用原因。我们相信，未来研究解决这些问题将提高领域生成可比结果的能力，并实现可衡量的进步。

Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

勿信工具：在不可信工具反馈下评估和防御LLM代理

Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Birmingham（伯明翰大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本研究探讨了在不可信工具反馈环境下评估和防御LLM代理的问题，提出了一种新的失败模式'认知中毒'，并介绍了TRUST-Bench基准、GuardedJoint惩罚指标和VISTA-Guard框架，展示了轨迹感知的最终动作评分在安全与效用权衡中的有效性。

Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

模型适应性工具必要性揭示了大语言模型工具使用中的知行差距

Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feizi

机构 * University of Maryland, College Park（马里兰大学College Park分校） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了大语言模型在使用外部工具时的必要性问题，提出了一种基于模型自身性能的适应性工具必要性定义，并通过四个模型在算术和事实性问答数据集上的比较，发现工具必要性与实际调用行为之间存在显著的不匹配，揭示了LLM工具使用中的知行差距。

ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents

ASPI：寻求澄清会放大LLM代理中的提示注入漏洞

Udari Madhushani Sehwag, Zhengyang Shan, Heming Liu, Dileepa Lakshan, Joseph Brandifino, Max Fenkell

机构 * Scale AI ； Boston University（波士顿大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Human Frontier Collective（人类前沿集体） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 该研究探讨了LLM代理在执行任务时寻求澄清的行为对提示注入攻击的影响，发现这种行为会显著增加代理的脆弱性，并提出了ASPI基准测试来评估这一现象。

Systematic Evaluation of the Quality of Synthetic Clinical Notes Rephrased by LLMs at Million-Note Scale

在百万笔记规模上系统评估LLM重新表述的合成临床笔记质量

Jinghui Liu, Sarvesh Soni, Anthony Nguyen

机构 * Australian e-Health Research Centre, CSIRO, Australia（澳大利亚电子健康研究中心，CSIRO，澳大利亚） ； National Library of Medicine, National Institutes of Health, USA（国家医学图书馆，国立卫生研究院，美国） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究系统评估了LLM生成的合成临床笔记的质量，包括内在、外在和事实性评估，发现尽管在粗粒度任务中保留了核心临床信息和预测效用，但在细粒度任务如ICD编码中丢失了细节，通过分块重述可以缓解这一问题，但会降低事实准确性。研究还发现合成错误主要源于临床情境的误解、时间混淆、测量误差和虚构声明，同时展示了这些合成笔记可以有效增强罕见ICD代码的特定任务训练。

Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

对多模态大语言模型评分者的审计：临床顺序评分中的中间倾向偏差

Jiaqing Zhang, Sandeep Elluri, Bhanu Cherukuvada, Yonah Joffe, Jessica Sena, Miguel Contreras, Scott Siegel, Subhash Nerella, Catherine Price, Parisa Rashidi

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； Department of Computer and Information Science and Engineering（计算机与信息科学与工程系） ； Department of Clinical and Health Psychology（临床与健康心理学系） ； Department of Biomedical Engineering（生物医学工程系） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究多模态大语言模型在临床顺序评分中的中间倾向偏差，通过基准测试发现三种前沿LLM在Clock Drawing Test评分中存在系统性压缩倾向，影响临床决策。

Evaluating the False Trust Engendered by LLM Explanations

评估由LLM解释所引发的虚假信任

Vardhan Palod, Upasana Biswas, Subbarao Kambhampati

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过用户研究评估不同解释类型对用户判断AI答案正确性及产生虚假信任的影响，发现推理轨迹和事后解释具有说服力但不具信息性，而对比双解释能提升用户区分正确与错误输出的能力。

OPeRA: A Dataset of Observation, Persona, Rationale, and Action for Evaluating LLMs on Human Online Shopping Behavior Simulation

OPeRA: 一个用于评估LLM在模拟人类在线购物行为上的表现的观察、人设、推理和行动数据集

Ziyi Wang, Yuxuan Lu, Wenbo Li, Amirali Amini, Bo Sun, Yakov Bart, Weimin Lyu, Jiri Gesi, Tian Wang, Jing Huang, Yu Su, Upol Ehsan, Malihe Alikhani, Toby Jia-Jun Li, Lydia Chilton, Dakuo Wang

机构 * Northeastern University（东北大学） ； University of Southern California（南加州大学） ； Stony Brook University（石溪大学） ； Independent Researcher（独立研究者） ； Ohio State University（俄亥俄州立大学） ； University of Notre Dame（Notre Dame 大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出OPeRA数据集，用于评估LLM在模拟人类在线购物行为上的能力，通过收集真实用户在在线购物会话中的观察、人设、推理和行动，建立首个评估LLM预测特定用户下一步行动和推理的基准。

Comments ACL 2026 main

HalluScore: Large Language Model Hallucination Question Answering Benchmark

HalluScore: 大语言模型幻觉问答基准

Aisha Alansari, Hamzah Luqman

机构 * Department of Information and Computer Science, King Fahd University of Petroleum and Minerals（国王法赫德石油与矿物大学信息与计算机科学系） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本研究提出HalluScore基准，用于评估大语言模型在不同推理难度、知识领域、历史时间线和文化场景中的幻觉行为，通过827个精心编写的题目评估、检测和缓解幻觉，同时提供高质量的人类标注以识别不同模型的幻觉表现。

Generalization or Memorization? Brittleness Testing for Chess-Trained Language Models

泛化还是记忆？国际象棋训练语言模型的脆弱性测试

Ethan Tang

机构 * School of Computing and Augmented Intelligence（计算与增强智能学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了国际象棋训练语言模型是泛化还是记忆，通过测试发现其高性能主要源于模式匹配，并展示了LLM-Modulo框架在提升国际象棋谜题解决性能上的效果，证明了与外部验证器结合的通用LLM比直接训练合成数据更灵活。

Comments 14 pages, 2 figures, 4 tables, 3 equations

From Isolated Scoring to Collaborative Ranking: A Comparison-Native Framework for LLM-Based Paper Evaluation

从孤立评分到协作排名：一种基于LLM的论文评估比较原生框架

Pujun Zheng, Jiacheng Yao, Jinquan Zheng, Chenyang Gu, Guoxiu He, Jiawei Liu, Yong Huang, Tianrui Guo, Wei Lu

机构 * School of Economics and Management, East China Normal University（东华大学经济管理学院） ； School of Information Management, Wuhan University（武汉大学信息管理学院） ； China Academic Degrees & Graduate Education Development Center（中国学位与研究生教育发展中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出CNPE框架，通过整合比较机制于数据构建和模型学习，提升论文评估的相对质量判断，实验显示比DeepReview-14B平均提升21.8%。

Comments Accepted at Findings of ACL 2026