语言大模型 / LLM

From Score Matrices to Football-Aware Match-State Simulation: An Auditable LLM Harness for Exact-Score Reranking

从得分矩阵到足球感知的比赛状态模拟：用于精确得分重排序的可审计大语言模型（LLM）框架

Shaopeng Liang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出可审计混合架构，结合动态统计模型与LLM实现足球得分重排序，经迭代优化后在英超150场比赛时序测试中提升了精确得分准确率与候选覆盖度，明确了该方法的改进及局限。

Comments 9 pages, 1 figure, 5 tables. Interim chronological benchmark on the first 150 matches of the 2025-26 English Premier League

Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks

每个错误答案都有价值：面向LLM多项选择基准的选项层面心理测量学

Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对LLM多项选择基准提出LLM-NRM框架，利用错误答案的独特信息提升能力估计精度与基准测试效率，其能力估计与人类偏好排行榜相关性达0.920，仅错误回答就能实现0.943的高相关。

Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese

在非母语日语的语言态度上实现人类与大语言模型（LLM）的对齐

Naho Orita, Hayato Ogawa, Daisuke Kawahara

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究对比人类与LLM对母语及非母语日语邮件的评价，发现LLM以结构化弱化形式重现母语者的语言态度，为审计LLM提供了可推广的语言态度框架。

Can LLM-based Financial Investing Strategies Outperform the Market in Long Run?

基于LLM的金融投资策略能否长期跑赢市场？

Weixian Waylon Li, Hyeonjun Kim, Mihai Cucuringu, Tiejun Ma

机构 * AIAI, School of Informatics The University of Edinburgh Edinburgh United Kingdom ； Global Finance Research Center Sungkyunkwan University Seoul Republic of Korea ； Dept. of Statistics \& OMI University of California, Los Angeles ； University of Oxford United States ； The University of Edinburgh ； Sungkyunkwan University ； University of California, Los Angeles ； University of Oxford 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FINSABER回测框架，在更长时间和更大股票池上评估基于LLM的择时策略，发现其优势在长期和广泛截面下显著下降，且在牛熊市中表现不佳。

Comments KDD 2026, Datasets & Benchmarks Track (Oral) Corrected the FinAgent results and added FinAgent (GPT-4o-mini) in Table 2; conclusions unchanged

Characterizing Readability Issue Patterns and the Role of Prompt Design in LLM-Generated Code

可读性光谱：LLM生成代码中的模式、问题和提示影响

Hengzhi Ye, Fengyuan Ran, Weiwei Xu, Minghui Zhou

机构 * Peking university（北京大学） ； Wuhan University（武汉大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了LLM生成代码的可读性，发现其与人工编写代码相当，但存在特定问题模式，提示设计对可读性影响有限。

How Many Iterations to Jailbreak? Dynamic Budget Allocation for Multi-Turn LLM Evaluation

需要多少次迭代才能突破限制？多轮LLM评估中的动态预算分配

Shai Feldman, Yaniv Romano

机构 * Department of Computer Science（计算机科学系） ； Technion, Israel（技术ion, 以色列） ； Departments of Electrical and Computer Engineering and of Computer Science（电气与计算机工程系和计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出DAPRO框架，通过动态预算分配在多轮LLM交互中提供事件发生时间的界限，解决静态方法效率低的问题，实验表明其在覆盖性和方差方面优于传统方法。

When Can You Debias an LLM Judge? Identifiability Limits, a Test, and Designs for Top-k Ranking

提出正确的比较：基于偏差感知的贝叶斯主动Top-k排序与LLM裁判

Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对LLM裁判存在噪声和系统性偏差（如偏好冗长或格式好的回答）的问题，提出将裁判过程建模为贝叶斯推断，引入显式的裁判特定偏差协变量，并设计一种Top-k感知的主动获取规则，以在固定比较预算下准确识别Top-k项。

Autoregressive Diffusion World Models for Off-Policy Evaluation of LLM Agents

自回归扩散世界模型用于LLM智能体的离线评估

Kaixuan Liu, Guojun Xiong, Weinan Zhang, Shengpu Tang

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ADWM框架，通过自回归扩散世界模型从预收集轨迹中模拟环境响应，实现无需在线交互的LLM智能体策略离线评估。

LLM-PDESR: Robust PDE Discovery via Subdomain Weighted Residuals and LLM-Guided Symbolic Hypothesis Generation

LLM-PDESR：通过子域加权残差和大语言模型引导的符号假设生成进行稳健的偏微分方程发现

Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； School of Big Data and Artificial Intelligence, Guangdong University of Finance and Economics（广东财经大学大数据与人工智能学院） ； Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室） ； School of Computer Science, Zhuhai College of Science and Technology（珠海科技学院计算机科学学院） ； Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究旨在从噪声数据发现偏微分方程，提出LLM-PDESR框架，结合大语言模型假设生成与数学评估环境，利用五次样条和子域加权残差减轻噪声影响，经帕累托驱动反馈环优化方程，实验表明其在多方面显著优于现有方法。

Comments 28 pages, 12 figures

CTFusion: A CTF-based Benchmark for LLM Agent Evaluation

CTFusion: 一种基于CTF的LLM代理评估基准

Dongjun Lee, Ga-eun Bae, Insu Yun

机构 * School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出CTFusion，一种基于CTF的评估框架，通过减少竞争影响和数据污染，提升对LLM代理的评估可靠性。

Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD), ICML 2026. Revised to match the camera-ready version. OpenReview: https://openreview.net/forum?id=aUSUvS4dPL

RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

RetailBench: 评估LLM代理在真实零售环境中的长周期自主决策与策略稳定性

Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

机构 * Ant Group（蚂蚁集团） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出RetailBench基准，用于评估LLM代理在千天级超市运营模拟中的长周期决策能力，发现当前最强模型仍远落后于最优策略。

CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming

CSTutorBench：将小型语言模型作为基于块的编程导师进行基准测试

H. Chad Lane, Bryson Kageler

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 研究针对K-12环境中部署语言模型的问题，引入CSTutorBench基准评估VEX VR中语言模型作导师的表现。通过对11个模型测试发现其在深层教学行为有困难，模型家族和指令调整方法对辅导质量预测性更好，特定提示修订可提分，凸显此类基准的价值。

Journal ref SLM4ED'26: The 1st Workshop of Small Language Models for Education (SLM4ED). AIED 2026. Seoul, Republic of Korea

NRT-Bench: Benchmarking Multi-Turn Red-Teaming of LLM Operator Agents in Safety-Critical Control Rooms

LLM智能体安全性、多轮红队测试、越狱基准、对抗鲁棒性、安全关键系统

Hanwool Lee, Dasol Choi, Bokyeong Kim, Haon Park, Seung Geun Kim

机构 * AIM Intelligence（AIM智能公司） ； KAERI（韩国原子能研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出NRT-Bench基准，通过模拟核电站控制室的多轮红队测试，评估LLM智能体在安全关键系统中的对抗鲁棒性，发现不同模型的漏洞几乎不重叠，且防御效果高度依赖模型。

EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

EO-Agents: 用于地球观测假设生成的三智能体LLM流水线

Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

机构 * ADNET Systems（ADNET系统） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出基于NASA地球观测知识图谱的三智能体LLM流水线，通过图神经网络排序数据集对，生成并评估结构化研究假设，在1475个数据集上产生160个跨领域假设。

Comments Accepted at the ICML 2026 AI for Science Workshop

Tail-Shape Estimation in LLM Evaluation Is Fragile: A Protocol for Diagnosing False Positives

LLM评估中的尾部形状估计是脆弱的：诊断假阳性的协议

Luca Zhou

机构 * Sapienza University of Rome（罗马大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一个协议，用于检验LLM评估中尾部形状估计的假阳性，通过极值理论指标区分尾部重量和尾部质量，并在毒性评估中识别出三种假阳性模式。

Comments 9 pages of main paper, 4 figures and 4 tables in the main paper, more in the appendix

Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs

Clotho：用于LLM输入的任务特定预生成测试充分性度量

Juyeon Yoon, Somin Kim, Robert Feldt, Shin Yoo

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Chalmers University of Technology Gothenburg Sweden（楚德大学哥德堡瑞典） ； Chalmers University of Technology（楚德大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Clotho通过分析LLM隐藏状态直接估计输入难度，无需生成输出即可评估测试输入的有效性，提升测试效率并降低LLM执行成本。

Comments FSE 2026 Camera Ready version

CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning

CLExEval: 一种用于定性评估LLM临床推理的人机协同框架

Ajmal M., Abin Roy, Afthab Salam Kanniyan, Jawadh Abdul Kabeer, Jerin James, Preslav Nakov, Zhuohan Xie

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； IIT Madras（印度理工学院马德拉斯分校） ； Calicut Medical College（卡利卡特医学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CLExEval框架，通过渐进信息遮蔽和专家注释，揭示LLM临床推理中的冗长偏差、隐藏知识悖论和推理-输出不匹配问题，并验证了LLM作为评判者的局限性。

Comments 21 pages, 12 figures

LLM-as-a-judge validity in physics assessment depends more on the task than the model

LLM作为评判者在物理评估中的有效性更取决于任务而非模型

Will Yeadon, Tom Hardy, Paul Mackay, Elise Agra

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究评估LLM在不同物理评估格式（结构化问题、论文、科学图表）中的评分有效性，发现任务类型对评分准确性和排序一致性影响显著，而非模型能力。

Comments 29 pages, 28 figures

Collective cooperation without individual fidelity in LLM agents

LLM智能体中的集体合作无需个体忠诚

Henrique Ferraz de Arruda, Carlos Gracia Lázaro, Alberto Aleta, Yamir Moreno

机构 * ARAID Foundation（ARAID基金会） ； Institute for Biocomputation and Physics of Complex Systems（复杂系统生物计算研究所） ； University of Zaragoza（萨拉戈塔大学） ； Universidad San Jorge (USJ)（圣乔治大学） ； Department of Theoretical Physics（理论物理系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过大规模网络囚徒困境实验，比较九种开源LLM与人类行为，发现LLM能复现宏观合作动态，但微观层面存在个体异质性和条件合作模式的差异，揭示了宏观-微观分离现象。

LLM agents security duality: a comprehensive survey of self-security and empowered cybersecurity

LLM代理安全二元性：自我安全与赋能网络安全的综合调查

Yiwei Xu, Yong Zhuang, Xuanming Liu, Tian Zhang, Bowen Xiao, Xiaoyang Xu, Delong Jiang, Juan Wang, Hongxin Hu

机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院） ； Department of Computer Science and Engineering, University at Buffalo（布法罗大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 综述LLM代理的自我安全威胁与防御，以及其在网络攻防中的赋能作用，首次揭示两者间的正反馈协同效应。

Comments 73 pages,12 figures, 9 tables, Artificial Intelligence Review

Journal ref Artif Intell Rev (2026)

CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching

CausalFlip: 超越语义匹配的LLM因果判断基准

Yuzhe Wang, Yaochen Zhu, Jundong Li

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CausalFlip基准，通过构建语义相似但因果答案相反的问题对和噪声前缀评估，揭示LLM依赖语义匹配而非因果推理，并验证内化因果推理方法可提升因果基础。

Comments 8 pages plus references, 3 figures, 3 tables. Under review

Check Yourself Before You Wreck Yourself: Selectively Quitting Improves LLM Agent Safety

在自毁之前检查自己：选择性退出提升LLM智能体安全性

Vamshi Krishna Bonagiri, Ponnurangam Kumaragurum, Khanh Nguyen, Benjamin Plaut

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出让LLM智能体在不确定时主动退出，通过ToolEmu框架在12个模型上评估，发现该方法在几乎不降低有用性的情况下显著提升安全性。

Comments Reliable ML and Regulatable ML workshops, Neurips 2025

DMind Benchmark: Toward a Holistic Assessment of LLM Capabilities across the Web3 Domain

DMind Benchmark：面向Web3领域LLM能力的全面评估

Enhao Huang, Pengyu Sun, Shuxun Wang, Zixin Lin, Alex Chen, Kaichun Hu, Joey Ouyang, Frank Li, Zhiyu Zhang, Haobo Wang, Yiming Li, Zhan Qin, James Yi, Gang Zhao, Ziang Ling, Lowes Yang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DMind Benchmark，覆盖Web3九个子领域，结合客观知识与开放推理任务，评估31个LLM，发现模型在安全审计等高推理任务中存在显著弱点。

Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents

知道太多的智能体：LLM智能体中隐私的数据中心调查

Nada Lahjouji, Ashwin Gerard Colaco

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 从数据中心视角调查LLM智能体隐私风险，分类数据源、隐私风险及治理机制，发现信息流控制可覆盖组合和跨会话推理泄露，但缺乏统一隐私策略的基准。

Comments 17 pages, 4 figures, 7 tables

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference

OI-Bench：用于评估大语言模型对指令干扰敏感性的选项注入基准

Yow-Fu Liou, Yu-Chien Tang, Yu-Hsiang Liu, An-Zi Yen

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出选项注入基准OI-Bench，通过在多选题界面中嵌入误导性指令，系统评估12个LLM对16种指令干扰的脆弱性，揭示模型存在显著漏洞。

Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

有益还是有害？通过人类研究评估LLM辅助的漏洞修补

Giulian Biolo, Michael Tezza, Yuanjun Gong, Fabio Massacci

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过人类实验研究LLM辅助漏洞修补的效果，发现其可能加速修补但增加生成不安全代码的风险。

Comments 7 pages, 6 figures

Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge

我是更偏向逐点还是成对？揭示基于评分标准的LLM作为评判者的位置偏差

Yuzheng Xu, Tosho Hirasawa, Tadashi Kozuno, Yoshitaka Ushiku

机构 * OMRON SINIC X ； NexaScience 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究基于评分标准的LLM评估中的位置偏差，发现其类似多项选择，模型倾向于选择特定位置的选项，偏差方向因模型而异，且评分标准顺序也会影响结果。

T2D-Bench: Evidence-Gated Evaluation of LLM Outputs for Type 2 Diabetes Using a Multi-Layer Clinical-Lifestyle Knowledge Graph

T2D-Bench：基于多层临床-生活方式知识图谱的2型糖尿病LLM输出证据门控评估

Saba A. Farahani, Hung Cao, Ramesh Jain, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出T2D-Bench基准，通过多层知识图谱和证据门控机制，检测LLM输出中未满足指南约束的临床遗漏，并在2型糖尿病诊断、用药安全等场景中实现可测量纠正。

Comments 7 pages, 2 figures, 2 tables. Accepted as a poster at AMIA 2026 Annual Symposium

How Much Can We Trust LLM Search Agents? Measuring Endorsement Vulnerability to Web Content Manipulation

我们能在多大程度上信任LLM搜索智能体？衡量对网络内容操纵的认可脆弱性

Yimeng Chen, Zhe Ren, Firas Laakom, Yu Li, Dandan Guo, Jürgen Schmidhuber

机构 * Center of Excellence for Generative AI, KAUST（KAUST生成式人工智能卓越中心） ； Jilin University（吉林大学） ； Zhejiang University（浙江大学） ； The Swiss AI Lab, IDSIA-USI/SUPSI（瑞士人工智能实验室 IDSIA-USI/SUPSI） ； NNAISENSE 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SearchGEO框架，通过五类攻击模式和输出级指标评估13种LLM后端对网络内容操纵的认可脆弱性，发现攻击成功率从0%到31.4%不等，且不同后端对攻击模式的敏感性和部署框架的影响存在显著差异。

Comments 23 pages, 3 figures

Curiosity as Linguistic Intervention: Using LLM Tutoring Dialogues to Influence Exploratory Learning Behavior

好奇心作为语言干预：利用LLM辅导对话影响探索性学习行为

Gevindu Ganganath, Pasindu Bolonghege, Qianru Lyu, Pradeep Varakantham, Thivya Kandappu

机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院） ； Human-Computer Interaction Institute, Carnegie Mellon University（卡内基梅隆大学人机交互研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CURIOBOT框架，通过LLM对话中的语言干预（新奇性、复杂性、冲突、不确定性）激发探索性学习行为，实验显示对话轮次增加2.4倍。

Comments Submitted to EMNLP 2026