语言大模型 / LLM

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

CreativityPrism：大语言模型创造力的跨域评估框架

Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

机构 * University of Pittsburgh（匹兹堡大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Notre Dame（诺特丹大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 提出CreativityPrism框架，整合发散思维、创意写作和逻辑推理三个领域的八项任务，从质量、新颖性和多样性三个维度评估LLM创造力，发现前沿模型在创意写作和逻辑推理上领先，但在发散思维上无显著优势，且各维度间相关性弱。

Comments Published in Transactions on Machine Learning Research (06/2026)

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

谁获得奖励 & 谁受到责备？面向多LLM智能体的评估对齐训练信号

Chih-Hsuan, Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出一个理论框架，结合合作博弈归因与过程奖励建模，将系统级评估转化为智能体信用和消息级信号，用于多LLM智能体训练。

Comments Accepted at the NeurIPS 2025 Workshop on Bridging Language, Agent, and World Models for Reasoning and Planning (LAW 2025)

SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

SPLIT：英语和乌克兰语LLM回应中的跨语言共情与文化根基

Anna Chorna

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SPLIT基准测试，评估LLM在英语和乌克兰语危机情境下的共情准确性、语言自然性和文化根基，发现模型在乌克兰语中表现下降，且人类与AI评估者一致性弱。

Comments 19 pages, 5 figures, 3 tables. Benchmark paper introducing SPLIT for evaluating empathy, linguistic naturalness, and cultural grounding in English and Ukrainian LLM responses

OntoLearner: A Modular Python Library for Ontology Learning with Large Language Models

OntoLearner: 一个用于大语言模型本体学习的模块化Python库

Hamed Babaei Giglou, Jennifer D'Souza, Andrei Aioanei, Nandana Mihindukulasooriya, Sören Auer

机构 * TIB – Leibniz Information Centre for Science and Technology（TIB – 莱布尼茨科学与技术信息中心） ； L3S Research Center, Leibniz University of Hannover（L3S研究中心，莱布尼茨汉诺威大学） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出OntoLearner框架，统一本体访问、LLM驱动学习管道和标准化基准，通过跨领域大规模实验揭示本体学习的主要瓶颈是模型知识编码与本体组织的结构性不匹配。

Comments 30 pages. Under review at Nature Communications. This version is reformatted with a different section structure; content is unchanged

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

EO-Agents: 用于地球观测假设生成的三智能体LLM流水线

Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

机构 * ADNET Systems（ADNET系统） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出基于NASA地球观测知识图谱的三智能体LLM流水线，通过图神经网络排序数据集对，生成并评估结构化研究假设，在1475个数据集上产生160个跨领域假设。

Comments Accepted at the ICML 2026 AI for Science Workshop

Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge

Pre-Flight: 评估大型语言模型航空运营知识的基准

Alex Brooker, Tim Hughes

机构 * Airside Labs, London, United Kingdom（Airside Labs，伦敦，英国） ； Mahino Research, Christchurch, New Zealand（Mahino Research，基督城，新西兰） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Pre-Flight基准，包含300道多选题，评估LLM在航空运营知识上的表现，发现最强模型准确率82.7%，低于专家水平的95%，表明领域特定评估的必要性。

Comments 9 pages, 1 figure, 2 tables. Benchmark available in inspect_evals (UKGovernmentBEIS/inspect_evals)

Guiding Human Validation of LLM-Generated Code via Verifiable Literate Programming

通过可验证的文字编程指导用户验证LLM生成的代码

Ziqi Yuan, Wenhao Lu, Hao Wu, Dunhong Jin, Chuan Wu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出可验证文字编程框架，通过无歧义的自然语言文档作为中间层，结合细粒度不匹配检测和验证模块，帮助用户有效验证LLM生成代码，将pass@1从28.7%-73.2%提升至65.4%-93.5%。

Comments 12 pages

Epic-Organized vs. Requirement-Aligned Gherkin: An Empirical Evaluation of LLM-Based Acceptance Criteria Generation

史诗组织 vs. 需求对齐的 Gherkin：基于 LLM 的验收标准生成的实证评估

Shahbaz Siddeeq, Mateen Abbasi, Jussi Rasku, Zheying Zhang, François Christophe, Tommi Mikkonen, Pekka Abrahamsson

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 研究比较史诗组织与需求对齐的 LLM 生成 Gherkin 验收标准，发现史诗组织在正确性、可执行性和完整性上更优，语义覆盖率相当。

Comments Accepted for publication at the International Conference on Software Engineering of Emerging Technologies (SEET 2026)

What LLM Agents Say When No One Is Watching: Social Structure and Latent Objective Emergence in Multi-Agent Debates

当无人注视时LLM智能体在说什么：多智能体辩论中的社会结构与潜在目标涌现

Arman Ghaffarizadeh, Danyal Mohaddes, Aliakbar Izadkhah, Shahriar Noroozizadeh

机构 * Independent Researcher（独立研究员） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出双通道辩论框架，研究社会结构（角色、受众、关系）如何导致LLM智能体在公开与私下（OTR）表达中产生系统性分歧，揭示潜在目标的涌现。

The Dual Nature of LLM Persona: Aggregated Tendencies and Frame-Dependent Geometry

LLM人格的双重性质：聚合倾向与框架依赖的几何结构

Yuan Yuan

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 通过心理测量问卷评估LLM人格时，发现人格表达包含聚合特征（大五人格分数）和几何特征（SPD流形）两种可分离成分，其中几何特征并非内在属性，而是框架依赖的协调模式，揭示了LLM人格的双重性质。

GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation

GroundEval：有状态智能体评估中LLM评判的确定性替代方案

Jeffrey Flynt

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出GroundEval框架，通过记录智能体搜索、获取、引用和访问的证据轨迹，以确定性方式评估其回答，解决LLM评判无法检测的证据路径失效问题。

Comments Streamlined entry point into framework

A Unified Framework for the Evaluation of LLM Agentic Capabilities

LLM 代理能力评估的统一框架

Pengyu Zhu, Lijun Li, Yaxing Lyu, Qianxin Luo, Jingyi Yang, Yi Liu, Tingfeng Hui, Xinyu Yuan, Li Sun, Sen Su, Jing Shao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） ； North China Electric Power University（华北电力大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个统一框架，通过标准化配置、固定 ReAct 架构和离线设置，分离框架与环境效应，实现 LLM 代理能力的公平评估，并在 7 个基准、24 个领域、15 个模型上进行了大规模实证分析。

Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach

使用大语言模型对Linux/bash考试进行自动评分：一种四层认知分类方法

Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira

机构 * Universidade de Vigo, Department of Computer Science, ESEI-Higher School of Computer Engineering（维戈大学计算机科学系ESEI高等计算机工程学院） ； IFCAE-Institute for Research in Physics, Computing and Aerospace Science（IFCAE物理、计算与航空航天科学研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估四种前沿大语言模型（GPT、Claude Opus、Gemini、GLM）在Linux/bash命令评分中的表现，采用四层认知分类法，发现Gemini 3.0 Pro配合评分标准提示达到最高人机一致性（ICC=0.888），且问题复杂度是评分难度的可靠预测因子。

Regression Accumulation in Multi-Turn LLM Programming Conversations

多轮LLM编程对话中的回归累积

Yonghui, Huang, Lin Ma, Amjed Tahir, Qian Zhang, Liwen Xiao, Lysa Xiao

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 研究多轮LLM编程对话中代码建议破坏先前需求的回归累积问题，通过构建542个任务链评估六种模型，发现40%-73%的任务出现回归，并验证了Verification Gate策略的有效性。

Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety

认知防火墙：一种主动、零信任、多门控的LLM安全框架

Michele Guida, Ruslan Shikhhamzayev, Sindhuja Penchala, Stefano Iannucci, Jiacheng Li, Shahram Rahimi, Noorbakhsh Amiri Golilarz

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出认知防火墙框架，通过意图、零信任上下文、一致性和输出风险四个门控进行对话级安全评估，有效降低单轮、多轮、基于权威和人工制作的越狱攻击成功率。

RuleChef: Grounding LLM Task Knowledge in Human-Editable Rules

RuleChef：将LLM任务知识扎根于可人工编辑的规则

Ádám Kovács, Nadia Verdha, Gábor Recski

机构 * KR Labs（KR实验室） ； TU Wien（维也纳工业大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出RuleChef框架，利用大语言模型为NLP任务生成可执行规则，并通过示例和人工反馈迭代优化，最终得到快速、确定且可检查的规则系统。

Comments 8 pages

Evolutionary Feature Engineering for Structured Data

结构化数据的进化特征工程

Ege Onur Taga, Yilin Zhuang, M. Emrullah Ildiz, Petros Mol, Abhimanyu Das, Karthik Duraisamy, Samet Oymak

机构 * University of Michigan（密歇根大学） ； Google Research（谷歌研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出基于LLM进化的特征工程框架EFE，通过Python程序表示变换，利用数据集上下文和验证集性能反馈优化，在时间序列和表格预测任务中提升准确性和可解释性。

Comments 9 page main content, 41 pages in total

EduArt: An educational-level benchmark for evaluating art history knowledge in large language models

EduArt：评估大型语言模型艺术史知识的教育级基准

Gianmarco Spinaci, Lukas Klic, Giovanni Colavizza

机构 * University of Bologna（博洛尼亚大学） ； Villa i Tatti – The Harvard University Center for Italian Renaissance Studies（哈佛大学意大利文艺复兴研究中心（I Tatti）） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出EduArt基准，包含871道人工出题的艺术史题目，评估多模态大模型在不同格式和语言下的知识掌握与推理能力，发现格式显著影响表现，多选题高估模型能力。

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

自信地扩展：校准LLM的置信度以实现自适应测试时扩展

Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Southeast University（东南大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出C3RL算法，通过结合正确性、校准和数据集参考准确率奖励来校准LLM的置信度，并基于此引入CAS策略，根据置信度自适应分配推理计算资源，在提升校准性的同时降低推理成本。

Personality Without Persons? A Psychometric Critique of Big Five Testing in Large Language Models

无人格的人格？大语言模型中大五人格测试的心理测量学批判

Kim Zierahn, Cristina Cachero, Anna Korhonen, Nuria Oliver

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 通过心理测量学评估大语言模型的大五人格测试，发现其不适用于LLMs，无法捕捉模型间差异且因子结构失效，建议开发针对LLMs的评估框架。

Comments 11 pages

Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

多语言环境和低资源语言中LLM-as-a-Judge的挑战与建议

A. Seza Doğruöz, Xixian Liao, Verena Blaschke, Jakob Prange, Senyu Li, David Ifeoluwa Adelani

机构 * LT3, IDLab, Universiteit Gent, Barcelona Supercomputing Center, LMU Munich & Munich Center for Machine Learning, German Center for Addiction Research in Childhood and Adolescence, University Medical Center Hamburg-Eppendorf, Mila - Quebec AI Institute, McGill University, Canada CIFAR AI Chair（LT3、IDLab、根特大学、巴塞罗那超级计算中心、慕尼黑莱茵河大学及慕尼黑机器学习中心、德国成年期成瘾研究中心、汉堡埃彭多夫大学医学中心、魁北克人工智能研究所、麦吉尔大学、加拿大 CIFAR 人工智能主席） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文分析ACL论文中LLM-as-a-Judge在多语言和低资源语言评估中的应用，发现仅有33篇相关论文，存在评估结果不一致、过度信任LLM判断及依赖单一模型等问题，并提出改进建议。

Comments Under Review

Underspecification does not imply Incoherence: The Risks of Semantic Collapse in Coding Models

欠指定并不意味着不一致：编码模型中语义坍缩的风险

Cedric Richter, Mike Papadakis

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究发现LLM在任务描述欠指定时，常坍缩到单一错误解释，生成一致但行为错位的代码，称为有害语义坍缩，影响多个基准测试。

Comments 11 pages

Can LLMs Credibly Transform the Creation of Panel Data from Diverse Historical Tables?

LLM能否可信地转换来自不同历史表格的面板数据？

Verónica Bäcker-Peral, Vitaly Meursault, Christopher Severen

专题命中 评测与基准 ：LLM(title_cn,summary_cn)

AI总结 提出基于多模态LLM的管道，以低成本从历史表格中提取面板数据，在车辆登记数据上达到95.4%精确匹配率，成本仅为传统方法的1/50。

Psychological Steering in LLMs: An Evaluation of Effectiveness and Trustworthiness

LLMs中的心理引导：有效性与可信度评估

Amin Banayeeanzade, Ala N. Tak, Fatemeh Bahrani, Anahita Bolourani, Leonardo Blas, Emilio Ferrara, Jonathan Gratch, Sai Praneeth Karimireddy

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 提出PsySET基准，评估提示、微调和表示工程等策略在控制LLM情绪和人格方面的效果与可信度，发现提示有效但强度控制有限，向量注入控制更精细但输出质量略降，且情绪引导可能产生副作用。

Comments Accepted at ACL 2026. Camera-ready version

AGC-Bench: Measuring Artificial General Creativity

AGC-Bench：衡量人工通用创造力

Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊AGI） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL

AI总结 提出AGC-Bench基准，通过系统文献综述和标准化框架评估LLM创造力，发现单一创造力因子'c'，并验证提示'要有创造力'比推理更有效。

Do Physics Foundation Models Learn Generalizable Physics? A Bias-Aware Benchmark Across Physical Regimes and Distribution Shifts

物理基础模型能否学习可泛化的物理？一种跨物理机制和分布偏移的偏差感知基准

Mengdi Chu, Yang Liu, Ayan Biswas, Han-Wei Shen

机构 * The Ohio State University（俄亥俄州立大学） ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 通过构建包含8种物理动力学、3种训练数据混合和25种测试机制的基准，评估五种物理基础模型架构，发现当前模型是条件性而非通用性泛化者，其泛化能力依赖于物理机制、时间尺度、初始条件、预训练、模型大小和架构，并指出改进需超越缩放模型或扩展数据，转向学习跨机制、时间尺度和分布偏移的可迁移物理知识。

Comments 26 pages, 31 figures

AgenticDataBench: A Comprehensive Benchmark for Data Agents

AgenticDataBench：数据智能体的综合基准

Zhaoyan Sun, Shan Zhong, Daizhou Wen, Jiaxing Han, Guoliang Li, Ying Yan, Peng Zhang, Yu Su, Xiang Qi, Baolin Sun, Chengyuan Yang, Tao Fang, Huaiyu Ruan

机构 * Tsinghua University（清华大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AgenticDataBench基准，通过覆盖15个垂直领域（含5个真实B2B用例）的细粒度任务，评估基于大语言模型的数据智能体在自动化数据科学工作流中的表现。

Office Comprehension Benchmark

办公室理解基准

Firoz Shaik, Mateus Picanço Lima Gomes, Tanvir Aumi, Jingci Wang, Milos Milunovic, Filip Basara, Ivana Jovanovic, Vishwas Suryanarayanan, Neha Nandan Kenkare, Weiyao Xie, Zhipeng Han, Zheng Zhang, Waleed Shahid, Jay Rathi, Russell Scherer, Thong Q. Nguyen, Michael Bentley, Tamara Stankovic, Rasika Chakravarthy, Vishal Chowdhary

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Office Comprehension Bench，首个联合评估LLM对Word Excel和PowerPoint文件理解的基准，包含文件保真度问答和领域问答两个赛道，测试结构与视觉感知及多领域推理能力。

HAL: Inducing Human-likeness in LLMs with Alignment

HAL: 通过对齐引导LLM的人类相似性

Masum Hasan, Junjie Zhao, Ehsan Hoque

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 评测与基准 ：LLM(title_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出HAL框架，利用可解释的数据驱动奖励信号，通过对比对话数据提取显式会话特征并优化偏好，使模型在对话中更常被视为类人，同时保持整体性能。