语言大模型 / LLM

AI Playing Business Games: Benchmarking Large Language Models on Managerial Decision-Making in Dynamic Simulations

AI 玩商业游戏：在动态模拟中对大型语言模型的管理决策能力进行基准测试

Berdymyrat Ovezmyradov

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究提出一种用于LLM基准测试的可复现开放获取管理模拟器，评估Gemini等五个LLMs在动态商业模拟中的多步骤战略决策能力，为长期决策评估提供新途径。

Comments 34 pages, 7 figures, 3 tables

Sensor-Level Fault Diagnosis for Automotive Software Validation Using Large Language Models

基于大语言模型的汽车软件验证传感器级故障诊断

Mohammad Abboush, Hamza Ouarrad, Andreas Rausch

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 该研究提出两阶段框架，用经4-bit低秩适配的LLM对HIL平台的汽车传感器记录做故障诊断，最小模型准确率达81.6%，适配循环可在单商用加速器运行。

Evaluating and Improving Pedagogical Fit in LLM-Based AI Tutors with the Pedagogical Suitability Index

基于教学适宜性指数评估和改进基于大语言模型（LLM）的AI导师的教学适配性

Benjamin Barlog, Hudson Craig, Zedong Peng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出教学适宜性指数（PSI）评估LLM导师的教学适配性，评估4类LLM并发现PSI引导的反馈可显著提升弱表现案例的适配性。

Comments This paper has already been accepted and presented at the IEEE 27th International Conference on Information Reuse and Integration for Data Science (IRI 2026) from July 31 to August 2, 2026, in Seattle, WA, USA

LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge

大型语言模型目前尚不可靠地充当评判者：对LLM作为评判者的鲁棒性的综合评估

Songze Li, Chuokun Xu, Jiaying Wang, Xueluan Gong, Chen Chen, Jirui Zhang, Jun Wang, Kwok-Yan Lam, Shouling Ji

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究引入RobustJudge框架，评估LLM-as-a-Judge的鲁棒性，发现其易受攻击，鲁棒性对提示模板和模型选择敏感，优化攻击结合长后缀可提升PAI-Judge分数。

BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali

BenHalluEval：孟加拉语大语言模型的多任务幻觉评估框架

Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

机构 * Department of Computer Science and Engineering, Islamic University of Technology（伊斯兰科技大学计算机科学与工程系） ； Department of Computer Science and Engineering, University of California（加州大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；prompting(abstract)

AI总结 针对孟加拉语大语言模型幻觉评估的空白，提出BenHalluEval框架，涵盖四项任务，构建12000个幻觉候选，并提出双轨校准指标BenHalluScore，揭示模型间幻觉校准的显著差异。

Comments Preprint. Under review

Plausible Patients, Impossible Populations: Auditing Epidemiological Fidelity in Large Language Model Mental Health Simulations

PsychBench: 对大型语言模型心理健康模拟中的流行病学真实性进行审计

Patrick Keough

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(title)；分类 cs.AI

AI总结 本文通过PsychBench对LLM患者模拟进行流行病学审计，发现模型在临床合理性与人口代表性之间存在不一致，揭示了模型在不同群体中的偏差问题。

Comments v2: substantially revised and retitled; withdraws the variance-compression and transgender-suppression results and adds a pre-registered decoding control. 21 pages, 8 figures, 7 tables

Signal or Spurious Cue? A Randomized Audit of Survey-Country Metadata in LLM Social Inference

信号还是虚假线索？对LLM社会推理中调查国元数据的随机审计

Yifan Lyu, Xinran Li, Jiaqi Qiao, Xiujuan Xu

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究通过对5个API模型、6国7目标的审计，发现LLM社会推理中调查国元数据可降低预测损失，但随机披露该线索无法可靠减弱其误导性，PROV-FORECAST数据集含14400组概率分布。

Comments 7 pages, 2 figures

PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say

PrivacyPeek: 审计基于LLM的智能体获取了什么，而不仅仅是它们说了什么

Mingxuan Zhang, Jiahui Han, Dadi Guo, Songze Li, Guanchu Wang, Na Zou, Dongrui Liu, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Southeast University（东南大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PrivacyPeek基准，通过检查工具调用轨迹和探针诱导，评估基于LLM的智能体在获取阶段不必要的敏感信息泄露，发现该问题普遍存在且现有防御效果有限。

Comments 21 pages, 17 figures

To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

调用还是不调用：评估和优化LLM工具调用的框架

Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； Ruhr University Bochum（博德姆鲁尔大学） ； UAR RC Trust（UAR RC信托） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个基于决策理论的框架，从必要性、效用和可负担性三个关键因素评估LLM的网页搜索工具调用决策，并训练轻量级估计器优化调用，提升任务性能。

Comments Preprint, under review

BioMedJImpact: A Comprehensive Dataset and LLM Pipeline for AI Engagement and Scientific Impact Analysis of Biomedical Journals

BioMedJImpact：用于生物医学期刊AI参与度及科学影响力分析的综合数据集与大语言模型（LLM）流程

Ruiyu Wang, Yuzhang Xie, Xiao Hu, Carl Yang, Jiaying Lu

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本研究构建了生物医学领域的BioMedJImpact数据集，通过三阶段LLM流程提取AI参与度，分析发现作者规模与期刊影响力正相关、AI参与度仅在2019年子集与影响因子正相关，验证了LLM流程的有效性。

Zero-Shot Multi-Disease Labeling of Chest, Abdomen, and Pelvis CT Reports Using Open-Weight Large Language Models: The Effect of Labeling Conventions

评估大型语言模型在跨器官系统CT放射报告零样本疾病标注中的效果

Michael E. Garcia-Alcoser, Mobina Ghojoghnejad, Fakrul Islam Tushar, David Kim, Kyle J. Lafata, Geoffrey D. Rubin, Joseph Y. Lo

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究评估了大型语言模型在CT报告零样本疾病标注中的效果，发现轻量级LLMs在多器官系统标注中表现优于规则方法，但需注意二元标签的局限性。

Comments 19 pages, 6 figures, 4 tables. Under review in Radiology: Artificial Intelligence

Agentic Software Issue Resolution with Large Language Models: A Survey

基于大语言模型的代理软件问题解决：综述

Zhonghao Jiang, David Lo, Zhongxin Liu

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； School of Computing and Information Systems, Singapore Management University（计算与信息系统学院，新加坡管理大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文综述了基于大语言模型的代理软件问题解决的最新研究，探讨了其方法、挑战及未来方向。

Automatic Translation of Unstructured Requirements into Linear Temporal Logic through Large Language Models

基于大语言模型将非结构化需求自动翻译为线性时序逻辑

Alexandra Newcomb, Omar Ochoa

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文评估6种大语言模型，通过少样本提示策略在含15个需求的基准上生成线性时序逻辑公式，验证通用LLMs无需微调即可完成非结构化自然语言转LTL任务，可作为半自动化形式化工作流的前端助手。

Comments Copyright 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents

基于模块化大语言模型（LLM）的安全智能体的事后轨迹风险验证

Zhenpeng Li

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文针对模块化LLM安全智能体的轨迹风险验证问题，提出生成树替代方案，在两阶段入侵检测实验中实现92.7%±2.4%的平均轨迹覆盖率，量化了联合访问缺失的成本。

Comments 18 pages, 11 tables; preprint

CREBench: Evaluating Large Language Models in Cryptographic Binary Reverse Engineering

CREBench：评估大语言模型在密码二进制逆向工程中的能力

Baicheng Chen, Yu Wang, Ziheng Zhou, Xiangru Liu, Juanru Li, Yilei Chen, Tianxing He

机构 * Shanghai Qi Zhi Institute（上海期智研究院） ； Institute of Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Xiongan AI Institute（雄安人工智能研究院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； East China Normal University（华东师范大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CREBench基准，通过432个基于密码算法的挑战评估大语言模型在密码二进制逆向工程中的性能，发现GPT-5.4在该任务中表现优异，人类专家仍具优势。

Comments COLM 2026

When Large Language Models Know the Table: A Framework for Assessing Data Contamination in Tabular Datasets

评估大型语言模型中公共表格数据集的潜在知识

Matteo Silvestri, Fabiano Veglianti, Flavio Giorgi, Fabrizio Silvestri, Gabriele Tolomei

机构 * Sapienza University of Rome（罗马大学） ； tellmewAI 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出评估表格数据集污染的框架，通过生成控制查询和比较评估，发现四个数据集中存在污染，影响下游任务性能可靠性。

Once a Response, Always a Response: Detecting LLM-generated Text via Latent Prompt Restoration

一次响应，始终是响应：通过潜在提示恢复检测大语言模型生成的文本

Hongrui Bao, Yubing Ren, Yanan Cao, Jinhan You, Fang Fang, Shi Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有零样本LLM生成文本检测器未考虑LLM训练过程的问题，提出无训练检测器EchoPrompt，通过潜在提示恢复实现零样本检测，在零样本检测器中达SOTA性能且稳健性强。

Comments 17 pages, 7 figures

Beyond Sentiment: Comparing Traditional NLP and LLM-Based Multi-Dimensional Analysis for Political News Evaluation

超越情感：对比传统NLP与基于大语言模型的多维分析在政治新闻评估中的应用

Maryam Fooladi, Federico Bottino

机构 * Kakashi Ventures Accelerator (KVA)（卡卡西风险投资加速器（KVA）） ； Newjee（新吉） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文对比传统NLP的RoBERTa情感分析与基于LLM的多维框架分析，发现前者存在“中性坍缩”局限，后者可捕捉政治话语多维特征，更适配SSH研究需求。

Comments Accepted at PoliticalNLP 2026, the 3rd Workshop on Natural Language Processing for Political Sciences, co-located with LREC 2026. 10 pages, 3 figures

Exploring Dependence, Overreliance, and Addiction Related Behaviors Associated with Large Language Model Use Among Software Engineers

探索软件工程师使用大语言模型（LLMs）相关的依赖、过度依赖及成瘾相关行为

Ronnie de Souza Santos, Italo Santos, Matheus de Moraes Leça, Cleyton Magalhaes, Mairieli Wessel

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究通过对119名软件从业者的调查，分析了工程师使用LLMs时的依赖、过度依赖及成瘾相关行为，发现LLMs已成为软件工程的习惯性工具，多数使用具功能性，需促进适当依赖。

SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models

SOVABench：多模态大语言模型的车辆监控动作检索基准

Oriol Rabasseda, Zenjie Li, Kamal Nasrollahi, Sergio Escalera

机构 * Milestone Systems A/S（Milestone Systems公司） ； Universitat de Barcelona（巴塞罗那大学） ； Computer Vision Center（计算机视觉中心） ； Aalborg Universitet（奥胡斯大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 SOVABench为多模态大语言模型提供车辆监控动作检索基准，通过定义两种评估协议评估跨动作区分和时间方向理解，展示了模型在复杂监控任务中的性能。

Comments This work has been accepted at Real World Surveillance: Applications and Challenges, 6th (in WACV Workshops)

The em-dash em-beds in Congress: A population-level rise in em-dash frequency in U.S. congressional press releases at the dawn of the large-language-model era, 2021-2025

长破折号嵌入国会：大语言模型时代初期（2021-2025）美国国会新闻稿中长破折号频率的全人口水平上升

Przemysław Czuma

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究分析2021-2025年美国国会新闻稿，发现无空格长破折号频率在2025年翻倍，证实LLM辅助写作的扩散，长破折号可作为全人口水平的相关标记。

Comments Preregistered study (OSF: 10.17605/OSF.IO/U5NEY); deviations from the registered plan, including a formal validation-gate breach, are disclosed in Section 4.6. Companion study: arXiv:2606.29540. 3 figures, 4 tables

MermaidSeqBench: An Evaluation Benchmark for NL-to-Mermaid Sequence Diagram Generation

MermaidSeqBench: 一种用于自然语言到Mermaid序列图生成的评估基准

Basel Shbita, Farhan Ahmed, Chad DeLuca

机构 * IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MermaidSeqBench，通过混合方法构建132个样本，评估LLM生成Mermaid序列图的能力，揭示模型间显著能力差异。

'OpenBloom': A Stigma-Sensitive LLM Design Probe for Navigating Reproductive Well-being Conversations with Young Adults

「OpenBloom」：一种面向生殖健康的污名敏感型大语言模型设计探针

Yang Hong, Ashley Hua, Adya Daruka, Sharifa Sultana

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出OpenBloom，利用大语言模型将生殖健康文章转为问题提示，通过34名参与者的136次交互研究，探讨AI生成问题如何与社会污名、情境敏感性和反思性互动，并讨论女性主义HCI、可争议性和价值敏感AI框架的应用。

Nine Raters, One Index: Carrying LLM Disagreement into Labour-Market Estimates

英国就业对生成式人工智能的暴露程度如何？开发和应用一个基于任务的指数

Golo Henseke, Rhys Davies, Alan Felstead, Duncan Gallie, Francis Green, Ying Zhou

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文开发了生成式人工智能易感指数（GAISI），通过任务层面的数据衡量英国就业对大语言模型的暴露程度，发现多数岗位有一定程度的AI暴露，但仅有少数岗位高度暴露，且AI暴露对工资溢价的影响有所下降。

Comments 47 pages, 4 figures

Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents

面向规则密集型国家标准文档评审的大语言模型基准测试与增强

Tao Wang, Qihao Yang, Rongjiao Liang, Lianghong Lin, Haitao Wang, Xinyu Cao, Tianyong Hao

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对规则密集型国家标准文档评审推出首个基准GB/T-Bench，提出多智能体框架GB/T-Reviewer，实验显示其大幅缩小了LLM与专家在该任务上的能力差距，为高风险文档领域可信AI奠定基础。

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

EnvACE：通过世界预演内化环境动态以实现智能体强化学习

Zishan Xu, Zhiyuan Yao, Yuxin Chen, Yifu Guo, Zhengxi Lu, Yuquan Lu, Jinyang Huang, Yan Xu, Yasheng Wang, Weinan Zhang, Xingshan Zeng, Weiwen Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Sun Yat-sen University（中山大学） ； Central South University（中南大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent Inc.（腾讯公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出 EnvACE 方法，以世界预演替代外部环境交互训练 LLM 智能体，在多基准测试中性能优于基线，可突破外部环境约束扩展 LLM 智能体训练。

Big, Bright, or Invisible: A Frozen-Feature Benchmark of 3D CT Foundation Models

大的、明亮的还是不可见的：3D CT基础模型的冻结特征基准测试

Maulik Chevli, Johannes Brandt, Rickmer Braren, Daniel Rueckert, Philip Müller

机构 * Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） ； TUM University Hospital（慕尼黑工业大学医院） ； Imperial College London（伦敦帝国理工学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； UKE Hamburg（汉堡大学医院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本研究对10个冻结CT编码器开展基准测试，发现性能主要取决于异常的对比度与空间范围，小型低对比度病变仍是挑战，需区域或病变级预训练。

Leveraging LLM Embeddings for Cross Dataset Label Alignment and Zero Shot Music Emotion Prediction

Renhang Liu, Abhinaba Roy, Dorien Herremans

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Journal ref Proc. of Conference on AI Music Creativity (AIMC) 2026

MameLoshnLM: Yiddish Language Model and Evaluation Benchmark

MameLoshnLM：意第绪语语言模型与评估基准

Uri Katz, Omer Goldman, Tomasz Limisiewicz, Reut Tsarfaty, Noah A. Smith

机构 * Bar-Ilan University（巴伊兰大学） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出首个专为意第绪语构建的开源8B参数语言模型MameLoshnLM，通过自研语料库与基准优化Llama 3.1 8B，其表现优于同规模开源基线，为意第绪语NLP及低资源语言模型开发提供了基础与模板。

Comments Accepted at the Conference on Language Modeling (COLM) 2026

Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents

评估大语言模型的投资逻辑：面向个性化金融智能体的真实世界基准

Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 该研究推出原生过程基准InvestLogicBench，含151位真实投资者的201247项决策，评估发现金融LLMs逻辑合理性高但事件接地性低，指出需以P→E→R→D→O轨迹评估个性化决策智能体。