语言大模型 / LLM

Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports

超越标量分数：探索基于LLM的放射学报告临床意义评估指标

Qingyu Lu, Ruochen Li, Liang Ding, Yufei Xia, Youxiang Zhu, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Technical University of Munich（慕尼黑工业大学） ； Alibaba（阿里巴巴） ； University of Glasgow（格拉斯哥大学） ； University of Massachusetts Boston（马萨诸塞大学波士顿分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对放射学报告评估中临床准确性要求，研究基于LLM的指标区分临床错误与无害变体的能力，发现判别偏差，并通过合成数据训练轻量级指标，在成本敏感部署中优于大型模型。

Comments Under Review

Prompt Perturbation for Reliable LLM Evaluation over Comparison Graphs

用于可靠LLM评估的提示扰动方法：基于比较图

Dong Huang, Jianbo Sun, Pengkun Yang

机构 * Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM成对评估中的传递性矛盾问题，提出提示扰动框架，通过生成扰动变体并过滤结构不一致的比较模式，提高排名一致性。

Comments 42 pages, 8 figures

LLM-as-Judge in Education: A Curriculum-Grounded Marking Pipeline

教育中的LLM作为评判者：基于课程标准的评分流水线

Xiwei Xu, Chen Wang, Jacky Jiang, Phil Yang, Qian Fu, Mohan Dhall, Wenjie Zhang, Liming Zhu

机构 * NSW Department of Education（新南威尔士州教育部） ； South Australian Department for Education（南澳大利亚州教育部） ； OC Selective exam preparation platform（OC精英考试备考平台） ； Studitory: HSC preparation platform（Studitory: HSC备考平台） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种基于课程标准的可配置LLM评判流水线，用于高利害考试评分，通过整合授权课程工件和评分指南，提高评分一致性、透明度和与官方实践的契合度。

LLM-based Visual Code Completion for Aerospace Geometric Design

基于LLM的航空航天几何设计视觉代码补全

Hau Kit Yong, Robert Marsh, Edmar A. Silva, András Sóbester, Stuart E. Middleton

机构 * Faculty of Engineering and Physical Sciences, University of Southampton（南安普顿大学工程与物理科学学院） ； School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于LLM的视觉编程副驾驶系统，结合ReAct方法和GPT 5.4，用于航空航天几何设计，并构建Wingbuilder插件库和AVPD数据集，用户试验表明系统能生成有用建议但推理速度慢。

AgentFairBench: Do LLM Agents Discriminate When They Act?

AgentFairBench: LLM智能体在行动时是否存在歧视？

Triveni Morla, Rohith Reddy Bellibaltu, Manpreet Singh, Manmeet Singh Kapoor

机构 * Florida International University（佛罗里达国际大学） ； Boston University（波士顿大学） ； Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度帕纳吉印度理工学院计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentFairBench基准，通过反事实匹配集和偏差传导框架，评估LLM智能体在招聘、贷款和医疗分诊中的行动公平性，发现统计量级不匹配会夸大歧视，而匹配后Claude Haiku无显著人口统计效应。

Comments Submitted to IEEE Access

Journal ref Under Review (2026)

From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

从不确定判断到校准排名：用于LLM评估的共形Elo估计

Bora Kargi, David Salinas

机构 * ELLIS Institute Tübingen（ELLIS 蒂宾根研究所） ； OpenEuroLLM 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种两层次校准方法，通过局部不确定性传播和全局共形预测，将LLM-as-a-judge的Elo评分误差降至17.9 MAE，并提供无分布假设的置信区间。

MPC-Patch-Bench: Security-Aware LLM Code Patch for Multi-Party Computation

MPC-Patch-Bench：面向多方计算的安全感知LLM代码补丁

Yukuan Zhang, Mengxin Zheng, Qian Lou

机构 * University of Central Florida（中央佛罗里达大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多方计算（MPC）软件缺乏仓库级代码修复基准的问题，提出MPC-Patch-Bench，包含数据筛选框架和MPC验证器，评估LLM在MPC仓库级修复中的安全性和数值保真度。

Comments preprint

Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation

迈向安全的LLM智能体：威胁面、攻击、防御与评估

Yuchen Ling, Shengcheng Yu, Zhenyu Chen, Chunrong Fang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过生命周期、系统导向的框架，综合247篇论文，围绕信息流、委托权限和持久状态，系统梳理了LLM智能体的威胁面、攻击、防御与评估，指出提示注入和工具控制流劫持仍是主要威胁，持久状态损坏和多智能体传播成为新兴关注点。

End-to-End Training for Discrete Token LLM based TTS System

基于离散令牌LLM的文本转语音系统的端到端训练

Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出统一训练语音分词器、LLM、流匹配模型和奖励模型的端到端框架，通过多任务联合优化提升离散令牌TTS性能，在Seed-TTS-Eval上达到新SOTA。

Beyond Agent Architecture: Execution Assumptions and Reproducibility in LLM-Based Trading Systems

超越智能体架构：基于LLM的交易系统中的执行假设与可复现性

Junyi Yao, Zihao Zheng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过审计30项相关研究，发现LLM交易研究中执行假设报告不足，导致结果难以比较，提出需建立执行现实性、可复现性和评估可比性的报告标准。

The Governance of Human-LLM Interaction: Safety Gating, Civility Steering, and Affective Default Lock-In

人类与LLM交互的治理：安全门控、文明引导与情感默认锁定

Manuele Reani, Hongjian Zhang, Hongyu Tian

机构 * School of Management and Economics, The Chinese University of Hong Kong, Shenzhen, China（管理学院与经济学学院，香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过确定性多智能体评估流水线，测量LLM在长程对话中的提示可引导性和风格漂移，提出区分安全门控、文明引导和情感默认锁定的治理框架，揭示提供商对交互形式的控制对多元性、自主性和民主能动性的影响。

SAGE: An LLM-driven Self Reflective Agentic Framework for Fraud Detection

SAGE: 一种LLM驱动的自我反思智能体框架用于欺诈检测

Yichen Chen, Siying Li, Yuhang Liang, Lijun Wang, Renyang Liu

机构 * National University of Singapore（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； China Mobile Communications Group（中国移动通信集团有限公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SAGE，首个端到端LLM驱动的多智能体欺诈检测框架，通过数据诊断树和自然语言梯度优化，在五个数据集上平均F1提升40.86%。

Decoding Naturalistic Emotion Dynamics from the Brain: An LLM-Enhanced Regression Framework

从大脑解码自然情感动态：一种LLM增强的回归框架

Lemei Zhang, Peng Liu, Hans Dahle Kvadsheim, August Sætre Aasvær, Shuer Ye, Reza Bonyadi, Maryam Ziaei, Jon Atle Gulla

机构 * NTNU（挪威科技大学） ； Kavli Institute for Systems Neuroscience, NTNU（挪威科技大学卡弗里系统神经科学研究所） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多目标回归框架，利用LLM从自然叙事中提取连续情感特征，结合动态功能连接和机器学习算法，实现从fMRI数据中解码连续情感轨迹，并揭示可解释的情感特异性脑网络拓扑。

When AI Is Your Pastor: A Benchmark for Theological Triage and Pastoral Guidance in Large Language Models

当AI成为你的牧师：大型语言模型的神学分诊与牧灵指导基准测试

Alex Chao

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究推出FMG-Bench基准测试，评估LLM在基督教神学分诊与牧灵指导场景的表现，发现结构化框架可提升模型表现与鲁棒性，且该基准仅为测量工具。

Comments Full paper. Code and dataset are available at https://github.com/FideAI/fmg-bench and https://huggingface.co/datasets/FideAI/fmg-bench

Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge

Pre-Flight: 评估大型语言模型航空运营知识的基准

Alex Brooker, Tim Hughes

机构 * Airside Labs, London, United Kingdom（Airside Labs，伦敦，英国） ； Mahino Research, Christchurch, New Zealand（Mahino Research，基督城，新西兰） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Pre-Flight基准，包含300道多选题，评估LLM在航空运营知识上的表现，发现最强模型准确率82.7%，低于专家水平的95%，表明领域特定评估的必要性。

Comments 9 pages, 1 figure, 2 tables. Benchmark available in inspect_evals (UKGovernmentBEIS/inspect_evals)

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

跨语言关系抽取与大语言模型：罗马尼亚语的零样本、少样本和微调评估

Dragos-Mitrut Vasile, Elena-Simona Apostol, Stefan-Adrian Toma, Adrian Paschke, Ciprian-Octavian Truica

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 通过自动翻译数据集结合大语言模型推理，研究罗马尼亚语的跨语言关系抽取，评估Gemma 4 31B在零样本、少样本和QLoRA微调下的性能，并与四种编码器基线对比。

Generating Public Health Responses using Survey-Augmented Large Language Models

使用调查增强的大语言模型生成公共卫生响应

Leonardo Marciaga, Thuyen Pham, Julia Rezvani, Alina Hyk, Chunyang Liao, Konstantinos Mitsopoulos, Raffaele Vardavas

机构 * Hawk.illinoistech.edu（伊利诺伊理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 研究利用大语言模型生成合成调查数据，以模拟真实人群在流行病中的健康决策行为，发现合成数据能复现人口统计和信念分布，但难以捕捉因素间的协变关系，不能替代真实调查。

Comments 24 pages, 6 figures

Developing LLM-based Multi-Agent Systems in Software Engineering: A Mixed-Method Experience Report

在软件工程中开发基于大语言模型（LLM）的多智能体系统：一项混合方法经验报告

Mariama Celi Serafim De Oliveira, Motunrayo Osatohanmen Ibiyo, Marco Gianrusso, Claudio Di Sipio, Davide Di Ruscio, Phuong T. Nguyen

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过定量和定性分析，梳理软件工程中基于LLM的MAS现有框架，发现其基本组件覆盖良好但缺高级功能，摘要任务ROUGE分数无显著差异，为相关人员选框架提供指导。

Comments The paper has been peer reviewed and accepted for publication with the Empirical Software Engineering journal

LLM-Assisted Detection and Repair of Hardware Security Vulnerabilities in Verilog Designs

基于Verilog设计的大语言模型辅助硬件安全漏洞检测与修复

Ethen Santana, Gabriel Gyaase, Hao Zheng

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本文提出利用LLM从Verilog硬件设计中识别潜在CWE漏洞的方法，经单模块Verilog数据集迭代评估，证实LLM可增强硬件安全分析，为设计阶段漏洞识别提供自动化可扩展辅助。

Comments 6 Pages, 3 figures, technical report

LLM-Driven Automated Reward Design for Reinforcement Learning-Based Routing in LEO Satellite Networks

面向低轨（LEO）卫星网络中基于强化学习（RL）的路由的大语言模型（LLM）驱动的自动奖励设计

Walter P. Casas, Nelson L. S. da Fonseca, and Carlos A. Astudillo

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LARGE框架结合LLM生成与迭代在环仿真，为LEO卫星网络RL路由自动设计奖励，其性能可与专家基线相当，凸显该优化方法的潜力。

Comments This paper was accepted for publication at the IEEE Global Communications Conference (GLOBECOM 2026)

Structured AI Demonstrations and Student LLM Use in Engineering Mechanics: Study Design and Preliminary Results

工程力学中的结构化AI演示与学生大语言模型（LLM）使用：研究设计与初步结果

Shuang Geng, Helen Lallos-Harrell, Jiya Ashar, Thomas J. McKenna, Annwesa Dasgupta, Caleb Farny, Emma Lejeune

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究针对工程力学课程设计了含九次结构化AI演示的方法论框架，结合调查工具分析学生LLM使用情况，为工程教育应对LLM融入提供实证研究基础。

Comments 47 pages, 10 figures, 9 tables

Guiding Human Validation of LLM-Generated Code via Verifiable Literate Programming

通过可验证的文字编程指导用户验证LLM生成的代码

Ziqi Yuan, Wenhao Lu, Hao Wu, Dunhong Jin, Chuan Wu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出可验证文字编程框架，通过无歧义的自然语言文档作为中间层，结合细粒度不匹配检测和验证模块，帮助用户有效验证LLM生成代码，将pass@1从28.7%-73.2%提升至65.4%-93.5%。

Comments 12 pages

Epic-Organized vs. Requirement-Aligned Gherkin: An Empirical Evaluation of LLM-Based Acceptance Criteria Generation

史诗组织 vs. 需求对齐的 Gherkin：基于 LLM 的验收标准生成的实证评估

Shahbaz Siddeeq, Mateen Abbasi, Jussi Rasku, Zheying Zhang, François Christophe, Tommi Mikkonen, Pekka Abrahamsson

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 研究比较史诗组织与需求对齐的 LLM 生成 Gherkin 验收标准，发现史诗组织在正确性、可执行性和完整性上更优，语义覆盖率相当。

Comments Accepted for publication at the International Conference on Software Engineering of Emerging Technologies (SEET 2026)

A Penny for Your Prompts: Experiments Detecting and Mitigating LLM Usage by Survey Respondents

为提示付费：检测和减轻调查受访者使用LLM的实验

Zane Xu, Nathan Malkin

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过系列实验量化调查中LLM辅助响应的普遍性，发现其频率因平台而异（Prolific低于10%，MTurk超过80%），并测试了禁用复制粘贴等缓解措施，但未能显著提升数据质量。

Comments Published at SOUPS 2026 (Symposium on Usable Privacy and Security)

Mind your key: An Empirical Study of LLM API Credential Leakage in iOS Apps

注意你的密钥：iOS应用中LLM API凭证泄露的实证研究

Pinran Gao, Lingxiang Wang, Yi Liu, Kunpeng Liu, Fan Yang, Ying Zhang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究首次系统调查iOS应用中LLM API密钥泄露问题，通过动态分析框架LLMKeyLens检测444个应用，发现282个存在可被利用的凭证泄露，并识别出三种泄露模式，三个月后仅28%完成修复。

Comments 12 pages, 4 figures, 4 tables

Assessing Language Models for Salient Class Identification

评估语言模型在显著类识别中的表现

Bo Xiong, Chaoran Cai, Kaipeng Xiong, Chong Wang, Peng Liang

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)

AI总结 研究语言模型能否直接从代码提交中识别显著类，无需特征工程或图构建，发现小模型在少样本提示下性能接近大模型，可降低成本和隐私障碍。

Comments 22 pages, 1 images, 8 tables, Manuscript submitted to a Journal (2026)

Lost in Aggregation: A Multi-Scale Diagnostic Benchmark for LLM Spatial Navigation

迷失在聚合中：LLM空间导航的多尺度诊断基准

Yuhan jiang, Peng Luo, Liqiu Meng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出多尺度诊断基准，将迷宫导航分解为局部、节点和全局三个认知层次，评估LLM在空间推理中的失败位置，发现跨尺度聚合是主要瓶颈。

ShellGames: Speculative LLM-Driven SSH Deception

ShellGames: 基于LLM的推测性SSH欺骗

Umberto Salviati, Fabio De Gaspari, Mauro Conti, Luigi Vincenzo Mancini

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM在欺骗系统中缺乏持久状态、输出不一致等问题，提出ShellGames，结合思维链、记忆管理、推测执行等五种技术，在正确性、一致性、状态跟踪和鲁棒性上显著优于基线。

A comparison of human and LLM-simulated participants in a writing style task

人类与LLM模拟参与者在写作风格任务中的比较

Felix Gröner, Erin K. Chiou

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过对比30名人类参与者和GPT-4o模拟参与者在写作风格偏好推断任务中的表现，发现LLM存在偏见和缺乏深度，无法准确模拟人类行为，并强调了人类因素在评估人机交互系统中的重要性。

Comments 37 pages, 10 figures

LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation

LLM 裁判具有暗电流：LLM 作为裁判评估的心理测量数据表

Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda

机构 * Chubu University（中部大学） ； Mitsubishi Heavy Industries, Ltd., Research & Innovation Center（三菱重工业株式会社研究创新中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出裁判数据表协议，通过真空输入、表面变异、位置偏好等指标测量 LLM 裁判的暗电流和偏差，揭示其测量特性。

Comments 22 pages, 4 figures