语言大模型 / LLM

UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Tasks

UtilityMax Prompting：多目标大语言模型任务的形式化框架

Ofir Marom

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：prompting(title,title_cn)；LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 提出UtilityMax Prompting框架，用影响图和期望效用最大化将多目标LLM任务形式化，在MovieLens 1M数据集上相比自然语言基线提升了精度和NDCG。

An Empirical Evaluation of LLM-Generated Code Security Across Prompting Methods

LLM生成代码安全性的提示方法实证评估

Mohammed Kharma, Ahmed Sabbah, Mohammad Alkhanafseh, Mohammad Hammoudeh, David Mohaisen

机构 * Department of Computer Science, Birzeit University（计算机科学系，巴勒斯坦比泽大学） ； King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过跨5个LLM和4种编程语言的实证评估，提出弱点感知零样本链式思考（WA-0CoT）提示策略，发现提示方法虽影响弱点类别分布，但无法显著降低漏洞频率或密度。

Comments 40 pages, 22 tables, 8 figures

Causal methods for LLM development and evaluation

因果方法在LLM开发与评估中的应用

Dennis Frauen, Marie Brockschmidt, Konstantin Hess, Haorui Ma, Yuchen Ma, Abdurahman Maarouf, Maresa Schröder, Jonas Schweisthal, Yuxin Wang, Athiya Deviyani, Sonali Parbhoo, Rahul G. Krishnan, Stefan Feuerriegel

机构 * Imperial College London（帝国理工学院伦敦分校） ； University of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出因果方法可解决LLM开发与评估中的关键因果问题，并系统梳理其在预训练、对齐、路由等环节的应用机会。

Comments Published in KDD 2026

Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges

忠实还是捏造？LLM 评判中合理化偏差的因果框架

Riya Tapwal, Abhishek Kumar, Carsten Maple

机构 * School of Computing and Electrical Engineering（计算与电子工程学院） ； Indian Institute of Technology (IIT) Mandi（印度理工学院（IIT）曼迪） ； London U.K.（伦敦英国） ； Warwick Manufacturing Group U.K.（沃里克制造集团英国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出因果框架研究 LLM 评判者对非证据线索的依赖，通过线索干预和锚定度量揭示其合理化偏差，并验证证据锁定策略的有效性。

Large Language Model Selection with Limited Annotations

有限标注下的大语言模型选择

Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

机构 * TU Delft（代尔夫特理工大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出SELECT-LLM框架，通过基于期望信息增益的查询选择规则，在有限标注下高效识别最佳大语言模型，显著降低标注成本。

Comments 33 pages, 5 figures, 4 tables

CyberMaskQA: A Privacy-Aware Benchmark for Evaluating Large Language Models in Cybersecurity Question Answering

CyberMaskQA: 一个用于评估大语言模型在网络安全问答中隐私意识的基准

Matilda Gaddi, Jin Noh, Onat Gungor, Tajana Rosing

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California, San Diego (UCSD)（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对现有基准缺乏隐私保护评估的问题，提出CyberMaskQA基准，通过结合人工场景与LLM语义扩展生成带隐私标签的数据集，以评估模型在网络安全问答中的推理与隐私保护能力。

From Prompt Optimization to Multi-Dimensional Credibility Evaluation: Enhancing Trustworthiness of Chinese LLM-Generated Liver MRI Reports -- with Preliminary Extension to Lung Cancer

从提示优化到多维可信度评估：增强中文LLM生成的肝脏MRI报告的可信度——初步扩展至肺癌

Qiuli Wang, Xinhuang Sun, Yonglin Chen, Jie Cheng, Yongxu Liu, Xingpeng Zhang, Xiaoming Li, Wei Chen

机构 * Yu-Yue Pathology Research Center, Jinfeng Laboratory, Chongqing, China（渝粤病理研究所，金风实验室，重庆，中国） ； T Magnetic Resonance Imaging Translational Medical Center, Department of Radiology, Southwest Hospital, Army Medical University, Chongqing, China（7T磁共振成像转化医学中心，放射科，西南医院，中国人民解放军军医大学，重庆，中国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出多维可信度评估（MDCA）框架，并指导机构特定提示优化，以增强LLM生成的肝脏MRI报告的可信度，初步扩展至肺癌。

Comments 10 pages, 6 figures, 4 tables

Empirical Analysis and Detection of Hallucinations in LLM-Generated Bug Report Summaries

LLM生成的错误报告摘要中幻觉的经验分析与检测

Hinduja Nirujan, Shreyas Patil, Abdallah Ayoub, Ahmad Abdel Latif, Gouri Ginde

机构 * Electrical and Software Engineering（电气与软件工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究从章节感知角度经验性地调查了LLM生成的错误报告摘要中的幻觉，提出了联合预测幻觉内容、识别受影响章节和分类幻觉类型的检测方法，并在BugsRepo数据集上取得了良好性能。

When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents

当手册撒谎：评估LLM智能体MCP投毒攻击的现实基准

Shi Liu, Xuehai Tang, Xikang Yang, Liang Lin, Biyu Zhou, Wenjie Xiao, Wantao Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM智能体通过模型上下文协议（MCP）集成外部工具时面临的工具描述投毒（TDP）攻击，提出MCP-TDP安全基准，包含32个真实测试用例，评估8种主流LLM发现严重漏洞，并提出反应性自我纠正防御机制。

SODE: Analyzing Social Dynamics in LLM Agents

SODE：分析LLM智能体中的社会动态

Inseo Jung, Yoonseok Oh, Kyungryul Back, Jinkyu Kim, Jungbeom Lee

机构 * Department of Computer Science, Korea University（韩国大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SODE框架，通过直接互惠、间接互惠和群体动态三个进化维度评估LLM智能体的社会行为，发现指令调优模型存在被动顺从问题，推理模型则因短视优化破坏长期合作，并展示长期框架可激发推理模型的互惠能力。

SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors

SURGE: 大型语言模型作为通用代理代码执行器的潜力

Bohan Lyu, Siqiao Huang, Zichen Liang

机构 * Department of Computer Science and Technology, Tsinghua（清华大学计算机科学与技术系） ； Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua（清华大学交叉信息研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出SURGE基准，包含1160个问题覆盖8个关键方面，通过评估21个开源和专有LLM，研究其作为代码执行预测代理模型的可行性、扩展律、数据效率和预测准确性。

Journal ref Proceedings of The 2025 Conference on Empirical Methods in Natural Language Processing

LLM-as-a-Judge in Healthcare: A Scoping Analysis of Applications, Methods, and Human Alignment

LLM-as-a-Judge 在医疗保健中的应用：应用、方法和人类一致性的范围分析

Lingyao Li, Deyi Li, Chen Chen, Renkai Ma, Runlong Yu, Mingquan Lin, Rui Yin, Lizhou Fan, Cathy Shyr, Siyuan Ma, Mei Liu, Steven Bethard

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过PRISMA指导的系统综述，分析了LLM-as-a-Judge在医疗保健中的应用场景、技术配置和与人类专家判断的一致性，发现其在临床决策支持、自然语言处理等领域有广泛应用，但可靠性因任务而异。

Safe-Child-LLM: A Developmental Benchmark for Evaluating LLM Safety in Child-LLM Interactions

Safe-Child-LLM：评估儿童与LLM交互安全性的发展基准

Junfeng Jiao, Saleh Afroogh, Kevin Chen, Abhejay Murali, David Atkinson, Amit Dhurandhar

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Safe-Child-LLM基准，通过200个对抗性提示和伦理拒绝量表，系统评估LLM在儿童（7-12岁）和青少年（13-17岁）交互中的安全性，发现主流模型存在严重安全缺陷。

Beyond Summaries: Structure-Aware Labeling of Code Changes with Large Language Models

超越摘要：基于结构感知的代码变更标注与大型语言模型

Bar Weiss, Antonio Abu-Nassar, Adi Sosnovich, Karen Yorav

机构 * Viterbi Faculty of Electrical and Computer Engineering（电气与计算机工程学院） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 提出两阶段流水线，利用大型语言模型对代码补丁中的变更进行基于分类的标注，捕获结构关系和语义属性，以提升代码审查效率。

Comments 13 pages, 6 figures

A Multi-Agent LLM Framework for Rating the Quality of Surgical Feedback

用于评估手术反馈质量的多智能体LLM框架

Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung

机构 * Computing + Mathematical Sciences, California Institute of Technology（加州理工学院计算与数学科学系） ； Department of Urology, Cedars-Sinai（塞斯医疗中心泌尿科） ； Keck School of Medicine, University of Southern California（美国南加州大学凯克医学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个两阶段LLM框架，通过多智能体提示和手术领域知识注入发现可解释的反馈质量标准，并利用LLM作为评判者自动评分，在预测反馈有效性上优于先前方法。

Comments 25 pages, 3 figures

Automated Detection and Classification of Delusion-related Content in Naturalistic Audio Diaries Using Multi-Agent Language Models

使用多智能体语言模型自动检测和分类自然音频日记中的妄想相关内容

Feng Chen, Justin Tauscher, Changye Li, Meliha Yetisgen, Alex Cohen, Adam Kuczynski, Angelina Pei-Tzu Tsai, Benjamin Buck, Dror Ben-Zeev, Trevor Cohen

机构 * Department of Biomedical Informatics and Medical Education, University of Washington, Seattle, WA, USA（生物医学信息学与医学教育系，华盛顿大学，西雅图，华盛顿州，美国） ； Department of Psychiatry and Behavioral Sciences, University of Washington, Seattle, WA, USA（精神病学与行为科学系，华盛顿大学，西雅图，华盛顿州，美国） ； Department of Psychology, Louisiana State University, Baton Rouge, LA, USA（心理学系，路易斯安那州立大学，巴吞鲁日，路易斯安那州，美国） ； Department of Psychiatry, University of North Carolina at Chapel Hill, Chapel Hill, NC, USA（精神病学系，北卡罗来纳大学教堂山分校，教堂山，北卡罗来纳州，美国） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；foundation model(abstract)

AI总结 提出一种多智能体LLM流水线，从自然音频日记中自动检测和分类妄想信念、情感和行为反应，通过多数投票实现稳健性能。

Comments Accepted by CLPych 2026

QUIET: A Multi-Blank Cascaded Story Cloze Benchmark for LLM Creative Generation Capability

QUIET: 面向LLM创意生成能力的多空白级联故事完形填空基准

Bo Zou, Chao Xu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出QUIET基准，通过多空白级联故事完形填空和基于信息论的自动评分协议，客观评估大语言模型的创意生成能力。

A Tertiary Review of Large Language Model-Based Code Generating Tasks: Trends, Challenges, and Future Directions

基于大语言模型的代码生成任务的三级综述：趋势、挑战与未来方向

Muslim Chochlov, Michael English, Jim Buckley

机构 * University of Limerick（利默里克大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本三级综述综合了30篇二级研究（2017-2025年），分析了基于大语言模型的代码生成任务在出版趋势、效果、场景、集成挑战和未来方向上的证据，发现基准测试准确率高但泛化性弱，鲁棒性脆弱，效率问题普遍，毒性和偏见报告不足，主要挑战涉及经济可行性、评估有效性和社会技术集成。

When Symptoms Are Not Enough: Evidence-Weighting Patterns in Large Language Model Psychiatric Screening

当症状不足时：大语言模型精神科筛查中的证据加权模式

Jianfeng Zhu, Megan Korhummel, Ruoming Jin, Karin G. Coifman

机构 * Departments of Computer Science1 and Psychological Science2（计算机科学系和心理学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；prompting(abstract)

AI总结 本研究引入SCID锚定基准，评估五个大语言模型在精神科筛查中的表现，发现模型在焦虑症、抑郁症和创伤后应激障碍分类中，当存在功能保留或保护性背景时倾向于低估症状证据，导致假阴性错误。

Comments 25 pages 7 figures

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

重复序列揭示大语言模型与自然语言之间的差距

Kumiko Tanaka-Ishii

机构 * Waseda University（早稻田大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 通过分析重复子序列的分布及其与高阶Rényi熵的关系，提出一种评估大语言模型生成文本长程统计组织的框架，发现GPT生成文本在熵增长模式上与自然语言存在系统性差异。

Comments ACL 2026

How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework

大型语言模型在评估中作弊了多少？基于一次性密码本的框架下的高估基准测试

Zi Liang, Liantong Yu, Shiyu Zhang, Qingqing Ye, Haibo Hu

机构 * Tech Startups（科技初创公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对大型语言模型在公开基准测试中因数据污染或训练偏差导致评估结果虚高的问题，提出基于一次性密码本加密思想的动态评估框架ArxivRoll，包含自动生成私有测试用例的SCP模块和衡量污染与偏差比例的Rugged Scores指标，实现可重复、透明且高效的评估。

Comments This paper has been accepted by AAAI 2026. We update it for adding new evaluation results for ArxivRollBench-2025a and ArxivRollBench-2026a, with the evaluation of timly models like DeepSeekV4Pro, GPT-5.5, Claude-Opus-4.7, and so on. Source code: https://github.com/liangzid/ArxivRoll/ Online Leaderboard Website: https://arxivroll.moreoverai.com/

WhoSaidIt: Human-LLM Collaborative Annotation for Text-Based Multilingual Speaker-Attribute Classification

WhoSaidIt：面向文本的多语言说话人属性分类的人机协作标注

Lingyu Gao, Will Monroe, David Smith, Meghan Jemison, Jackie Lee

机构 * Duolingo 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种人机协作重标注框架，通过迭代交互和分歧采样稳定多语言说话人属性标签，构建WhoSaidIt数据集并评估LLM性能。

Comments 16 pages in total

LLM-as-a-Reviewer: Benchmarking Their Ability, Divergence, and Prompt Injection Resistance as Paper Reviewers

LLM-as-a-Reviewer: 基准测试它们作为论文审稿人的能力、分歧和提示注入抵抗性

Lingyao Li, Junjie Xiong, Changjia Zhu, Runlong Yu, Chen Chen, Junyu Wang, Renkai Ma, Zhicong Lu

机构 * University of South Florida（佛罗里达南大学） ； Missouri University of Science and Technology（密苏里科技大学） ； University of Alabama（阿拉巴马大学） ； Florida International University（佛罗里达国际大学） ； University of Cincinnati（辛辛那提大学） ； George Mason University（乔治·梅森大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过一个系统基准测试，评估了12个大型语言模型在论文评审中的表现，包括评分校准、与人类审稿人的分歧以及对不可见字体映射攻击的抵抗性，发现LLMs存在系统性高估弱论文、与人类关注点不同以及易受提示注入攻击等问题。

Specification-Based Code-Text-Code Reengineering for LLM-Mediated Software Evolution

基于规约的代码-文本-代码重构：面向LLM介导的软件演化

Oleg Grynets, Vasyl Lyashkevych, Arsen Dolichnyi, Roman Piznak, Taras Zelenyy, Volodymyr Morozov

机构 * EPAM Systems（EPAM系统） ； McLean, Virginia, USA（美国弗吉尼亚州麦莱恩） ； Lviv, Ukraine（乌克兰利沃夫） ； Kyiv, Ukraine（乌克兰基辅） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种基于规约的Code2Text2Code重构框架，通过将源代码转换为中性文本规约并迭代验证，解决直接Code2Code转换中的语义漂移、行为变化等问题，实现受控的LLM介导软件演化。

Comments 15 pages, 9 figures, 7 tables, 39 references

Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation

量化翻译错误对多语言大语言模型评估的影响

Klaudia-Doris Thellmann, Bernhard Stadler, Michael Färber, Jens Lehmann

机构 * TUD Dresden University of Technology and ScaDS.AI（德累斯顿技术大学和ScaDS.AI） ； InfAI e.V.（InfAI协会） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究机器翻译基准中的翻译错误如何影响多语言LLM评估的可靠性，通过自动错误跨度检测和准确性下降分析揭示翻译错误与评估指标之间的关联。

Schema-Grounded LLM Extraction for FHIR Patient Digital Twins

基于Schema的LLM抽取用于FHIR患者数字孪生

Rafael Brens, Yuqiao Meng, Luoxi Tang, Zhaohan Xi

机构 * Binghamton University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出SG-LLM方法，通过检索增强、JSON Schema约束和验证器修复循环，从非结构化EHR中生成有效的FHIR Bundle，并在临床效用实验中优于基线。

BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting

BacktestBench：面向自动化量化策略回测的大语言模型基准测试

Zhensheng Wang, Wenmian Yang, Qingtai Wu, Lequan Ma, Yiquan Zhang, Weijia Jia

机构 * Beijing Normal University（北京师范大学） ； Elmleaf Ltd.（Elmleaf公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出首个大规模自动化量化回测基准BacktestBench，包含18,246个问答对，并设计多智能体基线AutoBacktest，通过协调摘要器、检索器和编码器实现自然语言策略到可重复回测的转换。

Comments This paper has been accepted by KDD 2026 (Datasets and Benchmarks Track)

Reframing LLM Agent Security as an Agent-Human Interaction Problem

将LLM智能体安全重新定义为智能体-人类交互问题

Peiran Wang, Ying Li, Yuan Tian

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文通过系统分析59篇学术论文、21个生产智能体系统和26个安全插件，论证LLM智能体安全本质上是智能体-人类交互问题，而非纯算法问题，并提出了三方向研究议程。

Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Simulation-Based Training

Prompt-and-Check：使用大型语言模型评估基于模拟训练中的通信协议合规性

Vishakha Lall, Yisi Liu

机构 * Centre of Excellence in Maritime Safety（海上安全卓越中心） ； Singapore Polytechnic（新加坡理工学院） ； Singapore（新加坡） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 提出Prompt-and-Check方法，利用开源大语言模型通过上下文丰富的提示评估模拟训练中通信协议的合规性，并在海事领域案例中验证其有效性。

All Leaks Count, Some Count More: Interpretable Temporal Contamination Detection and Mitigation in LLM Backtesting

所有泄漏都重要，有些泄漏更重要：LLM回测中可解释的时间污染检测与缓解

Zeyu Zhang, Ryan Chen, Bradly C. Stadie

机构 * Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学） ； Bridgewater AIA Labs（布里奇沃特AIA实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出基于Shapley值的声明级评估框架Shapley-DCLR和推理时架构TimeSPEC，用于检测和缓解LLM回测中的时间污染问题。

Comments 8 pages plus appendix