语言大模型 / LLM

Metric Match: A Subset Selection Approach to Evaluating LLM Judge Reliability

Metric Match：一种评估LLM评判可靠性的子集选择方法

Alyssa Unell, Natalie Dullerud, Naomi Boneh, Meena Jagadeesan, Tatsu Hashimoto, Nigam Shah, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Metric Match方法，通过选择少量样本进行人工标注，以子集匹配总体可靠性指标，从而高效估计LLM评判的可靠性，实验表明在15个数据集上平均估计误差降低18.7%，标注需求减少32.5%。

Scribby: A Multi-Level LLM Framework for Semantic Video Analysis

Scribby: 一种用于语义视频分析的多级LLM框架

Julian Abelarde, Hugo Garrido-Lestache Belinchon

机构 * Department of Computer Science and Software Engineering, Milwaukee School of Engineering（密尔沃基工程学院计算机科学与软件工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种基于LLM的视频摘要框架，通过微观索引（分析完整转录、句子及语义分组）平衡宏观理解与微观语义分析，并利用相关性热图实现语义分块和匹配的可视化。

Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability

多智能体LLM系统中浪费计算资源的早期诊断：基于故障感知的可观测性

Xianyou Li, Weiran Yan, Yichao Wu, Penghao Liang, Mengwei Yuan, Jianan Liu, Jing Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种故障感知的可观测性框架，通过在线轨迹信号诊断多智能体LLM系统中的浪费计算，并在GAIA验证集上评估，揭示不同故障机制及其与资源消耗的关系。

RoSE: Round-robin Synthetic Data Evaluation for Selecting LLM Generators without Human Test Sets

RoSE: 循环合成数据评估，无需人工测试集选择LLM生成器

Jan Cegin, Branislav Pecher, Ivan Srba, Jakub Simko

机构 * Kempelen Institute of Intelligent Technologies（凯姆佩尔智能技术研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出RoSE方法，通过训练小模型在候选生成器输出上，并在其他LLM合成样本上评估，以选择最佳LLM生成器，无需人工测试集，在多个语言和任务中优于其他内在启发式方法。

Comments 16 pages; EACL 2026 Main

LLM4SCREENLIT: Recommendations on Assessing the Performance of Large Language Models for Screening Literature in Systematic Reviews

LLM4SCREENLIT: 关于评估用于系统综述文献筛选的大型语言模型性能的建议

Lech Madeyski, Barbara Kitchenham, Martin Shepperd

机构 * University of Kent（肯特大学） ； University of Leicester（利兹大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLM4SCREENLIT建议，针对系统综述文献筛选中大型语言模型的评估，提出基于加权马修相关系数的改进方法，强调在不平衡和成本不对称条件下使用成本敏感的WMCC进行评估。

Comments 34 pages, 6 figures

Journal ref Information and Software Technology 198 (2026) 108204

Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection

面向软件工具发现的LLM加速快速综述——以日志异常检测为例

Jesse Nyyssölä, Hamza Bin Mazhar, Alexander Bakhtin, Matteo Esposito, Nana Reinikainen, Yuqing Wang, Ying Song, Davide Taibi, Mika Mäntylä

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出一种结合LLM筛选和编码代理的流水线，用于快速识别和运行软件工具，在日志异常检测案例中实现高效综述。

Comments 52nd Euromicro Conference on Software Engineering and Advanced Applications (SEAA) 2026

LLM-Driven Usefulness Judgment for Web Search Evaluation

LLM驱动的网络搜索评估中的有用性判断

Mouly Dewan, Jiqun Liu, Aditya Gautam, Chirag Shah

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出TRUE方法，利用LLM结合用户行为信号评估文档有用性，通过迭代采样和推理建模搜索行为，实验表明LLM能生成中等有用性标签，微调后判断更准确。

Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?

Snyk VulnBench JS 1.0: LLM 能否两次发现相同的漏洞？

Liran Tal, Johannes Kloos, Arsenii Rudich, Stephen Thoemmes, Manoj Nair

机构 * Snyk 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过300次重复漏洞扫描实验，评估LLM在相同JavaScript代码上安全审查的可重复性，发现引用匹配结果稳定但额外报告波动大，建议结合确定性SAST使用。

Comments 12 pages, 9 figures

A Systematic Evaluation of Large Language Models for PTSD Severity Estimation: The Role of Contextual Knowledge and Modeling Strategies

大型语言模型在PTSD严重程度评估中的系统评估：上下文知识与建模策略的作用

Panagiotis Kaliosis, Adithya V Ganesan, Oscar N. E. Kjell, Whitney Ringwald, Scott Feltman, Melissa A. Carr, Dimitris Samaras, Camilo Ruggero, Benjamin J. Luft, Roman Kotov, Andrew H. Schwartz

机构 * Department of Computer Science（计算机科学系） ； Stony Brook University（石溪大学） ； College of Connected Computing（连接计算学院） ； Vanderbilt University（范德比大学） ； Lund University（隆德大学） ； University of Minnesota（明尼苏达大学） ； Stony Brook World Trade Center Wellness Program（石溪世界贸易中心健康计划） ； Renaissance School of Medicine at Stony Brook University（石溪大学复兴医学院） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Department of Psychiatry（精神病学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究系统评估了11种大型语言模型在PTSD严重程度评估中的表现，发现提供详细定义和上下文可提升准确性，增加推理努力可改善估计，并验证了集成策略的有效性。

Comments 24 pages, 5 figures, 5 tables

Creative Collision: Directorial Persona Steering and Competition in Large Language Models

创意碰撞：大型语言模型中的导演人格引导与竞争

Subramanyam Sahoo, Justin Shenk

机构 * AI Safety Camp（AI安全训练营） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究通过叠加两种语义相反的导演人格向量（斯皮尔伯格与斯科塞斯）来引导语言模型生成，发现斯皮尔伯格向量主导道德倾向，中间点提升连贯性，且两者在特定层共享道德基调基底。

Comments Accepted at ICML 2026 Workshop on Human-AI Co-Creativity

UrbanWell: Benchmarking Multimodal Large Language Models for Spatio-Temporal Urban Wellbeing Analytics

UrbanWell: 面向时空城市福祉分析的多模态大语言模型基准测试

Yanxin Xi, Xiang Su, Jie Feng, Yu Liu, Sasu Tarkoma, Pan Hui

机构 * University of Helsinki（赫尔辛基大学） ； Zhongguancun Academy（中关村学院） ； University of Oxford（牛津大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出UrbanWell基准，通过卫星和街景图像联合建模，系统评估多模态大语言模型在环境、空间可达性、城市形态、活力和主观感知等5类城市福祉指标上的时空推理能力，并定义时序预测和趋势分类任务。

Comments accepted by KDD Datasets and Benchmarks Track 2026

Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

利用大语言模型进行讽刺语音标注在讽刺检测中的应用

Zhu Li, Yuqing Zhang, Xiyuan Gao, Shekhar Nayak, Matt Coler

机构 * University of Groningen（Groningen大学） ； Speech Technology Lab（语音技术实验室） ； Center for Language and Cognition（语言与认知中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出利用大语言模型生成讽刺语音数据集，通过人类验证提升标注质量，并在公开数据集上验证了检测性能，最终引入PodSarc数据集，实现了73.63%的F1分数。

Comments Interspeech 2025; Project page: https://github.com/Abel1802/PodSarc

DualGauge: Automated Joint Security-Functionality Benchmarking of Specification-Only Code Generation by LLMs and Coding Agents

DualGauge: 对仅由LLM和编码代理生成的规范代码进行自动化联合安全-功能基准测试

Rupam Patir, Keyan Guo, Suvadra Barua, Abhijeet Pathak, Dinesh Gudimetla, Jiawei Guo, Hongxin Hu, Haipeng Cai

机构 * University at Buffalo, SUNY（布法罗大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出DualGauge框架，首个自动化联合评估规范代码正确性与安全性的系统，通过307个任务基准测试发现功能正确性高估可靠代码生成，联合成功率低于15%，且模型因素和代理系统均无法可靠提升。

Mapping Geopolitical Bias in 11 Large Language Models: A Bilingual, Dual-Framing Analysis of U.S.-China Tensions

映射11个大语言模型中的地缘政治偏见：美中紧张局势的双语、双框架分析

William Guey, Wei Zhang, Pierrick Bougault, Vitor D. de Moura, José O. Gomes

机构 * Department of Industrial Engineering, Tsinghua University（清华大学工业工程系） ； School of Social Sciences, Tsinghua University（清华大学社会科学部） ； Department of Industrial Engineering, Federal University of Rio de Janeiro（里约热内卢联邦大学工业工程系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 通过引入调查心理测量学的平衡键控方法，量化11个模型在2种语言中对美中地缘政治问题的立场，发现开发者起源、查询语言和议题领域是三个近等加性因素，所有模型在中文下更亲华。

Comments 37 pages, 6 main-text figures, 12 supplementary figures, 5 supplementary tables; supplementary information included

GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models

GePBench：评估多模态大语言模型的基础几何感知能力

Shangyu Xing, Changhao Xiang, Yuteng Han, Yifan Yue, Zhen Wu, Xinyu Liu, Zhangtai Wu, Fei Zhao, Xinyu Dai

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出GePBench基准，系统评估多模态大语言模型的几何形状识别与空间关系感知能力，发现现有模型存在显著缺陷，而基于该基准训练可提升下游任务性能。

TimeVista: Exploring and Exploiting Vision-Language Models as Judges for Time Series Forecasting

TimeVista：探索和利用视觉语言模型作为时间序列预测的评判者

Zhi Chen, Yuxuan Wang, Jialong Wu, Yong Liu, Haoran Zhang, Xingjian Su, Jianmin Wang, Mingsheng Long

机构 * School of Software, BNRist, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 提出TimeVista框架，利用视觉语言模型（VLM）作为时间序列预测的评判者，通过微观和宏观判断结合上下文信息评估预测质量，实验表明VLM比传统指标更符合人类偏好。

AgentLeak: A Benchmark for Internal-Channel Privacy Leakage in Multi-Agent LLM Systems

AgentLeak：多智能体大语言模型系统中内部通道隐私泄露的基准测试

Faouzi El Yagoubi, Godwin Badu-Marfo, Ranwa Al Mallah

机构 * Polytechnique Montréal（蒙特利尔理工学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentLeak基准，通过评估内部通道（如智能体间消息、共享内存）的隐私泄露，发现多智能体系统虽降低最终输出泄露，但内部通道使总暴露率达68.9%，远超输出审计的检测范围。

Comments 19 pages, 9 figures, 16 tables. Code and dataset available at https://github.com/Privatris/AgentLeak

LATS-RCA: Language Agent Tree Search for Root Cause Analysis in Microservices

LATS-RCA：面向微服务根因分析的语言智能体树搜索

Alexander Naakka, Yuqing Wang, Mika V Mäntylä

专题命中 评测与基准 ：language agent(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LATS-RCA方法，将根因分析建模为反射引导的树结构搜索，通过多智能体迭代分析日志和指标，在微服务系统中实现91.3%的诊断准确率，并验证了模型无关性。

Comments Accepted at the 52nd Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2026)

Data-Centric Benchmarking of Exploit Generation in LLMs: Understanding the Impact of Fine-Tuning

数据为中心的LLM漏洞利用生成基准测试：理解微调的影响

Yiwei Chen, Lichi Li, Kai Cheung, Vinny Parla, Ganesh Sundaram

机构 * Cisco Systems, Inc.（思科系统公司） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 采用数据驱动方法，构建高质量数据集并设计评估框架，对17个大语言模型进行零样本漏洞利用生成能力基准测试，发现8B开源模型经微调后性能提升超42.5%，接近部分商业模型。

Comments Technical Report

ReportQA: QA-Based Radiology Report Evaluation

ReportQA: 基于问答的放射学报告评估

Yiming Shi, Shaoshuai Yang, Xi Chen, Haolin Li, Hengyu Zhang, Che Jiang, Kaiwen Wang, Xun Zhu, Dong Xie, Fei Wang, Dejing Dou, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； Beijing Electronic Digital & Intelligence（北京电子数字与智能） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ReportQA框架，利用知识树和LLM从报告中提取结构化信息生成QA对，以问答准确率作为评估指标，比现有指标更符合放射科医生判断。

When Do We Need LLMs? A Diagnostic for Language-Driven Bandits

何时需要大语言模型？语言驱动型老虎机的诊断方法

Uljad Berdica, Fernando Acero, Anton Ipsen, Parisa Zehtabi, Michael Cashmore, Manuela Veloso

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LLMP-UCB算法从LLM中获取不确定性估计，实验表明轻量数值老虎机在文本嵌入上匹配或超越LLM方案且成本更低，并给出基于臂嵌入的几何诊断指导何时使用LLM。

Comments The Reinforcement Learning Conference, 2026

CLASE: A Hybrid Method for Chinese Legalese Stylistic Evaluation

CLASE：一种中文法律文本风格评估的混合方法

Yiran Rex Ma, Yuxiao Ye, Huiyuan Xie

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出CLASE混合方法，通过结合语言特征和经验指导的LLM评估，提升法律文本风格质量，实验表明其比传统方法更符合人类判断。

Comments Accepted at LREC 2026

From ASR to ASP: Evaluating Prompt Attack Vulnerabilities Against Open-Source LLMs

从ASR到ASP：评估针对开源大语言模型的提示攻击漏洞

Jiawen Wang, Pritha Gupta, Ivan Habernal, Eyke Hüllermeier, Xiaoxue Gao, Nancy F. Chen

机构 * LMU Munich（慕尼黑莱茵恩大学） ； RUB Bochum（波恩鲁姆大学） ； MCML ； A*STAR（新加坡科技研究局） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出攻击成功概率（ASP）指标，评估14个开源和3个闭源LLM对提示注入攻击的脆弱性，发现催眠攻击可达约90% ASP，忽略前缀攻击可突破所有开源模型。

Comments 8 pages, 2 figures, EMNLP 2026 under review

AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

AttackonCTF: 在LLM时代捍卫硬件安全竞赛基准

Mohamadreza Rostami, Nikhilesh Singh, Stephen Muttathil, Lichao Wu, Chen Chen, Huimin Li, Jeyavijayan Rajendran, Ahmad-Reza Sadeghi

专题命中 评测与基准 ：LLM(title_cn,summary_cn)

AI总结 针对LLM利用语法比较破解硬件安全竞赛基准的问题，提出首个面向LLM的语义保持混淆框架，将检测准确率降低78.6%，恢复基准可靠性。

Progressive Knowledge-Guided Large Language Model Framework for Bearing Fault Diagnosis

渐进式知识引导的大型语言模型框架用于轴承故障诊断

Jinghan Wang, Gaoliang Peng, Yanjun Chen, Wei Zhang, Wentao Wu, Tianchen Liu

机构 * Harbin Institute of Technology, China（哈尔滨工业大学，中国） ； Eastern Institute of Technology, China（东方技术研究所，中国） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 提出渐进式物理引导多尺度振动信号处理框架，通过81维测量描述符、故障自适应分割和隐式知识编码，在四个数据集上实现98.49%诊断精度并降低12.6倍计算成本。

FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection

FraudSMSWalker: 用于短信到网页欺诈检测的智能体大语言模型基准测试

Y. H. Zhou, Z. M. Ma, Y. J. Zhou, Y. T. Li, H. X. Xiang, Y. M. Cheng, T. L. Chen, K. J. Zhang, Z. H. Nan, J. H. Ni, Z. Wu, Q. Y. Pan, S. Zhang, S. Cheng, M. Y. Luo

机构 * Baimaohui（白猫汇） ； PPSUC（中国人民公安大学） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 提出FraudSMSWalker基准，通过屏蔽URL的短信-网页对评估智能体大语言模型在跨渠道欺诈检测中的证据推理能力，发现模型能检测可疑线索但难以保持良性召回。

Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs

谁在翻盘？自我与跨模型反论证揭示LLM中的答案不稳定性

Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； LMU Munich（慕尼黑大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种评估大语言模型答案稳定性的协议，通过生成反论证挑战正确回答，发现翻转率在17.5%到97.3%之间，且自我归因和跨模型论证显著影响稳定性。

Comments Accepted to the non-archival workshops AI4Good and AIWILD at ICML 2026

Combining Retrieval-Augmented Text Generation with LLMs for Reading Content Recommendations

结合检索增强文本生成与大型语言模型的阅读内容推荐

Sooyeon Kim, Piotr S. Maciąg

机构 * Institute of Computer Science, Warsaw University of Technology（计算机科学学院，华沙技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出结合检索增强生成（RAG）与大型语言模型的系统，通过四个模块实现个性化阅读内容生成，实验表明RAG将相关性和接地性提升26-35个百分点。

AI-Driven Test Case Generation from Natural Language Requirements: A Survey of Techniques and Research Gaps

AI驱动的自然语言需求测试用例生成：技术与研究空白综述

Orimoloye Folorunsho, Hassan Reza

机构 * School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 综述AI、NLP和LLM从自然语言需求生成测试用例的技术，指出当前方法无法同时满足自动化、歧义处理等六个质量维度，提出四个研究方向。

Comments 22 pages, 7 figures, 4 tables

Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework

AI中涌现的策略推理风险：基于分类法的评估框架

Tharindu Kumarage, Lisa Bauer, Yao Ma, Dan Rosen, Yashasvi Raghavendra Guduri, Anna Rumshisky, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris

机构 * Amazon Nova Responsible AI（亚马逊诺瓦负责任人工智能） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ESRRSim框架，基于7类20子类的风险分类法，通过双评估标准自动评估LLM的策略推理风险，发现检测率在14.45%-72.72%之间，且模型代际提升显著。