语言大模型 / LLM

Diagnosing LLM Judge Reliability: Conformal Prediction Sets and Transitivity Violations

LLM评判可靠性诊断：符合预测集与传递性违反

Manan Gupta, Dhruv Kumar

机构 * BITS Pilani, Pilani Campus, India（比斯理工学院，帕利尼校区，印度） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SummEval中诊断LLM评判可靠性的双管工具，通过传递性分析和分割符合预测集揭示文档不一致性及评判可靠性，发现相关性比其他标准更可靠。

Comments Under Review

UTI-LLM: A Personalized Articulatory-Speech Therapy Assistance System Based on Multimodal Large Language Model

Yudong Yang, Xiaokang Liu, Shaofeng zhao, Rongfeng Su, Nan Yan, Lan Wang

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China（深圳先进技术研究院，中国科学院，中国） ； Key Laboratory of Biomedical Imaging Science and System, Chinese Academy of Sciences, China（生物医学成像科学与系统重点实验室，中国科学院，中国） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(title)

Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning

Jun Zhuang, Casey Kennington

专题命中 评测与基准 ：language model(title,abstract)；large language model(title,abstract)；LLM(abstract,comments)；分类 cs.CL、cs.AI、cs.LG

Comments TL;DR: We collected metadata about LLM surveys and developed a method for categorizing them into a taxonomy, indicating the superiority of graph representation learning over language models and revealing the efficacy of fine-tuning using weak labels

Prompting Large Language Models to Reformulate Queries for Moment Localization

Wenfeng Yan, Shaoxiang Chen, Zuxuan Wu, Yu-Gang Jiang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)

Comments 4 pages, 2 figures

Auxiliary uncertainty signals for LLM-assisted systematic review screening: a benchmark across eight Cohen drug-class reviews

用于大语言模型辅助系统评价筛选的辅助不确定性信号：八项Cohen药物分类综述的基准测试

Arya Rahgozar, Pouria Mortezaagha

机构 * University of Ottawa（渥太华大学） ； Ottawa Hospital Research Institute（渥太华医院研究所） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对LLM辅助系统评价筛选的不确定性问题，提出BERT+GCN辅助分类器的不确定性信号，在8个Cohen药物分类数据集上验证了提示策略的效率，发现仅弃权路由为帕累托最优且LLM无法自我分类。

Comments 27 pages, 7 figures, 10 tables. Code, prompts, and cached LLM responses at this https URL (https://github.com/rahgoar/LR-Spectral-BERTGCN-Topological-Undecidability-in-Clinical-AI)

LLM within MCP Matters: Measuring Inefficient Resource Utilization Driven by LLMs

MCP中的大语言模型很重要：测量由大语言模型驱动的低效资源利用

Minhan Cho, Soyoung Park, Kihyeon Jeong, Byeongkyu Jeon, Daejin Choi, Jinyoung Han

机构 * Sungkyunkwan University（成均馆大学） ； National Assembly Research Service（国会研究服务处） ； AlphaBridge（阿尔法桥公司） ； Ewha Womans University（梨花女子大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对24个LLM开展54000次试验，发现MCP中服务器嵌入的参考数据会因LLM偏好导致低效资源利用，提出需将服务器指令置于客户端LLM工具选择之前的改进方向。

Comments 4 pages, 1 table. Accepted at the AgentSearch Workshop at SIGIR 2026, Melbourne, Australia (non-archival). Code and data: https://github.com/rabqatab/llm-in-mcp-matters

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

CircuitLM: A Multi-Agent LLM-Aided Design Framework for Generating Circuit Schematics from Natural Language Prompts

CircuitLM: 一种基于多智能体的大语言模型辅助设计框架，用于从自然语言提示生成电路原理图

Khandakar Shakib Al Hasan, Syed Rifat Raiyan, Hasin Mahtab Alvee, Wahid Sadik

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Department of Electrical and Electronic Engineering（电气与电子工程系） ； Islamic University of Technology（伊斯兰技术大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CircuitLM多智能体流水线，通过嵌入驱动的组件知识库和五阶段流程，将自然语言提示转化为结构化的CircuitJSON原理图，并采用确定性电气规则检查和LLM作为评判的元评估器双重验证，解决大语言模型在电路设计中的幻觉和物理约束问题。

Comments Accepted at the 2026 IEEE International Conference on LLM-Aided Design (ICLAD), 10 pages, 8 figures, 6 tables

S-Bus: Automatic Read-Set Reconstruction for Multi-Agent LLM State Coordination

S-Bus: 多智能体LLM状态协调的自动读集重建

Sajjad Khan

机构 * Sajjad Khan 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出S-Bus中间件，通过服务端DeliveryLog机制在提交时从HTTP GET流量中重建每个智能体的读集，实现可观测读隔离（ORI）一致性，防止专用分片拓扑中的结构性竞态条件，并通过形式化证明和实验验证其安全性。

Comments v2: LLM judge validated against human annotator (Zahid Hussain, Mindgigs Peshawar) on PH-3 at strict kappa=0.93 (n=93, 96.8% agreement); over-claim refined to 32% (LLM) / 49% (human). Adds Exp.PG-Comparison Rust-Native and Workload-B chi2=1094.98. 24 pages, 23 tables. Annotation data attached as arXiv ancillary files

Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap

Xingyu Wu, Sheng-hao Wu, Jibin Wu, Liang Feng, Kay Chen Tan

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,comments)；分类 cs.CL、cs.AI

Comments evolutionary algorithm (EA), large language model (LLM), optimization problem, prompt engineering, algorithm generation, neural architecture search

ACTS-SQL: Agentic and Critic-Oriented Tree-Structured SQL Correctness with Large Language Models

ACTS-SQL：基于大型语言模型的面向智能体与评判器的树结构化SQL正确性校验

Xinmei Huang, Jie Song, Peng Li, Fuxin Jiang, Jing Zhang, Tieying Zhang, Jianjun Chen, Chenming Liu, Tao Yang, Maoyin Liu, Wenda Li, Hong Chen, Cuiping Li

机构 * Renmin University of China（中国人民大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出无训练框架ACTS-SQL，将SQL修正建模为计划引导的树结构化调试过程，集成执行校验与诊断工具，在BIRD-Critic基准及火山引擎TLS生产环境中均实现显著准确率提升。

Automating the Detection of Requirement Dependencies Using Large Language Models

利用大语言模型自动化检测需求依赖

Ikram Darif, Feifei Niu, Manel Abdellatif, Lionel C. Briand, Ramesh S., Arun Adiththan

机构 * University of Ottawa（渥太华大学） ； École de technologie supérieure（超技术学院） ； Research Ireland Lero Centre for Software Research（爱尔兰Lero软件研究中心） ； University of Limerick（利默里克大学） ； General Motors（通用汽车公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出LEREDD，一种基于大语言模型的自动化需求依赖检测方法，利用RAG和ICL技术，实现高准确率的依赖分类和细粒度依赖检测。

Can Language Models Understand mmWave Data? Benchmarking Large Language Models for mmWave Radar-Based Human Understanding

语言模型能否理解毫米波数据？基于毫米波雷达的人类理解任务对大语言模型进行基准测试

Jeongwan Shin, Jaehyeon Kim, Donguk Ko, Jaeho Choi

机构 * DGIST（大邱庆北科学技术院） ； KAIST（韩国科学技术院） ； InnoCORE LLM 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对毫米波数据与大语言模型融合的研究空白，构建首个毫米波人类感知基准mmWave-QA，评估LLMs在该任务上的零样本推理潜力与视觉退化下的鲁棒性，为相关研究奠定基础。

Comments Accepted to CVPR 2026 Findings

LUNAR: Benchmarking Personalized Large Language Models on UNiversal User BehAvioR Logs

LUNAR：基于通用用户行为日志的个性化大语言模型基准测试

Jiahao Zhang, Yongzhi Tong, Zelin Fu, Pengde Zhao, Yanmei Jiang, Feng Jiang, Min Yang

机构 * Shenzhen University of Advanced Technology（深圳理工大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 该研究推出首个基于衣食住行等通用领域用户行为日志的LUNAR基准，经实验揭示LLM个性化的关键影响因素，为个性化LLM的发展指明了方向。

Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement

大型语言模型中的数字能力：基本局限与改进路径

Aoxin Ni

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本研究针对LLMs在基础数值任务中的不可靠性，提出数值基础框架（NGF）并结合三大基准评估前沿模型，给出改进数值能力的部署建议与研究方向。

MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models

MOSAIC：揭示大型语言模型的道德、社会和个体维度

Erica Coppolillo, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Calabria and ICAR-CNR（卡利亚里大学和ICAR-CNR） ； Thomas Lord Department of Computer Science（托马斯·劳德计算机科学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 MOSAIC首次提出评估大型语言模型道德、社会和个体维度的综合基准测试，通过九个问卷和四个游戏全面考察伦理推理能力，揭示MFT的局限性。

Who Verifies the Benchmark? Decentralizing Trust in Large Language Model Evaluation

谁来验证基准？去中心化大语言模型评估中的信任问题

Sahil Pardasani, Madhusudan Singh

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 针对LLM基准测试的信任问题，该研究分析7种验证模型的身份感知偏差，提出基于区块链的提交-披露协议以实现去中心化、可验证的LLM评估。

Comments Accepted to International Conference on Quantum Enhanced AI and Secure Computing (QASC2026)

Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation

大语言模型中的评论赞誉导向：来自电影偏好诱导的证据

Jonghyun Jee, Aaron Shaw

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究以8种大语言模型为对象，通过200部电影的基准测试，发现模型普遍呈现评论赞誉导向，该导向随模型规模增强，且提示框架会影响评价排名。

Comments 12 pages, 2 figures, accepted to AIES 2026

Plausible Patients, Impossible Populations: Auditing Epidemiological Fidelity in Large Language Model Mental Health Simulations

PsychBench: 对大型语言模型心理健康模拟中的流行病学真实性进行审计

Patrick Keough

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(title)；分类 cs.AI

AI总结 本文通过PsychBench对LLM患者模拟进行流行病学审计，发现模型在临床合理性与人口代表性之间存在不一致，揭示了模型在不同群体中的偏差问题。

Comments v2: substantially revised and retitled; withdraws the variance-compression and transgender-suppression results and adds a pre-registered decoding control. 21 pages, 8 figures, 7 tables

Transfer Learning for Named Entity Recognition of Classical Latin through LLM Prompting

通过大语言模型提示学习实现古典拉丁语命名实体识别的迁移学习

Callum Chan

机构 * University of Ottawa（渥太华大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；prompting(title)；large language model(abstract)；language model(abstract)

AI总结 本文介绍渥太华大学团队通过对gemini-2.5-pro和claude-sonnet-4-5进行提示工程，利用跨语言迁移学习完成古典拉丁语NER任务，在EvaLatin 2026的两个NER子任务中均获第一。

Journal ref EvaLatin (LT4HALA@LREC), ELRA, May 2026, Palma De Majorque, Spain

LACE: Large Language Model Aided Multi-Agent Framework for Agile RISC-V Instruction Extension

LACE：用于敏捷RISC-V指令扩展的大语言模型辅助多智能体框架

Pingqing Zheng, Jiayin Qin, Fuqi Zhang, Zishen Wan, Shang Wu, Yu Cao, Caiwen Ding, Yang Katie Zhao

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL

AI总结 针对RISC-V指令扩展实现验证缓慢碎片化问题，提出LLM辅助多智能体框架LACE，可提升指令生成准确率并减少集成返工。

MonitrLLM: A Community-Centered Evaluation Infrastructure for Large Language Models

MonitrLLM：面向大型语言模型的社区中心评估基础设施

Victor Ojewale, Ro Encarnación, Suresh Venkatasubramanian, Danaé Metaxa

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 本研究提出开源LLM评估基础设施MonitrLLM，将对话记录、用户任务意图与结果关联，试点显示多轮对话失败率为单轮2.5倍，为LLM评估提供新方法。

Comments Accepted to AIES 2026

Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

探索与弥合未学习多模态大语言模型中的知识缺口

Junxiang You, Junkai Chen, Yuhao He, Ruiqi Liu, Zhetao Guo, Shu Wu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对未学习多模态大语言模型存在的知识缺口问题，提出带锚定正则化的选择性保护方法，在保障未学习安全性的同时大幅恢复模型响应质量。

Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models

面向细粒度遗忘：多模态大语言模型的属性遗忘

Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型（MLLMs）属性遗忘的细粒度需求，提出轻量级训练无关框架CLRP，通过激活修补定位因果层并应用保留感知投影，实现目标属性遗忘同时保留同一身份信息，在多种MLLMs上验证了有效性。

HumorRank: A Tournament-Based Leaderboard for Evaluating Humor Generation in Large Language Models

HumorRank: 基于锦标赛的大语言模型幽默生成评估排行榜

Edward Ajayi, Prasenjit Mitra

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出HumorRank，一种基于锦标赛的框架，通过理论指导的成对偏好判断对文本幽默生成进行排名，并利用Bradley-Terry估计生成全局排行榜。

Comments Leaderboard: https://humorrank-leaderboard.pages.dev/

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

使用基于语音的多模态大语言模型实现可泛化的认知障碍检测

Yingchao Huang, Xin Wang, Yuhan Su, Shanshan Yao

机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。

Efficient Sequential Evaluation of Large Language Models

大语言模型的高效顺序评估

Chia-Yu Hsu, Shubhanshu Shekhar

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究在固定问题集上顺序评估新大语言模型，基于历史数据构建置信序列，提出增长导向查询规则，分析影响收缩率因素并提出混合查询规则，实验发现简单的均匀采样有时表现更好。

Comments This is a preliminary version; feedback is welcome

Addressing Benchmarking Gaps in Large Language Models for Health and Medicine with Dynamic Red-Teaming

超越基准：动态、自动和系统化的红队代理用于可信的医疗语言模型

Jiazhen Pan, Bailiang Jian, Paul Hager, Yundi Zhang, Che Liu, Friederike Jungmann, Hongwei Bran Li, Julian Canisius, Chenyu You, Junde Wu, Jiayuan Zhu, Fenglin Liu, Yuyuan Liu, Niklas Bubeck, Moritz Knolle, Chen, Chen, Christian Wachinger, Zhenyu Gong, Cheng Ouyang, Georgios Kaissis, Benedikt Wiestler, Daniel Rueckert

机构 * Technical University of Munich (TUM)（慕尼黑技术大学） ； University of Oxford（牛津大学） ； TUM University Hospital（慕尼黑技术大学医院） ； Imperial College London（伦敦帝国理工学院） ； Harvard Medical School（哈佛医学院） ； Stony Brook University（史泰兹布鲁克大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出DAS红队框架，通过动态压力测试揭示医疗语言模型在鲁棒性、隐私、偏见和幻觉方面的潜在风险，发现高静态基准性能与低动态可靠性之间的'基准差距'。

From Many to Meaningful: Feature-Guided Zero-Shot Chronic Kidney Disease Screening Using Large Language Models

从众多到有意义：使用大语言模型进行特征引导的零样本慢性肾病筛查

Muhammad Ashad Kabir, Sirajam Munira

机构 * School of Computing, Mathematics and Engineering, Charles Sturt University（查尔斯·斯特尔特大学计算、数学与工程学院） ； Department of Computer Science, Rensselaer Polytechnic Institute（伦斯勒理工学院计算机科学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究探讨用大语言模型进行零样本慢性肾病筛查的可行性，提出特征引导零样本框架，通过特征选择、序列化患者记录实现。实验表明该框架能提升模型性能，在多数据集有良好泛化性，为CKD筛查提供新方法。

Comments Author-prepared preprint. The Version of Record was published in AIME 2026, Springer, and is available via the DOI

Journal ref Proceedings of the Artificial Intelligence in Medicine (AIME 2026)

From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Models

从提示风险到响应风险：大型语言模型安全行为的配对分析

Mengya Hu, Qiong Wei, Sandeep Atluri

机构 * Microsoft（微软） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究通过配对分析人类标注的提示和响应记录，探讨了大型语言模型在四个危害类别（性、自残、仇恨和暴力）和有序严重性级别上的安全行为，发现61%的响应比提示减少了危害，3%的响应升级了危害，并揭示了安全行为与无害性之间的权衡。