语言大模型 / LLM

DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers

DynamicMCPBench：用于实时MCP服务器上的大语言模型智能体的基于轨迹的效果评分基准测试

Jerzy Kamiński, Ilya Galyukshev, Artem Kuznetsov, Sergey Chuprin, Kirill Redko, Aidar Shumbalov, Anna Kalyuzhnaya

机构 * ITMO University（俄罗斯圣彼得堡国立信息技术机械与光学大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体在MCP服务器上的评估基准问题，提出DynamicMCPBench框架，能生成目标、追踪轨迹并按效果评分。大规模测试发现智能体处理长多步任务能力不足，且该框架可重复运行，人工验证其自动评分可靠。

When Agents Disagree: The Selection Bottleneck in Multi-Agent LLM Pipelines

当代理人意见不一致：多代理LLM流水线中的选择瓶颈

Artem Maryanskyy, Dmitry Budnikov, Alibek T. Kaliyev

机构 * Uber 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究多代理LLM流水线中团队多样性对输出质量的影响，提出选择瓶颈概念，通过数学公式确定多样性帮助或损害的临界点，并通过实验验证选择机制的重要性。

Comments v2: Updated author list to match the published version. Published in Applied Sciences (MDPI) 2026, DOI: 10.3390/app1010000

Re-Sonance: A Dysarthric Asynchronous Real-Time Speech Conversion System Based on a Three-Stage Cascaded ASR-LLM-TTS Architecture

共振：基于三级级联ASR-LLM-TTS架构的构音障碍异步实时语音转换系统

Yuxuan Wu, Yifan Xu, Junkun Wang, Jiayong Jiang, Xin Zhao, Zhaojie Luo

机构 * Southeast University（东南大学） ； School of Biological Science & Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对构音障碍患者在专业演讲场景的沟通问题，提出基于三级级联ASR-LLM-TTS架构的Re-Sonance系统，集成多种技术，经评估其能提高轻度至中度构音障碍患者语音清晰度与自然度，验证了基于LLM方法增强语音驱动AAC系统的潜力。

Comments Accepted by NCMMSC 2025

When Direct Prediction Fails: Evidence from LLM-Based Misinformation Risk Evaluation

超越表面判断：LLM生成虚假信息的人类基础风险评估

Zonghuan Xu, Xiang Zheng, Yutao Wu, Xingjun Ma

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海市多模态具身人工智能重点实验室） ； City University of Hong Kong（香港城市大学） ； Deakin University（迪肯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究LLM生成虚假信息的风险评估，发现LLM法官在整体评分、项目排序和信号依赖上与人类存在显著差异，且法官间一致性高于人类读者，表明内部一致性不能作为读者反应代理的有效证据。

Comments 9 pages, 1 figure. Substantially revised and reorganized version of arXiv:2604.06820 based on the same study and data; adds stricter participant filtering, held-out prediction analyses, and additional robustness checks

ContinuityBench: A Benchmark and Systems Study of Stateful Failover in Multi-Provider LLM Routing

ContinuityBench：多提供商大语言模型路由中有状态故障转移的基准测试与系统研究

Vishal Pandey, Gopal Singh

机构 * Metriqual（梅特里夸尔） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究多提供商LLM路由中状态故障转移问题，提出有状态代理架构及历史转发策略，引入新指标，通过continuity - bench评估，实证表明该架构CPR达99.20%，刻画延迟分布，为构建多模型推理系统提供基础。

Comments 16 pages, 2 figures

Budgeted Subset Refinement for Execution-Aware LLM Research Ideation

用于执行感知大语言模型研究构思的预算子集优化

Micah Zhang

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对LLMs生成研究想法存在的问题，引入预算子集优化策略，在统一共享候选池评估中对比不同策略效果，发现随机k优化是低成本基线，多样性感知的MMR - k优化权衡最佳，表明LLM研究构思系统应作为预算支持分配系统评估。

Comments 18 pages, 3 figures, 9 tables

From Stateless to Situated: Building a Psychological World for LLM-Based Agents

从无状态到情境化：构建基于LLM的情感支持心理世界

Boning Zhao, Yutong Hu, Xinnuo Li

机构 * Tandon School of Engineering New York University New York, USA ； College of Arts \& Science New York University New York, USA 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出LEKIA 2.0架构，通过分离认知层与执行层，构建可持续更新的情境结构，提升多轮交互中的稳定性与可控性，实现31%的改进。

Comments Accepted by WAICA 2026

Catalyst-Agent: Autonomous heterogeneous catalyst screening with an LLM Agent

Catalyst-Agent：基于LLM Agent的自主异质催化剂筛选

Achuth Chandrasekhar, Janghoon Ock, Amir Barati Farimani

机构 * Mechanical Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, USA（卡内基梅隆大学机械工程系，匹兹堡，PA 15213，USA） ； Department of Chemical and Biomolecular Engineering, University of Nebraska--Lincoln, Lincoln, NE 68588, USA（内布拉斯加大学林肯分校化学与生物分子工程系，林肯，NE 68588，USA） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出Catalyst-Agent，一种基于MCP服务器和LLM的AI代理，通过OPTIMADE API探索材料数据库、利用UMA模型计算吸附能，实现闭环自主催化剂筛选，在ORR、NRR和CO2RR反应中成功率达33-41%。

A Survey on LLM Watermarking: Theory and Deployment

大语言模型水印：理论与部署综述

Huy Phan, Kieu Dang, Ojaswi Dulal, Aiham AL Shukairi, Abby Shine, Chase Garner, Phung Lai

机构 * Truman State University（特伦特州立大学） ； University at Albany, State University of New York（纽约州立大学阿尔巴尼分校） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 综述大语言模型水印技术，通过从业者核心问题组织内容，综合技术家族并分析安全效用权衡，回顾攻击策略、评估协议等，为LLM水印设计提供实际指导，明确可靠部署的研究方向。

REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering

REAL：在语言模型引导中读取Transformer激活以进行精确定位

Li-Ming Zhan, Bo Liu, Chengqiang Xie, Jiannong Cao, Xiao-Ming Wu

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究旨在在不改变LLM参数的情况下引导其响应，核心挑战是识别关键内部模块。提出REAL框架，通过训练VQ - AE划分潜在空间，量化模块行为相关性来指导模块选择与引导强度。实验表明该方法能有效干预，提升真实性引导效果且具零样本泛化能力。

Comments need full paper rebuilding

Zoom In Disparities in Healthcare LLM Q&A

放大医疗保健语言模型问答中的差异

Ipek Baris Schlicht, Burcu Sayin, Zhixue Zhao, Frederik M. Labonté, Cesare Barbera, Marco Viviani, Paolo Rosso, Lucie Flek

机构 * Universitat Politècnica de València（瓦伦西亚理工大学） ； University of Trento（特伦托大学） ； University of Sheffield（谢菲尔德大学） ； Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛信息科技国际中心，波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） ； University of Pisa（比萨大学） ； University of Milano-Bicocca（米兰-比可卡大学） ； ValgrAI Valencian Graduate School and Research Network of Artificial Intelligence（瓦伦西亚人工智能研究生学校和研究网络） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究多语言医疗保健问答中LLM的跨语言差异，构建多语言数据集，分析覆盖范围与响应对齐，通过案例研究发现差异显著，非英语维基百科上下文摘录可改善事实对齐，为构建公平多语言医疗AI系统提供途径。

Comments It is accepted to NLDB 2026: The paper can be accessed at https://link.springer.com/chapter/10.1007/978-3-032-29532-3_12

Journal ref NLDB 2026

When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

当评分量表不足时：LLM辅助发现土耳其教师叙述中的ADHD信号

Baris Karacan, Irem Aktar Songur, Ahmet Ozaslan, Elvan Iseri

机构 * Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） ； Department of Child and Adolescent Psychiatry, Gazi University（加齐大学儿童与青少年精神病学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过分析土耳其教师评估表中的结构化评分和开放式叙述，利用大语言模型辅助的主题发现方法，揭示了叙述文本中未被结构化量表捕捉的ADHD互补信号。

Comments 15 pages. Accepted to CLPsych 2026. Camera-ready author version. The final version will appear in the ACL Anthology

Journal ref In Proceedings of the 10th Workshop on Computational Linguistics and Clinical Psychology (CLPsych 2026), pages 368-382, San Diego, California, USA, 2026. Association for Computational Linguistics

A Unified Framework for the Evaluation of LLM Agentic Capabilities

LLM 代理能力评估的统一框架

Pengyu Zhu, Lijun Li, Yaxing Lyu, Qianxin Luo, Jingyi Yang, Yi Liu, Tingfeng Hui, Xinyu Yuan, Li Sun, Sen Su, Jing Shao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） ； North China Electric Power University（华北电力大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个统一框架，通过标准化配置、固定 ReAct 架构和离线设置，分离框架与环境效应，实现 LLM 代理能力的公平评估，并在 7 个基准、24 个领域、15 个模型上进行了大规模实证分析。

MetaSyn: A Benchmark for LLM Agents on Meta-Analysis Articles from Nature Portfolio

对Nature Portfolio元分析文章进行LLM代理基准测试

Anzhe Xie, Weihang Su, Yujia Zhou, Yiqun Liu, Min Zhang, Qingyao Ai

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出MetaSyn数据集，包含442篇专家策划的元分析，用于评估LLM代理在检索-筛选-综合全流程中的表现，发现当前系统在筛选阶段存在严重瓶颈。

Comments 17 pages, 8 figures, 11 tables. Code and evaluation: https://github.com/THUIR/MetaSyn Dataset: https://huggingface.co/datasets/THUIR/MetaSyn Model: https://huggingface.co/BFTree/MA-Retriever

Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies

真相还是诡辩？LoFa：大语言模型对逻辑谬误鲁棒性的基准测试

Xudong Shen, Li Yuan, Ye Chen, Xin Wu, Yi Cai, Zhiyong Wu

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； South China University of Technology（华南理工大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LoFa基准，通过多智能体管道生成事实与谬误配对，结合多轮辩论框架评估LLM对逻辑谬误的鲁棒性，并设计LFR@k指标量化抵抗能力。

Comments Accepted to ACL 2026 Main. 33 pages (9 pages main text)

Whose Side Is Your Agent On? Multi-Party Principal Loyalty in LLM Agents

你的智能体站在哪一边？LLM智能体中的多方委托人忠诚度

Bojie Li, Noah Shi

机构 * Pine AI University of Washington（华盛顿大学皮尼AI学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究LLM智能体在多方对话中对委托人的忠诚度问题，提出基准测试PrincipalBench和两种机制（提示忠诚度框架和知识蒸馏），揭示泄漏与过度拒绝之间的权衡。

Can LLM-as-a-Judge Reliably Verify Rubrics in Agentic Scenarios?

LLM-as-a-Judge 能否可靠地验证智能体场景中的评分标准？

Yangda Peng, Yunjia Qi, Hao Peng, Haotian Xia, Guanzhong He, Xintong Shi, Richeng Xuan, Songyuanyi Lu, Yixian Liu, Zhichao Hu, Yuhong Liu, Lei Hou, Bin Xu, Juanzi Li

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 针对 LLM 作为裁判在智能体场景中验证评分标准的可靠性问题，构建首个基准 RuVerBench，评估多种前沿模型，发现即使最强模型也存在显著噪声，并分析了提示设计、批处理和多数投票等策略的影响。

LLM-based Multimodal Personality Recognition via Facial Action Unit-Text Semantic Fusion

基于面部动作单元-文本语义融合的LLM多模态人格识别

Tianyi Zhang, Wei Shan, Yuan Zong, Tianhua Qi, Wenming Zheng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种基于大语言模型的面部动作单元与文本语义融合框架，通过将AU序列转化为可解释文本描述并与受访者文本回答融合，实现异步视频面试中的人格识别，在AVI-6基准上取得更优性能。

Beyond Surface Forms: A Comprehensive, Mechanism-Oriented Taxonomy of Indirect Linguistic Encoding for LLM-Based Coded Language Detection

超越表面形式：面向LLM的编码语言检测的全面、机制导向的间接语言编码分类法

Hamid Reza Firoozfar, Mohammadsadegh Abolhasani, Reza Mousavi, Paul Jen-Hwa Hu

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出一种机制导向的间接语言表达分类法，通过抽象编码操作而非沟通目标，在LLM提示中集成后，在TikTok和Bluesky数据集上检测准确率提升4.7%，F1提升5.4%。

Comments Submitted for review in ARR for EMNLP 2026

Necessary but Not Sufficient: Temperature Control and Reproducibility in LLM-as-Judge Safety Evaluations

必要但不充分：LLM作为评判者的安全评估中的温度控制与可重复性

Hiroki Tamba

机构 * Tamba Research Academy（Tamba研究学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究LLM评判者在安全评估中温度设置对结果可重复性的影响，发现温度未设置或设为0仍无法完全消除判决翻转，建议将评判者分歧作为首要健康指标。

Comments 7 pages, 2 tables

An Approach for a Supporting Multi-LLM System for Automated Certification Based on the German IT-Grundschutz

基于德国IT-Grundschutz的自动化认证的多LLM支持系统方法

Lea Roxanne Muth, Marian Margraf

机构 * Department of Mathematics and Computer Science（数学与计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种多LLM系统结合混合RAG的方法，用于半自动化BSI IT-Grundschutz认证，以提高效率、降低成本并应对NIS2指令带来的认证需求增长。

Comments Accepted for publication at the 2025 IEEE International Conference on Cyber Security and Resilience (IEEE CSR), Chania, Crete, Greece, August 4-6, 2025. 8 pages, 2 figures

Epistemic Bias Injection: Manipulating LLM Opinion via Selective Context Retrieval

认知偏见注入：通过选择性上下文检索操纵LLM观点

Hao Wu, Prateek Saxena

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究通过检索增强生成（RAG）数据库注入事实正确但认知偏见的段落，以操纵LLM输出立场，并提出基于几何度量的攻击与防御方法BiasDef。

Accuracy and Satisfaction in Multi-Turn LLM Dialogues for NFR Assessment

多轮LLM对话中NFR评估的准确性与满意度

Ali Pourghasemi Fatideh, Wilder Baldwin, Maria Dhakal, Collin McMillan, Sepideh Ghanavati

机构 * University of Maine（缅因大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究开发者在与LLM对话助手评估非功能需求（NFR）时的准确性和满意度，发现开发者倾向于同意LLM评估但准确性低，且长回复和过多信息提供轮次降低满意度，而主动交互提升满意度。

Comments 9 pages, 5 figures. Accepted to SIGDIAL 2026 (27th Annual Meeting of the Special Interest Group on Discourse and Dialogue)

SciZoom: A Large-scale Benchmark for Hierarchical Scientific Summarization across the LLM Era

SciZoom：面向LLM时代的大规模层次化科学摘要基准

Han Jang, Junhyeok Lee, Kyu Sung Choi

机构 * Seoul National University（首尔国立大学） ； Seoul National University Hospital（首尔国立大学医院） ； Seoul National University College of Medicine（首尔国立大学医学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 针对LLM时代科学摘要的多粒度需求，构建了包含2020-2025年四大ML顶会44946篇论文的基准，提供摘要、贡献和TL;DR三层摘要，压缩比达600:1，并揭示LLM辅助写作导致短语模式剧变和修辞风格同质化。

Comments 14 pages, 8 figures, Under review

Safety-Aware Evaluation of LLM-Generated Driver Intervention Messages through Multi-Task Risk Fusion

通过多任务风险融合的LLM生成驾驶员干预信息的安全感知评估

Keito Inoshita

机构 * Faculty of Business and Commerce, Kansai University（关西大学商学部） ； Data Science and AI Innovation Research Promotion Center, Shiga University（滋贺大学数据科学与人工智能创新研究推进中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出DSAIS指标，结合规则与LLM评估五个维度，通过多任务风险融合框架提升干预信息质量，实验表明多任务集成使上下文相关性提升9.1%。

Local LLM Agents as Vulnerable Runtimes:A Source-Code Audit of the Agent Runtime Layer

本地LLM智能体作为易受攻击的运行时：智能体运行时层的源代码审计

Zhengsong Zhang, Zongze Li, Jiawei Guo, Haipeng Cai

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University at Buffalo, SUNY（布法罗大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出CLAWAUDIT静态审计框架，通过STRIDE导出的五类漏洞分类法和自定义静态分析规则，评估本地LLM智能体运行时的安全弱点，在OpenClaw基准上显著提升召回率。

How Much Coordination Gain Is Real? A Paired Noise-Floor Protocol for Multi-Agent LLM Benchmarks

真正的协调增益有多大？多智能体LLM基准测试的配对噪声底线协议

Alibek T Kaliyev, Artem Maryanskyy

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对多智能体LLM协调基准测试中微小增量不可靠的问题，提出配对噪声底线协议，通过配置等价对比发现典型效应量低于观测噪声包络，并定义协调活跃pass^k作为最低报告标准。

Comments 11 pages, 4 figures

RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing

RouteJudge: 一个可复现且偏好感知的LLM路由开放平台

Guannan Lai, Haoran Hu, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； SinapisAI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出RouteJudge平台，通过匿名成对比较评估LLM路由策略的决策质量，并发布ORBIT工具箱标准化路由工作流，支持可复现和偏好感知的路由评估。

Comments Accepted by Pluralistic Alignment Workshop at ICML 2026

PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

PROMPT2BOX: 揭示LLM提示间的蕴含结构

Neeladri Bhuiya, Shib Sankar Dasgupta, Andrew McCallum, Haw-Shiuan Chang

机构 * CICS, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校计算机信息科学中心） ； Amazon AWS AI（亚马逊AWS人工智能） ； A10 Networks（A10网络） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出PROMPT2BOX方法，通过盒嵌入空间捕捉提示间的特异性关系，并开发降维技术，在层次聚类中比向量基线多发现8.9%的LLM弱点。

LLM-FS: Zero-Shot Feature Selection for Effective and Interpretable Malware Detection

LLM-FS: 零样本特征选择用于有效且可解释的恶意软件检测

Naveen Gill, Ajvad Haneef K, Madhu Kumar S D

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； National Institute of Technology Calicut, India（印度卡利卡特国立理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨了利用大语言模型进行零样本特征选择在恶意软件检测中的应用，通过对比传统方法，展示了其在准确性和可解释性上的优势。

Journal ref 2025 Conference on Building a Secure & Empowered Cyberspace (BuildSEC)