语言大模型 / LLM

When Is Emergent Consensus Real? A Measured Coupling Gain and a Validity Diagnostic for LLM Agent Societies

何时涌现共识是真实的？一种测量耦合增益与LLM智能体社会的有效性诊断

Dongxu Yang

机构 * DeepLethe 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对LLM智能体社会中的涌现共识或极化现象，提出基于反事实扰动的耦合增益测量方法，并建立有效性诊断工具，区分真实社会动态与模型伪影。

Comments 13 pages (incl. appendix with proofs), 7 figures. Code and per-run logs released

PrivacyAlign: Contextual Privacy Alignment for LLM Agents

PrivacyAlign: LLM代理的上下文隐私对齐

Manveer Singh Tamber, Abhay Puri, Marc-Etienne Brunet, Perouz Taslakian, Jimmy Lin, Spandana Gella

机构 * University of Waterloo（滑铁卢大学） ； ServiceNow AI Research（ServiceNow AI 研究） ； McGill University（麦吉尔大学） ； Mila -- Quebec AI Institute（米拉——魁北克人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出PrivacyAlign数据集，通过人类标注对齐LLM代理的隐私决策，并引入基于标注的奖励建模以提升隐私对齐性能。

LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

基于LLM的多参考评估方法用于短语边界标注的高效稳健评估

Younghan Park, Hoyeon Lee, Hawon Jeong, Jong-Hwan Kim

机构 * NAVER Cloud（NAVER云） ； Yonsei University（延世大学） ； KAIST AI（韩国科学技术院人工智能） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出基于LLM的多参考评估方法(LMRE)，通过生成多个有效短语边界解决单参考评估的局限性，在韩语测试中与人类判断一致性更强。

Comments Accepted at Interspeech 2026

BELLS-O: Evaluating the Operational Trade-offs of LLM Supervision Systems

BELLS-O：评估LLM监督系统的运营权衡

Leonhard Waibl, Felix Michalak, Hadrien Mariaccia

机构 * University of Graz, Graz, Austria（格拉茨大学） ； Supervised Program for Alignment Research (SPAR)（对齐研究监督计划 (SPAR)） ； Centre pour la Sécurité de l'IA (CeSIA), Paris, France（人工智能安全研究中心 (CeSIA)，巴黎，法国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出首个独立运营基准BELLS-O，评估28个LLM监督系统在检测率、误报率、延迟和成本上的权衡，发现专用护栏在内容审核中占优，而前沿通用模型在越狱检测中表现更好但成本更高。

Comments Accepted at the ICML 2026 Workshop on Trustworthy AI for Good (AI4GOOD). 2 figures; main text plus appendices

Leadership as Coordination Control: Behavioral Signatures and the Recovery-Advantage Boundary in Multi-Agent LLM Teams

领导力作为协调控制：多智能体LLM团队中的行为特征与恢复优势边界

Haewoon Kwak

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究多智能体LLM团队中过程级协调控制何时增加价值，通过行为特征和消融实验发现，控制器的优势仅在初始多数投票不可靠、任务可恢复且无指导交互无法修复时出现，验证了权变理论。

Comments 33 pages

ACCORD: Action-Conditioned Contextual Grounding for Language Agents

ACCORD: 面向语言智能体的动作条件上下文接地

Lai Jiang, Cheng Qian, Zhenhailong Wang, Pan Lu, Heng Ji, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language agent(title)；large language model(abstract)；language model(abstract)

AI总结 针对用户指令常因隐含环境假设而欠指定，导致LLM智能体执行失败的问题，提出ACCORD框架，在每次动作前主动探测缺失信息并整合轨迹上下文，无需额外训练，在AppWorld和AlfWorld上显著提升任务完成率。

SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills

SkillVetBench: 基于LLM评判的多维安全风险评估开源LLM智能体技能

Ismail Hossain, Sai Puppala, Md Jahangir Alam, Tanzim Ahad, Sajedul Talukder

机构 * SUPREME Lab, University of Texas at El Paso, Texas, USA（SUPREME实验室，德克萨斯理工大学埃尔帕索分校，德克萨斯州，美国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出SkillVetBench，利用LLM作为评判器对开源LLM智能体技能进行多维安全风险评估，引入五维技能智能体风险评分（SARS）和CVSS v4.0向量分解，在78个恶意技能上实现零假阴性，22个良性技能上零假阳性。

Comments The main research paper is submitted to NeurIPS 2027, it is in under review

Risk-Aware LLM Agents for Geospatial Data Retrieval: Design and Preliminary Adversarial Evaluation

风险感知的LLM智能体用于地理空间数据检索：设计与初步对抗性评估

Kyle Gao, Joel Cumming, Jonathan Li, Linlin Xu, David A. Clausi

机构 * Dept. of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系） ； SkyWatch ； Dept. of Geography and Environmental Management, University of Waterloo（滑铁卢大学地理与环境管理系） ； Dept. of Geomatics Engineering, University of Calgary（卡尔加里大学测绘工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出一种基于LLM的框架，通过自然语言查询从云地理空间目录检索遥感数据，集成三个智能体实现安全、意图解析和API调用生成，初步对抗实验表明提示级安全指令提升鲁棒性但需系统级防御。

Comments Accepted for publication in the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS Archives), ISPRS Congress 2026

Journal ref Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIX-B3-2026, 1419-1426, 2026

The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation

抛硬币的裁判？LLM作为评估者的可靠性与偏见

Abel Yagubyan

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究LLM作为评估者在重复评估中的不可靠性，发现偏好翻转率平均13.6%，存在位置偏见，并建议多轮聚合和不确定性报告。

Comments 24 pages, 7 figures

LLM-Powered Personalized Glycemic Assessment in Type 2 Diabetes with Wearable Sensor Data

基于可穿戴传感器数据的2型糖尿病个性化血糖评估：LLM驱动方法

Yifan Gao, Yanmin Gong, Yun Shi, Yuanxiong Guo

机构 * Department of Information Systems and Cybersecurity, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系统与网络安全系） ； School of Engineering Medicine, Texas A&M University（德克萨斯农工大学工程医学院） ； Department of Family and Community Medicine, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校家庭与社区医学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出GlyLLM框架，利用大语言模型整合可穿戴传感器数据和结构化元数据，实现个性化血糖动态建模，在血糖预测和糖尿病分类任务上分别比传统ML方法提升13.66%和13.08%。

Comments The 14th IEEE International Conference on Healthcare Informatics, 2026

Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

语言模型在开放式任务中的自动化创造力评估

Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

机构 * Raffles Institution（莱佛士书院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李光前医学院） ； Centre of AI in Medicine (C-AIM), Nanyang Technological University（南洋理工大学人工智能医学中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种领域无关的自动化框架，通过语义熵和检索式多智能体评估，量化LLM在开放式任务中的发散与收敛创造力，并在问题解决、研究构思和创意写作三个领域验证其有效性。

Comments Accepted to ACL 2026 (Main Conference). 35 pages, 16 figures. Code: https://github.com/tanminsen/creativity-eval

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

层隔离评估：使用无LLM、回归锁定的测试工具对生产级LLM代理的确定性框架进行门控

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出层隔离评估方法，将LLM代理分解为固定层次，用确定性无LLM测试套件逐层检测回归，证明聚合指标会掩盖局部退化，而逐层基线门控可准确定位。

Comments 12 pages, 2 figures, 5 tables

Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents

捕捉五分之一：LLM作为评判员在生产环境多轮交易代理中的盲点

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究部署的餐饮订购代理中LLM评判员对真实缺陷的召回率，发现其仅捕获22%的系统性问题，主要因评分标准缺乏状态跟踪等行为维度，且路由机制导致缺陷被错误分类。

Comments 13 pages, 1 figure, 5 tables

The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge

自信的撒谎者：利用对数概率和LLM作为评判诊断多智能体辩论

Ali Keramati, Justin Cheok, Jacob Horne, Mark Warschauer

机构 * University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系，发现信心与推理质量在构造者上关联更强，且信心可检测关键推理失败。

Comments 15 pages, 7 figures, 1 table, ACL proceedings

Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures

因果智能体回放：LLM智能体故障的反事实归因

Jaineet Shah

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出Causal Agent Replay (CAR)方法，通过结构因果模型和干预操作，对LLM智能体失败步骤进行反事实归因，解决现有方法无法定位决策步骤的问题。

Comments Open-source: https://github.com/jaineet17/causal-agent-replay

Cherry-pick Override: Unsafe Directional Commitment in LLM Judges under Mixed Evidence

Cherry-pick Override：混合证据下LLM法官的不安全方向性承诺

Haoran Xu

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对混合证据场景，发现LLM法官会错误地返回方向性裁决（SUPPORTS/REFUTES）而非授权非方向性裁决（CONFLICTING），定义为Cherry-pick Override（CCO）；通过诊断协议和干预实验，提出外部承诺控制层分离裁决生成与授权。

Comments 12 pages, 1 figure

CoSA: Context-Aware Severity Assessment via Context Analysis with Large Language Models

CoSA：基于大语言模型的上下文分析实现上下文感知的漏洞严重程度评估

Jinfeng Jiang, Yikun Li, Chengran Yang, Ting Zhang, Wen Bin Leow, Yide Yin, Eng Lieh Ouh, Lwin Khin Shar, David Lo

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 CoSA是一种基于大语言模型的上下文感知漏洞严重程度评估方法，通过两阶段仓库剪枝策略与Transformer预测器，在6816个CVSS标注实例上较最优基线提升了14.4%准确率与15.3% Macro-F1

Locating and Controlling Implicit Personalization in Large Language Models

定位并控制大语言模型中的隐式个性化

Yueru Yan, Siqi Wu, Thai Le

机构 * Indiana University（印第安纳大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对5种大语言模型，发现追踪推荐变化的局部内部激活信号与隐式个性化行为相关，移除对应信号可抑制线索影响且保留基准性能，为控制大语言模型隐式个性化提供了因果控制思路。

Can Large Language Models Represent Urban Publics? Behavioral Replication and Population Mismatch in an Affordable-Housing Experiment

大语言模型能否代表城市公众？经济适用房实验中的行为复制与人口匹配问题

Yuxuan Cai, Yequan Hu, Hongqian Li, Zhanghong Ju, Shuying Guo

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 该研究以美国经济适用房调查实验对比8款开放权重LLMs与843名受访者，发现LLMs虽能近似部分总体对比，却无法保留人口结构、组内异质性等关键特征，城市规划的模型评估需测试空间与社会结构的模拟保留情况。

Comments Yuxuan Cai and Yequan Hu contributed equally to this work

Vehicle Routing Problem Meets Large Language Models: An Overview and Perspectives

车辆路径问题遇上大语言模型：综述与展望

Xianchao Xiu, Chong Shen, Yanjiao Zhu, Wanquan Liu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 综述大语言模型在车辆路径问题中的应用，涵盖模型构建、算法设计、协调工具等角色，并讨论基准测试与实验。

Comments working in process

INCARBench: A Benchmark for Scientific Configuration in VASP INCAR by Large Language Models

INCARBench: 大型语言模型在VASP INCAR科学配置中的基准测试

Bin Shao, Jixiang Li, Xinyue Zhang, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)

AI总结 提出INCARBench基准，通过配置生成与修复任务评估LLM在VASP输入配置上的能力，发现参数级正确性不保证科学有效性，错误集中在DFT+U、磁性和关联材料等物理耦合设置中。

A Survey of Large Language Models for Perception and Measurement of Human Psychology

大型语言模型在人类心理感知与测量中的综述

Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文系统综述了大型语言模型（LLMs）作为人类心理测量工具的应用，从理论可行性、测量方法和应用效果三个维度构建分析框架，探讨其在人格评估和心理健康评价中的有效性及局限。

Comments Accepted by IEEE Transactions on Cognitive and Developmental Systems

Large Language Model-Driven Cooperative Operator Ensemble Evolution for Permutation Flow Shop Scheduling

大语言模型驱动的合作算子集成进化用于置换流水车间调度

Rui Xu, Yufan Liao, Haoze Lv, Shengcai Liu, Yi Mei, Ke Tang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对置换流水车间调度问题中经典迭代贪婪算法因单一破坏算子导致搜索停滞的问题，提出多算子IG算法IG-DOE，通过停滞触发的顺序切换机制增强探索，并引入大语言模型辅助框架SCOE自动构建高质量破坏算子集成。

Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations

何时停止：LLM评估的贝叶斯最优停止

Toby D. Pilditch

机构 * UK AI Security Institute（英国人工智能安全研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究提出optstop框架，将LLM评估视为序贯测量问题，基于分层贝叶斯推理实现自适应停止，可减少评估试验量且不影响结论，为LLM评估计算资源分配提供新方式。

AgentRewind: Recoverable Execution for Long-Horizon LLM Agents

AgentRewind：面向长 horizon LLM 智能体的可恢复执行框架

Yu Zhuang, Kefei Chen, Yitong Duan, Shuxin Zheng, Jian Li, Xu-Yao Zhang

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 AgentRewind 是面向长周期 LLM 智能体的运行时恢复框架，通过记录检查点支持状态回退，结合自建基准 MettleBench 实验，可提升智能体任务成功率与清单进度。

Comments 19 pages, 5 figures

ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents

ToolHazard：用于基于大语言模型智能体的安全评估与对齐的可扩展对抗环境

Yutao Mou, Pengfei Yang, Zhe Yin, Zhangchi Xue, Xiaotian Luan, Dingyao Yu, Tong Zhang, Shikun Zhang, Wei Ye

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对集成外部工具的LLM智能体的安全漏洞问题，提出可扩展对抗环境合成框架ToolHazard，构建ToolHazard-Bench测试智能体，生成的对齐数据可提升智能体安全性且保留任务效用。

Comments Work in Progress

AgenticTwin: An Agentic LLM Framework Integrated with Digital Twin for Anomaly Detection

AgenticTwin：集成数字孪生的智能体大语言模型异常检测框架

Touseef Hasan, Mounika Ghanta, Souvika Sarkar, Ujjwal Guin

机构 * School of Computing, Wichita State University（威奇托州立大学计算机学院） ； Auburn University（奥本大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出AgenticTwin框架，整合LLM推理与数字孪生异常检测管道，构建基准评估管道并验证轻量级开源LLM部署可行性，可提升异常诊断、检索及缓解质量。

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

面向NLPCC 2026共享任务6的EVIL-Detect：大语言模型生成文本检测

Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对中文场景下LLM生成文本检测需求，提出带冲突感知融合的多信号集成框架EVIL-Detect，整合多类信号并校准决策边界，在NLPCC 2026共享任务6中获宏F1 0.8888且排名第一。

Comments Accepted by NLPCC 2026 Shared Tasks

Fair on the Surface? Benchmarking Hidden-Output Fairness Gaps in LLM Recommenders

表面上公平？对LLM推荐器的隐藏输出公平性差距进行基准测试

Chan Aristella Lu, Arya Fayyazi, Junhao Zhang, Saeid Shokoufa, Yue Xing, Zhen Xiang, Kyu Hyung Lee, Mehdi Kamal, Massoud Pedram

机构 * University of Georgia（佐治亚大学） ； University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 该研究提出首个联合评估LLM推荐器可观测输出与隐藏表示公平性的基准FairGap，发现二者存在根本张力，现有框架无法诊断。

Opportunity Is Not Realizability: Selection-Valid Diagnostics for Multi-LLM Routing

机遇并非可实现性：多大型语言模型（LLM）路由的选择有效诊断方法

Ibne Farabi Shihab, Abu Sa-Adat Mohamed Moon-Im Al Ahsan, Md Najmus Swaqeeb

机构 * Iowa State University（爱荷华州立大学） ； BRAC University（BRAC大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 该研究针对多LLM路由的神谕路由诊断缺陷，提出选择有效置信区间方法，通过实验发现可部署路由器仅能恢复部分神谕机遇，且最佳策略的增益下限可能为零。