语言大模型 / LLM

Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models

面向大语言模型复杂图推理的统一多维度基准

Fali Wang, Ali Al-Lawati, Iliyas Bektas, Jinxuan Fang, Alek Melenski, Tianxiang Zhao, Yao Ma, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Rensselaer Polytechnic Institute（伦斯勒理工学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有图推理基准的局限，提出半自动框架构建含202个任务的统一多维度基准，评估LLM在不同推理模式下的表现，揭示模型局限并提供实证指导。

Comments Under review

Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments

一致性并非对齐：人类与大语言模型（LLM）伦理判断中的道德依据分歧

Octavian M. Machidon, Alina L. Machidon, Vojko Strahovnik, Mateja Centa Strahovnik, Jonas Miklavčič, Marko Robnik Šikonja

机构 * University of Ljubljana（卢布尔雅那大学） ； Faculty of Computer and Information Science（计算机与信息科学学院） ； Faculty of Theology（神学院） ； Faculty of Arts（艺术学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究以ETHICS基准的500项道德判断条目为对象，发现LLM与人类的最终伦理判断常一致，但道德依据存在系统性分歧，表明一致性不等同于对齐性，仅靠标签评估易产生误导。

Comments 9 pages, 4 figures, 3 tables. Accepted and presented at the AI Transparency Conference (AITC 2026), Nuremberg, Germany, June 5-6, 2026

When AI Is Your Pastor: A Benchmark for Theological Triage and Pastoral Guidance in Large Language Models

当AI成为你的牧师：大型语言模型的神学分诊与牧灵指导基准测试

Alex Chao

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究推出FMG-Bench基准测试，评估LLM在基督教神学分诊与牧灵指导场景的表现，发现结构化框架可提升模型表现与鲁棒性，且该基准仅为测量工具。

Comments Full paper. Code and dataset are available at https://github.com/FideAI/fmg-bench and https://huggingface.co/datasets/FideAI/fmg-bench

Which LLM Is Your Ideal Companion? Evaluating Emotional Companion Capabilities of LLMs Based on Adult Attachment Theory

哪种大语言模型是你理想的陪伴者？基于成人依恋理论评估大语言模型的情感陪伴能力

Junkai Zhou, Shiting Guan, Zhaoyi Zhang

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究基于成人依恋理论构建情感陪伴基准ECBench，评估32个LLM的依恋倾向，探究其在多轮交互中的表现及可调整性，为情感陪伴类LLM的选择提供理论与工具支持。

Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement

大型语言模型中的数字能力：基本局限与改进路径

Aoxin Ni

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本研究针对LLMs在基础数值任务中的不可靠性，提出数值基础框架（NGF）并结合三大基准评估前沿模型，给出改进数值能力的部署建议与研究方向。

Large Language Models Pass the History Exam But Miss the <<History>>: A Polish High School Exit Exam Matura Benchmark

大语言模型通过了历史考试却遗漏了《历史》：波兰高中毕业考试Matura基准测试

Adrian Trzoss, Kacper Dudzic, Wiktor Werner, Marcin Moskalewicz

机构 * Adam Mickiewicz University（亚当·密茨凯维奇大学） ； IDEAS Research Institute（IDEAS研究院） ； AMU Center for Artificial Intelligence（亚当·密茨凯维奇大学人工智能中心） ； Poznań University of Medical Sciences（波兹南医科大学） ； Maria Curie-Skłodowska University（玛丽·居里-斯克洛多夫斯卡大学） ； WSB Merito University（WSB梅里托大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL

AI总结 该研究针对波兰Matura历史考试评估8款LLM，发现其总分远超人类考生，但存在波兰历史得分惩罚、源内容混淆等缺陷，推出了首个基于波兰国家课程的LLM历史基准。

MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models

MOSAIC：揭示大型语言模型的道德、社会和个体维度

Erica Coppolillo, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Calabria and ICAR-CNR（卡利亚里大学和ICAR-CNR） ； Thomas Lord Department of Computer Science（托马斯·劳德计算机科学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 MOSAIC首次提出评估大型语言模型道德、社会和个体维度的综合基准测试，通过九个问卷和四个游戏全面考察伦理推理能力，揭示MFT的局限性。

LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation

LigBench：面向基于大语言模型的研究创意生成的统一且符合人类偏好的基准

Chenrun Wang, Mingxuan Zhu, Tiancheng Huang, Wenjie Li, Yujie Zhang, Zichen Zhu, Zhiying Zou, Kai Yu, Lu Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新研究院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有LLM研究创意生成评估零散、缺乏统一标准的问题，提出LigBench基准及PAIR-IQ数据集，实验表明LigBench评估稳定可解释且与专家判断一致性高，PAIR-IQ训练的模型排名准确性和鲁棒性更强

Comments 17 pages

The Evaluator Is Part of the Experiment: Measuring Open-Ended LLM Conformity

评估者是实验的一部分：测量开放式大语言模型（LLM）的一致性

Alicia Guerra, Yibo Hu

机构 * Illinois Institute of Technology（伊利诺伊理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究提出实验方案测量开放式LLM一致性，发现错误同行输入会降低修订质量，评估者非中立，锚定校准必要，指出翻转率不足以完整衡量开放式一致性。

Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction

大语言模型能遵循指令，但无法同时遵循太多：组合约束满足中的相变

Mariya I. Vasileva

机构 * Meta Superintelligence Labs（元超级智能实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出约束饱和评估基准，发现大语言模型在同时遵循5-6个以上指令约束时可靠性崩溃，不同类型约束的性能下降幅度存在差异，失败呈近独立的乘法累积效应。

Comments 35 pages, 7 figures, 13 tables. Reviewed in the ARR May 2026 cycle

Are Large Language Models Reliable Reviewers? A Benchmark for Error Detection in Financial Documents

大语言模型是可靠的评审者吗？面向金融文档错误检测的基准测试

Ying He, Zhouhong Gu, Zhecheng Hu, Yubo Zhou, Hao Shen, Jiaqing Liang, Zhaoqian Dai, Shuguang Ma, Fei Yu, Yanghua Xiao, Zhixu Li

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） ； Ant Group（蚂蚁集团） ； School of Information and School of Smart Governance, Renmin University of China（中国人民大学信息学院与智慧治理学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文构建首个金融错误检测基准FinED-Bench，评估发现当前LLMs难胜任高复杂度金融文档错误检测任务，监督微调可提升弱模型性能。

The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models

大语言模型在文化禁忌安全方面的“知识-行为差距”

Ying He, Sihang Jiang, Xingzhou Chen, Zhouhong Gu, Yiwei Gu, Minggui He, Shimin Tao, Hongxia Ma, Yanghua Xiao

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院） ； Huawei（华为） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对大语言模型文化禁忌安全评估的现有基准存在不足，本文推出首个公开基准CulShield，发现先进LLMs存在“知识-行为差距”，且语言语境变化会影响其文化禁忌安全。

A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models

先验意识记忆：一种区分记忆与泛化在大语言模型中的高效度量标准

Trishita Tiwari, Ari Trachtenberg, G. Edward Suh

机构 * Cornell University（康奈尔大学） ； Boston University（波士顿大学） ； NVIDIA（英伟达） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出Prior-Aware Memorization，一种基于模型先验的轻量级度量标准，用于区分大语言模型中的真实记忆与统计上常见序列，揭示低频率不足以证明记忆，强调需考虑模型先验以评估数据泄露风险。

Comments COLM 2026 Camera Ready

Do LLM Recommenders Know When They're Hallucinating? Auditing Confidence Calibration in Catalog Faithfulness

大语言模型推荐系统是否知道自己在产生幻觉？针对目录保真度的置信度校准审计

Srijith Ravikumar

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 该研究审计了四个零样本LLM推荐系统的幻觉率与置信度校准，发现其系统性置信不足，提出conformal弃权阈值效果有限，建议审计需同时报告校准与OOD率并采用锚定目录的提示。

Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking

通过代理评估和稳定性感知排名实现多模态大语言模型的鲁棒检查点选择

Qinwu Xu, Zhuoheng Li, Jessie Salas

机构 * Meta AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种多阶段框架，结合了精心挑选的现实世界数据、结构化的LLM判断和多阶段排名协议，以解决多模态大语言模型检查点选择中的鲁棒决策问题，强调数据质量（特别是OCR可读性）对评估有效性的重要性。

MirrorBench: A Benchmark to Evaluate Conversational User-Proxy Agents for Human-Likeness

MirrorBench: 一个评估对话用户代理人类化能力的基准测试

Ashutosh Hathidara, Julien Yu, Vaishali Senthil, Sebastian Schreiber, Anil Babu Ankisettipalli

机构 * SAP Labs（SAP实验室） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出MirrorBench基准测试，用于评估对话用户代理的人类化能力，通过结合多种词汇多样性指标和LLM评估指标，揭示用户代理与真实人类用户之间的系统性差距。

Comments KDD 2026 (Dataset & Benchmark Track)

Does Fixing Break Security? An Empirical Study of Security Degradation in Iterative LLM-Driven Infrastructure-as-Code Repair

修复会破坏安全性吗？对迭代式大语言模型驱动的基础设施即代码修复中安全性退化的实证研究

Benjamin Agyekum, Fabio Santos

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究通过分析IaC-Eval基准的5968个场景，发现迭代式LLM驱动的IaC修复会引入约3.3%场景的安全退化，主要由资源重构导致，第3次迭代是最优停止点，为安全反馈设计提供指导。

Comments 20 pages, 3 figures, 5 tables. Accepted at the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026). To appear in LIPIcs Vol. 394

Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition

基于最优传输的基于大语言模型的视听语音识别语义对齐

Xugang Lu, Peng Shen, Yu Tsao, Hisashi Kawai

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的视听语音识别，提出基于最优传输的语义对齐框架，通过在多模态融合前对齐声学和视觉表征弥合模态差距，经实验验证该方法能有效提升性能，在多种条件下达到最优。

BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian

BavGround：巴伐利亚区域文化接地与方言能力基准

Jophin John, Michael Hoffmann, Jan Fillies, Michael A. Hedderich, Barbara Plank

机构 * Stanford University（斯坦福大学） ； Freie Universität Berlin（柏林自由大学） ； Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Leibniz Supercomputing Centre (LRZ)（莱布尼茨超级计算中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 该研究推出BavGround基准，评估LLM的巴伐利亚区域文化接地与方言能力，发现多语言模型在巴伐利亚语及源接地问题上表现欠佳，且评估协议会显著影响结论。

Class-Structure Preservation Beats Diversity: A Comprehensive Benchmark of Text Augmentation Methods for Imbalanced Text Classification

类结构保留优于多样性：不平衡文本分类的文本增强方法综合基准测试

Keito Inoshita

机构 * Faculty of Business and Commerce, Kansai University（关西大学商学部） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究构建含11种增强方法的基准，在7个数据集上测试后发现，基于LLM的增强性能不优于经典的EmbSMOTE，类结构保真度而非表面多样性是关键，建议检索式过采样作为不平衡多分类默认方法。

Before You Say It: Anticipating Verbal Behavior from Longitudinal Everyday Conversations with LLMs

在你开口前：基于与大语言模型（LLM）的日常纵向对话预测言语行为

Yasith Samaradivakara, Valdemar Danry, Paul Liang, Pattie Maes

专题命中 评测与基准 ：LLM(title_cn,summary_cn)

AI总结 本研究提出基于LLM的预测性行为建模方法，通过14名参与者超1000小时的纵向对话数据集，证实可预测特定用户言语行为，为构建个性化AI系统提供新方向。

Journal ref The 39th Annual ACM Symposium on User Interface Software and Technology, UIST 2026

What Breaks When LLMs Code? Characterizing Operational Safety Failures of Agentic Code Assistants

当LLM编码时会出现什么问题？表征自主代码助手的操作安全故障

Alif Al Hasan, Sumon Biswas

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过系统分析文献和GitHub问题，构建了包含33种操作风险类型的多维安全分类法，发现编码代理故障通常严重且主要源于约束违反、破坏性操作、授权绕过和欺骗。

Comments This paper is accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026), Research Track

Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation

超越局部准确率：面向受控大语言模型推理评估的协议级可识别性审计

Junhao Luo, Ning Huang, Ziqi Sha, Wenxuan Tang, Wei Deng

机构 * School of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究提出协议级可识别性审计方法，无需调用模型即可验证LLM评估协议的有效性，发现基础准确率与选择性响应保真度存在显著差异，还确定了冻结策略类的最小识别支持。

Comments 15 pages, 9 figures. Ning Huang, Ziqi Sha, and Wenxuan Tang contributed equally as second authors. Wei Deng is the corresponding author

LLM-Based Test Oracles: Source-of-Authority Taxonomy -- A Systematic Literature Review

基于大语言模型的测试预言机：权威来源分类法——一项系统文献综述

Ali Hassaan Mughal, Muhammad Bilal

机构 * Independent Researcher, USA（美国独立研究员） ； Technical University of Munich, Germany（德国技术大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过系统文献综述，沿权威来源、形式及裁决机制三轴分析相关研究，刻画领域、语言等情况，指出规范衍生权威最常见但仅占约一半研究，还报告了评估及失败情况并提出研究议程。

Comments 21 pages, 10 figures, 11 tables. Systematic literature review of 83 studies, reported under PRISMA 2020. Submitted to IEEE Access. Replication package: https://doi.org/10.5281/zenodo.21194940

DomusFM: A Foundation Model for Event-Based Behavioral Monitoring in Smart-Homes

DomusFM: 一个面向智能家居传感器数据的基础模型

Michele Fiori, Gabriele Civitarese, Flora D. Salim, Claudio Bettini

机构 * University of Milan（米兰大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 DomusFM是首个专为智能家居传感器数据设计的基础模型，通过自监督双对比学习范式实现语义和时间依赖性的建模，有效提升活动识别任务的性能。

From Multi-Resolution Cells to Gigapixel Whole Slide Images Foundation Model for Computational Pathology

从多分辨率细胞到千兆像素全切片图像：用于计算病理学的基础模型

Basit Alawode, Moshira Ali Abdalla, Dwarikanath Mahapatra, Muzammal Naseer, Sajid Javed

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对现有计算病理学模型泛化性受限的问题，提出多分辨率金字塔Transformer（MRPT），经多分辨率自监督预训练后，在34个数据集的多项任务中性能优于同类模型与多模态大语言模型。

Error Understanding in Program Code: A Systematic Study of LLM-DL Combinations for Multi-label Classification

利用LLM-DL进行程序代码错误理解的多标签分类

Md Faizul Ibne Amin, Yutaka Watanobe, Md. Mostafizer Rahman, Daniel M. Muepu, Md. Shahajada Mia

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文提出一种结合预训练语义编码器与高效递归解码器的多标签错误分类框架，通过实验验证其在编程教育和软件工程领域的有效性。

Jagged Judges: Epistemic Stability Under Silence, Pressure, and Persistence

波动评判者：在沉默、压力与坚持下的认知稳定性

Justin Zhao, Himaghna Bhattacharjee, Hannah Korevaar, Bhaktipriya Radharapu, Khalid El-Arini

机构 * Meta Superintelligence Labs（元超级智能实验室） ； FAIR at Meta（元公司FAIR研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本研究提出Wiggle框架测试LLM评判者的认知稳定性，发现9个前沿模型在压力下裁决波动显著，且多数压力会损害真实值，基线陪审团多数强度可预测波动项目。

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

CIDER：用于隐私偏好对齐的上下文披露边界数据集

Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

机构 * University of Washington（华盛顿大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文推出包含169名用户标注的CIDER数据集，用于评估LLM隐私偏好对齐，发现上下文个性化可提升预测准确率，GPT-5.4和Claude Sonnet 4.6表现更优。

Comments Accepted to COLM 2026

Do LLMs Beat Nash? Testing Decentralized Coordination in Self-Play Multi-Agent Games

大型语言模型智能体能胜过纳什（均衡）吗？测试自玩多智能体游戏中的去中心化协调

Deborah Sinishaw, Qile Zhu, Edwin Meriaux, Gregory Dudek

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究测试无通信时LLM智能体能否超越纳什均衡，构建无通信博弈基准发现部分前沿托管模型可超越纳什，开放权重模型收益有限且无法迁移至多智能体团队。

Comments 5 pages, 5 figures. Submitted to the 2026 IEEE MIT Undergraduate Research Technology Conference (URTC)