语言大模型 / LLM

Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models

守护历史真实：检测大语言模型中的历史修正主义

Francesco Ortu, Joeun Yook, Punya Syon Pandey, Keenan Samway, Bernhard Schölkopf, Alberto Cazzaniga, Rada Mihalcea, Zhijing Jin

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 该研究提出HistoricalMisinfo数据集，用于评估大语言模型在面对历史修正主义请求时的鲁棒性及事实准确性。

Comments Accepted at IASEAI 2026, non-archival

On Calibration of Large Language Models: From Response To Capability

对大型语言模型的校准：从响应到能力

Sin-Han Yang, Cheng-Kuang Wu, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee, Shao-Hua Sun

机构 * Appier AI Research（Appier人工智能研究院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出能力校准方法，用于改进大型语言模型在查询上的准确性估计，以提升预测和资源分配效果。

Comments preprint

AECBench: A Hierarchical Benchmark for Knowledge Evaluation of Large Language Models in the AEC Field

AECBench: 一个用于评估大型语言模型在AEC领域知识能力的分层基准

Chen Liang, Zhaoqi Huang, Haofen Wang, Fu Chai, Chunying Yu, Huanhuan Wei, Zhengjie Liu, Yanpeng Li, Hongjun Wang, Ruifeng Luo, Xianzhong Zhao

机构 * College of Civil Engineering, Tongji University（同济大学土木工程学院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Arcplus Group East China Architectural Design & Research Institute Co., Ltd.（Arcplus集团东部建筑设计与研究研究院有限公司） ； College of Design and Innovation, Tongji University（同济大学设计与创新学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AECBench提出一个分层基准，评估大型语言模型在AEC领域知识能力，揭示模型在复杂推理和文档生成方面的不足。

Comments Accepted by Advanced Engineering Informatics. Code and data available at: https://github.com/ArchiAI-LAB/AECBench

Journal ref Advanced Engineering Informatics, Vol. 71, Article 104314 (2026)

Improving Code Generation via Small Language Model-as-a-judge

通过小型语言模型作为评判者改进代码生成

Giuseppe Crupi, Rosalia Tufano, Gabriele Bavota

专题命中 评测与基准 ：language model(title,abstract)；small language model(title)；large language model(abstract)；SLM(abstract)

AI总结 通过训练小型语言模型作为代码正确性评判者，改进代码生成性能，展现其在无需执行信息时优于现有方法，并以更低成本接近大规模模型表现。

Comments Accepted to the 48th International Conference on Software Engineering (ICSE 2026)

A Large-Scale Benchmark for Evaluating Large Language Models on Medical Question Answering in Romanian

面向罗马尼亚语医疗问答的大型基准测试

Ana-Cristina Rogoz, Radu Tudor Ionescu, Alexandra-Valentina Anghel, Ionut-Lucian Antone-Iordache, Simona Coniac, Andreea Iuliana Ionescu

机构 * University of Bucharest（布加勒斯特大学） ； Colţea Clinical Hospital（科尔切亚临床医院） ； Hospice Hope Bucharest（希望临终关怀布加勒斯特医院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出首个罗马尼亚语医疗问答基准测试MedQARo，评估了多种LLM在医疗问答任务中的表现，发现微调模型在泛化能力上优于零样本模型。

Comments Accepted in npj Digital Medicine

Benchmarking Large Language Models for Geolocating Colonial Virginia Land Grants

对殖民弗吉尼亚土地授予进行大规模语言模型评估

Ryan Mioduski

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究评估了大规模语言模型在将殖民弗吉尼亚土地授予描述转换为地理坐标方面的性能，发现模型在准确性与成本效益上表现优异。

Journal ref Journal of Spatial Information Science, No. 31 (2025), pp. 57-96

CORE: Comprehensive Ontological Relation Evaluation for Large Language Models

CORE：面向大语言模型的全面本体关系评估

Satyam Dwivedi, Sanjukta Ghosh, Shivam Dwivedi, Nishi Kumari, Anil Thakur, Anurag Purushottam, Deepak Alok, Praveen Gatla, Manjuprasad B, Bipasha Patgiri

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CORE提出一个全面评估大语言模型语义关系区分能力的数据集和基准测试，揭示其在无关性推理上的显著缺陷。

Are Large Language Models Sensitive to the Motives Behind Communication?

大型语言模型对沟通动机是否敏感？

Addison J. Wu, Ryan Liu, Kerem Oktar, Theodore R. Sumers, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） ； Anthropic 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了LLMs对沟通动机的敏感性，通过实验发现LLMs能以人类方式处理偏见信息，但需改进以适应更复杂的现实场景。

Comments NeurIPS 2025

Wikontic: Constructing Wikidata-Aligned, Ontology-Aware Knowledge Graphs with Large Language Models

Wikontic: 构建与维基数据对齐、本体感知的知识图谱

Alla Chepurova, Aydar Bulatov, Mikhail Burtsev, Yuri Kuratov

机构 * Cognitive AI Systems Lab（认知人工智能系统实验室） ； Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所） ； London Institute for Mathematical Sciences（伦敦数学科学研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Wikontic通过多阶段流程构建维基数据对齐、本体感知的知识图谱，提升KG质量并实现高效构建。

Evaluating Large Language Models for Time Series Anomaly Detection in Aerospace Software

评估大型语言模型在航空航天软件时间序列异常检测中的应用

Yang Liu, Yixing Luo, Xiaofeng Li, Xiaogang Dong, Bin Gu, Zhi Jin

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出ATSADBench基准，评估大型语言模型在航空航天软件时间序列异常检测中的性能，发现其在单变量任务表现良好，但多变量任务效果欠佳，且RAG策略可能加剧假警报问题。

Comments This paper has been accepted by ASE 2025

Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

语言模型的不确定性量化：一套黑盒、白盒、LLM评判者和集成评分器

Dylan Bouchard, Mohit Singh Chauhan

机构 * CVS Health（CVS健康公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种灵活的框架，利用黑盒、白盒、LLM评判者和集成评分器来检测语言模型的幻觉问题，通过可调节的集成方法提升检测性能。

Comments Accepted by TMLR; UQLM repository: https://github.com/cvs-health/uqlm

Journal ref Transactions on Machine Learning Research, 2025

TeleTables: A Benchmark for Large Language Models in Telecom Table Interpretation

TeleTables: 电信表格解释中的大语言模型基准

Anas Ezzakri, Nicola Piovesan, Mohamed Sana, Antonio De Domenico, Fadhel Ayed, Haozhe Zhang

机构 * Paris Research Center, Huawei Technologies（巴黎研究中心，华为技术） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract)；pretraining(abstract)

AI总结 TeleTables 是一个用于评估大语言模型在电信表格解释能力的基准，揭示了在电信标准上进行领域微调的重要性。

Evaluating Large Language Models for Line-Level Vulnerability Localization

评估大型语言模型在行级漏洞定位中的表现

Jian Zhang, Chong Wang, Anran Li, Weisong Sun, Cen Zhang, Wei Ma, Yang Liu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文评估了大型语言模型在行级漏洞定位中的表现，发现判别微调在有充足训练数据时效果显著，而提示方法在低数据环境下更有效，同时提出了改进微调过程的策略。

Comments Accepted to TSE

A Women's Health Benchmark for Large Language Models

为大型语言模型建立女性健康基准

Victoria-Elisabeth Gruber, Razvan Marinescu, Diego Fajardo, Amin H. Nassar, Christopher Arkfeld, Alexandria Ludlow, Shama Patel, Mehrnoosh Samaei, Valerie Klug, Anna Huber, Marcel Gühner, Albert Botta i Orfila, Irene Lagoja, Kimya Tarr, Haleigh Larson, Mary Beth Howard

机构 * Lumos AI ； Medical Oncology, Yale Cancer Center（耶鲁癌症中心医学肿瘤学部） ； Obstetrics and Gynecology, MGH, Harvard Medical School（妇产科，MGH，哈佛医学院） ； Obstetrics, Gynecology & Reproductive Sciences, UCSF（妇产科与生殖科学，UCSF） ； Brown Division of Global Emergency Medicine（全球急诊医学部，布朗分部） ； Department of Emergency Medicine, Emory University（急诊医学部，埃默里大学） ； Pharmacy Department, Clinic Ottakring（药学部，克利克诊所） ； Windrush Surgery, Buckinghamshire, Oxfordshire and Berkshire West Integrated Care Board, NHS（温德许手术，贝肯ham郡，牛津郡和伯克希尔西部整合护理委员会，NHS） ； Women’s Health Research, Yale School of Medicine（女性健康研究，耶鲁医学院） ； Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出女性健康基准，评估LLM在女性健康领域的表现，发现现有模型在关键任务上存在显著缺陷，需进一步改进以提供可靠医疗建议。

Comments 15 pages, 6 Figures, 2 Tables

Identifying and Mitigating API Misuse in Large Language Models

识别和缓解大语言模型中的API误用

Terry Yue Zhuo, Junda He, Jiamou Sun, Zhenchang Xing, David Lo, John Grundy, Xiaoning Du

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出Dr.Fix方法，通过分类法指导LLM自动修复生成代码中的API误用问题，提升修复精度。

Comments Accepted at IEEE Transactions on Software Engineering (TSE)

Solving Inequality Proofs with Large Language Models

用大语言模型解决不等式证明

Pan Lu, Jiayi Sheng, Luna Lyu, Jikai Jin, Tony Xia, Alex Gu, James Zou

机构 * Stanford University（斯坦福大学） ； UC Berkeley（伯克利大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种非正式但可验证的任务公式化方法，通过IneqMath数据集和LLM-as-judge评估框架，揭示了大语言模型在解决不等式证明任务中的局限性及改进方向。

Comments 50 pages, 24 figures, accepted as a Spotlight at NeurIPS 2025

Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training

重新审视大型语言模型训练中下游指标的缩放特性

Jakub Krajewski, Amitis Shidani, Dan Busbridge, Sam Wiseman, Jason Ramapuram

机构 * Apple（苹果公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出直接框架建模LLM训练预算与下游任务性能的缩放关系，发现幂律可准确描述log准确率，且优于传统两阶段方法。

Automatic Syntax Error Repair for Discrete Controller Synthesis using Large Language Model

利用大语言模型实现离散控制器综合的自动语法错误修复

Yusei Ishimizu, Takuto Yamauchi, Sinan Chen, Jinyu Cai, Jialong Li, Kenji Tei

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出利用大语言模型自动修复离散控制器综合模型中的语法错误，通过设计提示策略提高修复准确性和效率，实验显示其比人类开发者快3.46倍。

A Survey on Large Language Model-based Agents for Statistics and Data Science

关于基于大型语言模型的统计与数据科学代理的综述

Maojun Sun, Ruijian Han, Binyan Jiang, Houduo Qi, Defeng Sun, Yancheng Yuan, Jian Huang

机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了基于大型语言模型的数据科学代理的发展、能力和应用，探讨了其设计趋势及实际应用，并提出了未来研究方向。

Journal ref Am. Statist. (2025) 1-14

Large Language Model Unlearning for Source Code

大型语言模型的源代码去学习

Xue Jiang, Yihong Dong, Huangzhao Zhang, Tangxinyu Wang, Zheng Fang, Yingwei Ma, Rongyu Cao, Binhua Li, Zhi Jin, Wenpin Jiao, Yongbin Li, Ge Li

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本研究提出PROD方法，通过精确去学习源代码中的违规片段，提升代码生成的可靠性与安全性。

Comments Accepted to AAAI'26

Connectomics Informed by Large Language Models

Elinor Thompson, Tiantian He, Anna Schroder, Ahmed Abdulaal, Alec Sargood, Sonja Soskic, Henry F. J. Tregidgo, Daniel C. Alexander

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments 35 pages, 10 figures

Zero-shot data citation function classification using transformer-based large language models (LLMs)

Neil Byers, Ali Zaidi, Valerie Skye, Chris Beecroft, Kjiersten Fagnan

机构 * DOE Joint Genome Institute（美国能源部联合基因组研究所） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Rethinking Facial Expression Recognition in the Era of Multimodal Large Language Models: Benchmark, Datasets, and Beyond

Fan Zhang, Haoxuan Li, Shengju Qian, Xin Wang, Zheng Lian, Hao Wu, Zhihong Zhu, Yuan Gao, Qiankun Li, Yefeng Zheng, Zhouchen Lin, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Tencent（腾讯） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Westlake University（西湖大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；post-training(abstract)

Chitchat with AI: Understand the supply chain carbon disclosure of companies worldwide through Large Language Model

Haotian Hang, Yueyang Shen, Vicky Zhu, Jose Cruz, Michelle Li

机构 * University of Southern California（南加州大学） ； University of Michigan（密歇根大学） ； Babson College（巴布森学院） ； University of Connecticut（康涅狄格大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

FaithLM: Towards Faithful Explanations for Large Language Models

Yu-Neng Chuang, Guanchu Wang, Chia-Yuan Chang, Ruixiang Tang, Shaochen Zhong, Fan Yang, Mengnan Du, Xuanting Cai, Vladimir Braverman, Xia Hu

机构 * Rice University（里士大学） ； Texas A&M University（德克萨斯农工大学） ； Wake Forest University（沃杰森林大学） ； New Jersey Institute of Technology（新泽西理工学院） ； John Hopkins University（约翰霍普金斯大学） ； Google Research（谷歌研究） ； Meta Platforms, Inc.（元宇宙平台公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Jailbreak Mimicry: Automated Discovery of Narrative-Based Jailbreaks for Large Language Models

Pavlos Ntais

机构 * University of Athens（雅典大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 18 pages, 5 figures

CodeVisionary: An Agent-based Framework for Evaluating Large Language Models in Code Generation

Xinchen Wang, Pengfei Gao, Chao Peng, Ruida Hu, Cuiyun Gao

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； ByteDance（字节跳动） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Human-Aligned Code Readability Assessment with Large Language Models

Wendkûuni C. Ouédraogo, Yinghua Li, Xueqi Dang, Pawel Borsukiewicz, Xin Zhou, Anil Koyuncu, Jacques Klein, David Lo, Tegawendé F. Bissyandé

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models

Dong Shu, Xuansheng Wu, Haiyan Zhao, Daking Rai, Ziyu Yao, Ninghao Liu, Mengnan Du

机构 * Northwestern University（西北大学） ； University of Georgia（佐治亚大学） ； New Jersey Institute of Technology（新泽西理工学院） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 Findings

Probabilistic Token Alignment for Large Language Model Fusion

Runjia Zeng, James Chenhao Liang, Cheng Han, Zhiwen Cao, Jiahao Liu, Xiaojun Quan, Yingjie Victor Chen, Lifu Huang, Tong Geng, Qifan Wang, Dongfang Liu

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； U.S. Naval Research Laboratory（美国海军研究实验室） ； University of Missouri-Kansas City（密苏里大学-Kansas城分校） ； Adobe（Adobe公司） ； Meituan（美团） ； Sun Yat-sen University（孙中山大学） ； Purdue University（普渡大学） ； UC Davis（加州大学戴维斯分校） ； University of Rochester（罗切斯特大学） ； Rice University（莱斯大学） ； Meta AI 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025