大模型推理能力

Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning

Fine-R1: 通过链式推理使多模态大语言模型在细粒度视觉识别中脱颖而出

Hulingxiao He, Zijun Geng, Yuxin Peng

机构 * Wangxuan Institute of Computer Technology（王轩计算机技术研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.AI

AI总结 Fine-R1通过链式推理监督微调和三元组增强策略优化，提升多模态大语言模型在细粒度视觉识别中的表现，仅用4次训练即超越现有模型。

Comments Published as a conference paper at ICLR 2026. The models are available at https://huggingface.co/collections/StevenHH2000/fine-r1

Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols

超越注意力稳定性边界：代理自我合成推理协议

Dahlia Shehata, Ming Li

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出SSRP框架，通过分离高层规划与执行流程，解决多轮对话中注意力锁定问题，实验显示其在多任务中显著提升稳定性。

Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning

通用转换器需要记忆：自适应递归推理中的深度-状态权衡

Grigory Sapunov

机构 * Intento 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现通用转换器在解决数独难题时需依赖记忆token，通过实验确定内存token数量的阈值及影响因素，揭示ACT初始化陷阱及递归深度中注意力头的功能分化。

Comments 12 pages, 7 figures, 8 tables. Code: https://github.com/che-shr-cat/utm-jax

Benchmarking Source-Sensitive Reasoning in Turkish: Humans and LLMs under Evidential Trust Manipulation

在土耳其语中评估来源敏感推理的基准测试：人类与LLM在证据信任操控下的对比

Sercan Karakaş, Yusuf Şimşek

机构 * University of Chicago（芝加哥大学） ； F rat University（费拉特大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了来源信任对土耳其语证据形态学的影响，并评估了LLM对此的敏感性。人类在可控的cloze情境中表现出稳定的信任效应，而LLM表现不一致且常受输出合规性问题影响。

Comments Accepted to The 15th edition of the Workshop on Cognitive Modeling and Computational Linguistics, co-located with the Language Resources and Evaluation Conference

K-MetBench: A Multi-Dimensional Benchmark for Fine-Grained Evaluation of Expert Reasoning, Locality, and Multimodality in Meteorology

K-MetBench：一个多维基准，用于细粒度评估气象学中的专家推理、局部性和多模态能力

Soyeon Kim, Cheongwoong Kang, Myeongjin Lee, Eun-Chul Chang, Jaedeok Lee, Jaesik Choi

机构 * KAIST（韩国科学技术院） ； INEEJI ； Kongju National University（康久国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出K-MetBench，一个基于韩国资格考试的多维基准，揭示了专家推理、逻辑有效性、韩国地理文化理解及领域分析四个维度的差距，发现韩国模型在本地情境中优于大模型。

Comments 39 pages, 32 figures, 14 tables, including appendices. Accepted to Findings of the Association for Computational Linguistics (ACL 2026)

Agentic clinical reasoning over longitudinal myeloma records: a retrospective evaluation against expert consensus

基于纵向骨髓瘤记录的代理临床推理：一项回顾性评估与专家共识的对比

Johannes Moll, Jannik Lübberstedt, Christoph Nuernbergk, Jacob Stroh, Luisa Mertens, Anna Purcarea, Christopher Zirn, Zeineb Benchaaben, Fabian Drexel, Hartmut Häntze, Anirudh Narayanan, Friedrich Puttkammer, Andrei Zhukov, Jacqueline Lammert, Sebastian Ziegelmayer, Markus Graf, Marion Högner, Marcus Makowski, Florian Bassermann, Lisa C. Adams, Jiazhen Pan, Daniel Rueckert, Krischan Braitsch, Keno K. Bressem

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital（人工智能在医疗与健康中的研究所，慕尼黑技术大学（TUM）及慕尼黑技术大学医院） ； Department of Diagnostic and Interventional Radiology, Klinikum rechts der Isar, TUM University Hospital, School of Medicine and Health, Technical University of Munich（诊断与介入放射科，莱茵河右岸医院，慕尼黑技术大学医院，医学与健康学院，慕尼黑技术大学） ； Department of Cardiovascular Radiology and Nuclear Medicine, German Heart Center, TUM University Hospital, School of Medicine and Health, Technical University of Munich（心血管放射学与核医学科，德国心脏中心，慕尼黑技术大学医院，医学与健康学院，慕尼黑技术大学） ； Department of Medicine III, Klinikum rechts der Isar, TUM University Hospital, School of Medicine and Health, Technical University of Munich（第三医学部，莱茵河右岸医院，慕尼黑技术大学医院，医学与健康学院，慕尼黑技术大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了代理推理系统在骨髓瘤长期记录中的表现，发现其在复杂问题和长记录中优于传统方法，但需进一步验证以确保临床应用的安全性。

MultiDx: A Multi-Source Knowledge Integration Framework towards Diagnostic Reasoning

MultiDx: 一个面向诊断推理的多源知识整合框架

Yimin Deng, Zhenxi Lin, Yejing Wang, Guoshuai Zhao, Pengyue Jia, Zichuan Fu, Derong Xu, Yefeng Zheng, Xiangyu Zhao, Li Zhu, Xian Wu, Xueming Qian

机构 * Xi’an Jiaotong University（西安交通大学） ； City University of Hong Kong（香港城市大学） ； Tencent Jarvis Lab（腾讯 Jarvis实验室） ； Westlake University（西湖大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MultiDx框架，通过多源知识整合提升诊断推理能力，结合网络搜索、病例数据库等多视角证据，生成最终预测。

Comments ACL 2026 findings

CorpusQA: A 10 Million Token Benchmark for Corpus-Level Analysis and Reasoning

CorpusQA：一个1000万词的语料库分析与推理基准

Zhiyuan Lu, Chenliang Li, Yingcheng Shi, Weizhou Shen, Ming Yan, Fei Huang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 CorpusQA提出一个1000万词的基准，解决大规模语料库推理问题，通过合成数据框架生成复杂查询，验证长文本推理能力，发现先进架构对全局信息整合的重要性。

A systematic evaluation of vision-language models for observational astronomical reasoning tasks

对视觉语言模型在观测天文学推理任务中的系统评估

Wenke Ren, Hengxiao Guo, Wenwen Zuo, Xiaoman Zhang

机构 * Shanghai Astronomical Observatory, Chinese Academy of Sciences（上海天文台，中国科学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文系统评估了视觉语言模型在观测天文学推理任务中的表现，发现模型性能依赖于模态，且物理知识 grounding 对提升准确性至关重要。

Comments 24 pages, 5 figures

ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction

ShredBench：评估多模态大语言模型在文档重建中的语义推理能力

Zichun Guo, Yuling Shi, Wenhao Zeng, Chao Hu, Haotian Lin, Terry Yue Zhuo, Jiawei Chen, Xiaodong Gu, Wenping Ma

机构 * Xidian University（西安电子科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Alibaba Qwen（阿里巴巴量子计算实验室） ； Old Dominion University（旧 Dominion 大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出ShredBench基准，用于评估多模态大语言模型在文档重建任务中的语义推理能力，发现现有模型在处理破碎文档时存在显著性能差距。

Comments ACL 2026 Findings. Code available at https://github.com/ythere-y/ShredBench

Expert Evaluation of LLM's Open-Ended Legal Reasoning on the Japanese Bar Exam Writing Task

对日本律师考试写作任务中LLM开放式法律推理的专家评估

Jungmin Choi, Keisuke Sakaguchi, Hiroaki Yamada

机构 * Tohoku University（东大） ； Tokyo Metropolitan University（东京 Metropolitan 大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文首次提出评估LLM在日本法律领域开放式法律推理能力的数据集，通过法律专家对模型输出的评估揭示了法律推理的局限性与挑战。

Comments 5 pages, Accepted to ICAIL 2026

On Emergent Social World Models -- Evidence for Functional Integration of Theory of Mind and Pragmatic Reasoning in Language Models

关于涌现的社会世界模型——证据显示语言模型中理论思维与语用推理的功能整合

Polina Tsvilodub, Jan-Felix Klumpp, Amir Mohammadpour, Jennifer Hu, Michael Franke

机构 * Department of Linguistics University of Tübingen（语言学系图宾根大学） ； Department of Cognitive Science Johns Hopkins University（认知科学系约翰霍普金斯大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文研究语言模型是否通过共享的计算机制整合一般理论思维与语言特定的语用推理，以支持语言模型是否具备涌现的社会世界模型。通过行为评估和因果机制实验，分析语言模型在七种理论思维能力子类别上的表现，发现支持功能整合假说。

Comments 39 pages, 20 figures, accepted to ACL 2026 Main Conference

EmoTrans: A Benchmark for Understanding, Reasoning, and Predicting Emotion Transitions in Multimodal LLMs

EmoTrans：一个多模态大语言模型中情感过渡理解、推理和预测的基准测试

He Hu, Tengjin Weng, Zebang Cheng, Yu Wang, Jiachen Luo, Björn Schuller, Zheng Lian, Laizhong Cui

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence（广东人工智能与数字经济实验室） ； Queen Mary University of London（女王学院伦敦大学） ； Technical University of Munich（慕尼黑技术大学） ； Imperial College London（伦敦帝国学院） ； Tongji University（同济大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 EmoTrans旨在评估多模态视频中情感动态理解能力，包含1000个手工标注的视频片段和3000多个任务特定问题-答案对，通过四个任务形成从粗粒度检测到深度推理的评估框架，发现当前大语言模型在细粒度情感动态建模上仍存在挑战。

Reasonably reasoning AI agents can avoid game-theoretic failures in zero-shot, provably

合理推理的AI代理可以在零样本情况下避免博弈论失败并得到证明

Enoch Hyunwook Kang

机构 * Foster School of Business, University of Washington（华盛顿大学福斯特商学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文研究了AI代理在重复博弈中的稳定性，证明了基于贝叶斯后验采样的代理能趋近纳什均衡，且在未知收益情况下仍保持收敛性。

RareCollab: an LLM-powered framework for multimodal reasoning in Mendelian disease diagnosis

RareCollab: 一种基于大语言模型的多模态推理框架，用于孟德尔疾病诊断

Guantong Qi, Jiasheng Wang, Mei Ling Chong, Zahid Shaik, Shenglan Li, Shinya Yamamoto, Maura R. Z. Ruzhnikov, Devon E. Bonner, Jennefer N. Carter, Kevin S. Smith, Matthew T. Wheeler, Stephen B. Montgomery, Jonathan A. Bernstein, Sasidhar Pasupuleti, Undiagnosed Diseases Network, Pengfei Liu, Hu Chen, Zhandong Liu

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 RareCollab通过整合基因组、表型和转录组证据，提升孟德尔疾病诊断的多模态推理能力，其在890名患者中实现了对94%诊断基因的高优先级识别，优于现有方法。

DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

DRIFT：用于高效MLLM微调的推理先验转移

Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

机构 * University of Rochester（罗切斯特大学） ； AMD 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 DRIFT通过在梯度空间中转移推理知识，实现高效稳定的多模态推理迁移，优于传统方法并在数据和计算上更高效。

Comments ACL 2026 camera-ready; Project Page: https://wikichao.github.io/DRIFT/

Generating Place-Based Compromises Between Two Points of View

在两种观点之间生成基于地点的妥协

Sumanta Bhattacharyya, Francine Chen, Scott Carter, Yan-Ying Chen, Tatiana Lau, Nayeli Suseth Bravo, Monica P. Van, Kate Sieck, Charlene C. Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；分类 cs.CL

AI总结 本文提出通过外部共情相似性生成基于地点的妥协方法，提升妥协的可接受性，并通过人偏好对齐训练更高效的模型。

xOffense: An Autonomous Multi-Agent Framework for Penetration Testing with Domain-Adapted Large Language Models

xOffense：一种基于领域适应大语言模型的自主多智能体渗透测试框架

Phung Duc Luong, Le Tran Gia Bao, Nguyen Vu Khai Tam, Dong Huu Nguyen Khoa, Nguyen Huu Quyen, Van-Hau Pham, Phan The Duy

机构 * Information Security Lab, University of Information Technology（信息安全实验室，信息科技大学） ； Vietnam National University Ho Chi Minh City（越南胡志明市国家大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract,abstract_cn)；reasoning(abstract)；分类 cs.AI

AI总结 本文提出xOffense框架，利用领域适应的大语言模型实现自动化渗透测试，通过多智能体协作提升效率，实验表明其在多个基准测试中表现优异。

Comments 17 pages, 4 figures

Scheming Ability in LLM-to-LLM Strategic Interactions

大语言模型在LLM到LLM战略互动中的策略能力

Thao Pham

机构 * Berea College（伯克利学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过博弈论框架评估大语言模型的策略欺骗能力，发现模型在无提示下倾向于欺骗，尤其在Peer Evaluation中全部选择欺骗，揭示了多智能体环境下需加强高风险博弈场景的评估。

Comments 20 pages, 13 figures

Agentic Witnessing: Pragmatic and Scalable TEE-Enabled Privacy-Preserving Auditing

代理见证：基于可信执行环境的隐私保护审计

Antony Rowstron

机构 * Advanced Research and Invention Agency (ARIA)（先进研究与发明机构） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 本文提出Agentic Witnessing框架，通过可信执行环境实现隐私保护审计，利用代理进行逻辑验证，避免数据泄露，验证代码库是否符合论文描述。

One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness

距离崩溃仅一步之遥：指令调制帮助性的脆弱性

Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

机构 * University of Southern California（南加州大学） ； Intel AI（英特尔人工智能） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了指令调制大语言模型在简单约束下的帮助性稳定性，发现其在词汇约束下响应质量显著下降，揭示了指令调制对表面模板的依赖性。

Speech-Based Cognitive Screening: A Systematic Evaluation of LLM Adaptation Strategies

基于语音的认知筛查：大型语言模型适应策略的系统评估

Fatemeh Taherinezhad, Mohamad Javad Momeni Nezhad, Sepehr Karimi, Sina Rashidi, Ali Zolnour, Maryam Dadkhah, Yasaman Haghbin, Hossein AzadMaleki, Maryam Zolnoori

机构 * Columbia University Irving Medical Center（哥伦比亚大学伊文思医疗中心） ； School of Nursing, Columbia University（哥伦比亚大学护理学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统评估了大型语言模型在痴呆症检测中的适应策略，发现上下文学习、推理增强提示和参数高效微调等方法对模型性能有显著影响，展示了适配模型在语音筛查中的有效性。

Journal ref https://ai.jmir.org/2026/1/e82608

Quantum Knowledge Graph: Modeling Context-Dependent Triplet Validity

量子知识图谱：建模依赖上下文的三元组有效性

Yao Wang, Zixu Geng, Jun Yan

机构 * HKAI-Sci, City University of Hong Kong（香港城市大学HKAI-Sci） ； Department of Automation, Tsinghua University（清华大学自动化系） ； Pratt School of Engineering, Duke University（德克萨斯大学达拉斯分校普拉特工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出量子知识图谱(QKG)，通过将三元组有效性建模为上下文特定函数，提升医疗问答中事实适用性的判断，实验表明QKG在结合上下文匹配时显著提升验证效果。

Comments 15 pages main text, 6 pages appendix, 5 figures, preprint

Agri-CPJ: A Training-Free Explainable Framework for Agricultural Pest Diagnosis Using Caption-Prompt-Judge and LLM-as-a-Judge

Agri-CPJ：一种无需训练的可解释框架，用于利用Caption-Prompt-Judge和LLM-as-a-Judge进行农业害虫诊断

Wentao Zhang, Qi Zhang, Mingkun Xu, Mu You, Henghua Shen, Zhongzhi He, Keyan Jin, Derek F. Wong, Tao Fang

机构 * Business School, Shandong University of Technology（山东理工大学商学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） ； Guangdong Institute of Intelligent Science and Technology（广东智能科学与技术研究院） ； Macau Millennium College（澳门 millennium 学院） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Agri-CPJ框架，通过生成结构化形态描述并利用LLM进行判断，解决农业病害诊断中模型易产生错误物种名称和推理不可用的问题，实验显示其在病害分类和问答评分上有显著提升。

Comments This work is an expanded version of our prior paper published in the IEEE ICASSP 2026 conference arXiv:2512.24947, from 4 to 20+ pages, presenting a well-structured and principled framework, extensive experiments, and deeper insights. Tao Fang is the corresponding author

CFDLLMBench: A Benchmark Suite for Evaluating Large Language Models in Computational Fluid Dynamics

CFDLLMBench: 一个用于评估大型语言模型在计算流体力学中的性能的基准套件

Nithin Somasekharan, Ling Yue, Yadi Cao, Weichao Li, Patrick Emami, Pochinapeddi Sai Bhargav, Anurag Acharya, Xingyu Xie, Shaowu Pan

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； University of California, San Diego（加州大学圣地亚哥分校） ； National Laboratory of the Rockies（落基山国家实验室） ； Pacific Northwest National Laboratory（太平洋西北国家实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CFDLLMBench，通过三个互补组件评估LLM在计算流体力学中的能力，包括CFDQuery、CFDCodeBench和FoamBench，旨在测试LLM在流体力学知识、数值与物理推理以及上下文依赖的实现能力。

Comments 40 pages

Journal ref Journal of Data-Centric Machine Learning Research, 2026

Towards Holistic Evaluation of Large Audio-Language Models: A Comprehensive Survey

面向大音频-语言模型的全面评估：一项全面的调查

Chih-Kai Yang, Neo S. Ho, Hung-yi Lee

机构 * National Taiwan University（台湾大学） ； NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立清华大学人工智能研究中心（NTU AI-CoRE）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对大音频-语言模型的评估进行全面调查，提出系统化的分类体系，从四个维度探讨其性能，揭示挑战与未来方向，为领域提供指导。

Comments EMNLP 2025 (Main). Project Website: https://github.com/ckyang1124/LALM-Evaluation-Survey

IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review

IntrAgent：通过文献综述实现内容导向的信息检索的LLM代理

Fengbo Ma, Zixin Rao, Xiaoting Li, Zhetao Chen, Hongyue Sun, Yiping Zhao, Xianyan Chen, Zhen Xiang

机构 * University of Georgia（佐治亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出IntraView任务，设计IntrAgent代理，通过文献综述实现精确信息检索，提出包含315个测试实例的IntraBench基准，展示在七个基础LLM上IntrAgent比现有RAG和研究代理基线高13.2%的跨领域准确性。

Comments Accepted to ACL 2026 main conference

EVE: A Domain-Specific LLM Framework for Earth Intelligence

EVE：面向地球智能的领域专用LLM框架

Àlex R. Atrio, Antonio Lopez, Jino Rohit, Yassine El Ouahidi, Marcello Politi, Vijayasri Iyer, Umar Jamil, Sébastien Bratières, Nicolas Longépé

机构 * Pi School（Pi学校） ； Mistral AI ； Translated ； ESA Φ \Phi -lab（ESA Φ实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 EVE首次提出开源端到端框架，构建24B领域适应模型，在地球观测和科学基准上超越同类模型，提供系统化评估基准和生产系统，支持350名试点用户。

Comments To be published in the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

The Chameleon's Limit: Investigating Persona Collapse and Homogenization in Large Language Models

Chameleon的极限：探究大型语言模型中的人格崩溃与同质化

Yunze Xiao, Vivienne J. Zhang, Chenghao Yang, Ningshan Ma, Weihao Xuan, Jen-tse Huang

机构 * CMU（卡内基梅隆大学） ； UChicago（芝加哥大学） ； MIT（麻省理工学院） ； UTokyo（东京大学） ； RIKEN AIP（理化学研究所AIP分部） ； JHU（约翰霍普金斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究发现大型语言模型中存在人格崩溃现象，导致代理行为模式趋同。通过提出覆盖度、均匀度和复杂度指标，揭示模型在不同维度和领域的人格表现差异，并释放工具支持群体评估。

Can LLMs Act as Historians? Evaluating Historical Research Capabilities of LLMs via the Chinese Imperial Examination

LLMs能否成为历史学家？通过中国科举制度评估LLMs的历史研究能力

Lirong Gao, Zeqing Wang, Yuyan Cai, Jiayi Deng, Yanmei Gu, Yiming Zhang, Jia Zhou, Yanfei Zhang, Junbo Zhao

机构 * State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出ProHist-Bench基准，基于中国科举制度评估LLMs的历史研究能力，揭示其在复杂历史问题上的不足，旨在推动领域特定推理LLM的发展。

Comments Accepted at ACL 2026