语言大模型 / LLM

Personality Without Persons? A Psychometric Critique of Big Five Testing in Large Language Models

无人格的人格？大语言模型中大五人格测试的心理测量学批判

Kim Zierahn, Cristina Cachero, Anna Korhonen, Nuria Oliver

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 通过心理测量学评估大语言模型的大五人格测试，发现其不适用于LLMs，无法捕捉模型间差异且因子结构失效，建议开发针对LLMs的评估框架。

Comments 11 pages

Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

多语言环境和低资源语言中LLM-as-a-Judge的挑战与建议

A. Seza Doğruöz, Xixian Liao, Verena Blaschke, Jakob Prange, Senyu Li, David Ifeoluwa Adelani

机构 * LT3, IDLab, Universiteit Gent, Barcelona Supercomputing Center, LMU Munich & Munich Center for Machine Learning, German Center for Addiction Research in Childhood and Adolescence, University Medical Center Hamburg-Eppendorf, Mila - Quebec AI Institute, McGill University, Canada CIFAR AI Chair（LT3、IDLab、根特大学、巴塞罗那超级计算中心、慕尼黑莱茵河大学及慕尼黑机器学习中心、德国成年期成瘾研究中心、汉堡埃彭多夫大学医学中心、魁北克人工智能研究所、麦吉尔大学、加拿大 CIFAR 人工智能主席） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文分析ACL论文中LLM-as-a-Judge在多语言和低资源语言评估中的应用，发现仅有33篇相关论文，存在评估结果不一致、过度信任LLM判断及依赖单一模型等问题，并提出改进建议。

Comments Under Review

Underspecification does not imply Incoherence: The Risks of Semantic Collapse in Coding Models

欠指定并不意味着不一致：编码模型中语义坍缩的风险

Cedric Richter, Mike Papadakis

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究发现LLM在任务描述欠指定时，常坍缩到单一错误解释，生成一致但行为错位的代码，称为有害语义坍缩，影响多个基准测试。

Comments 11 pages

Can LLMs Credibly Transform the Creation of Panel Data from Diverse Historical Tables?

LLM能否可信地转换来自不同历史表格的面板数据？

Verónica Bäcker-Peral, Vitaly Meursault, Christopher Severen

专题命中 评测与基准 ：LLM(title_cn,summary_cn)

AI总结 提出基于多模态LLM的管道，以低成本从历史表格中提取面板数据，在车辆登记数据上达到95.4%精确匹配率，成本仅为传统方法的1/50。

Psychological Steering in LLMs: An Evaluation of Effectiveness and Trustworthiness

LLMs中的心理引导：有效性与可信度评估

Amin Banayeeanzade, Ala N. Tak, Fatemeh Bahrani, Anahita Bolourani, Leonardo Blas, Emilio Ferrara, Jonathan Gratch, Sai Praneeth Karimireddy

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 提出PsySET基准，评估提示、微调和表示工程等策略在控制LLM情绪和人格方面的效果与可信度，发现提示有效但强度控制有限，向量注入控制更精细但输出质量略降，且情绪引导可能产生副作用。

Comments Accepted at ACL 2026. Camera-ready version

AGC-Bench: Measuring Artificial General Creativity

AGC-Bench：衡量人工通用创造力

Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊AGI） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL

AI总结 提出AGC-Bench基准，通过系统文献综述和标准化框架评估LLM创造力，发现单一创造力因子'c'，并验证提示'要有创造力'比推理更有效。

Do Physics Foundation Models Learn Generalizable Physics? A Bias-Aware Benchmark Across Physical Regimes and Distribution Shifts

物理基础模型能否学习可泛化的物理？一种跨物理机制和分布偏移的偏差感知基准

Mengdi Chu, Yang Liu, Ayan Biswas, Han-Wei Shen

机构 * The Ohio State University（俄亥俄州立大学） ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 通过构建包含8种物理动力学、3种训练数据混合和25种测试机制的基准，评估五种物理基础模型架构，发现当前模型是条件性而非通用性泛化者，其泛化能力依赖于物理机制、时间尺度、初始条件、预训练、模型大小和架构，并指出改进需超越缩放模型或扩展数据，转向学习跨机制、时间尺度和分布偏移的可迁移物理知识。

Comments 26 pages, 31 figures

AgenticDataBench: A Comprehensive Benchmark for Data Agents

AgenticDataBench：数据智能体的综合基准

Zhaoyan Sun, Shan Zhong, Daizhou Wen, Jiaxing Han, Guoliang Li, Ying Yan, Peng Zhang, Yu Su, Xiang Qi, Baolin Sun, Chengyuan Yang, Tao Fang, Huaiyu Ruan

机构 * Tsinghua University（清华大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AgenticDataBench基准，通过覆盖15个垂直领域（含5个真实B2B用例）的细粒度任务，评估基于大语言模型的数据智能体在自动化数据科学工作流中的表现。

Office Comprehension Benchmark

办公室理解基准

Firoz Shaik, Mateus Picanço Lima Gomes, Tanvir Aumi, Jingci Wang, Milos Milunovic, Filip Basara, Ivana Jovanovic, Vishwas Suryanarayanan, Neha Nandan Kenkare, Weiyao Xie, Zhipeng Han, Zheng Zhang, Waleed Shahid, Jay Rathi, Russell Scherer, Thong Q. Nguyen, Michael Bentley, Tamara Stankovic, Rasika Chakravarthy, Vishal Chowdhary

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Office Comprehension Bench，首个联合评估LLM对Word Excel和PowerPoint文件理解的基准，包含文件保真度问答和领域问答两个赛道，测试结构与视觉感知及多领域推理能力。

HAL: Inducing Human-likeness in LLMs with Alignment

HAL: 通过对齐引导LLM的人类相似性

Masum Hasan, Junjie Zhao, Ehsan Hoque

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 评测与基准 ：LLM(title_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出HAL框架，利用可解释的数据驱动奖励信号，通过对比对话数据提取显式会话特征并优化偏好，使模型在对话中更常被视为类人，同时保持整体性能。

AIriskEval-edu: New Dataset for Risk Assessment in AI-mediated K-12 Educational Explanations

AIriskEval-edu: 用于AI辅助K-12教育解释风险评估的新数据集

Javier Irigoyen, Roberto Daza, Francisco Jurado, Julian Fierrez, Ruben Tolosana, Alvaro Ortigosa, Enrique Blas, Aythami Morales

机构 * Cátedra ENIA UAM-VERIDAS en IA Responsable（ENIA UAM-VERIDAS负责任人工智能教席） ； NextGenerationEU PRTR（下一代欧盟复苏计划） ； MICIU/FEDER（西班牙科学、创新与大学部/欧洲区域发展基金） ； MICIU/AEI（西班牙科学、创新与大学部/国家研究机构） ； Comunidad de Madrid（马德里自治区） ； MINECO/FEDER（西班牙经济与竞争力部/欧洲区域发展基金） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出AIriskEval-edu-db2数据集，包含1639条解释及结构化可解释性标注，用于训练基于LLM的审计员评估K-12教学内容中的教学风险，涵盖五个维度。

Comments 6 pages, 2 figures. Accepted at the IEEE International Carnahan Conference on Security Technology (ICCST 2026), October 14, 2026

MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Settings

MedCase-Structured：用于在临床真实EHR环境中基准测试诊断推理的文本到FHIR数据集

Valentina Bui Muti, Eugénie Dulout, Ziquan Fu

机构 * System Inc.（系统公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个从非结构化文本生成临床真实HL7 FHIR R4数据集的流水线，构建MedCase-Structured数据集，发现LLMs在结构化FHIR输入上的诊断准确性低于纯文本，强调部署对齐基准测试的重要性。

Comments Accepted to ICML 2026 Structured Data for Health Workshop

Bringing Agentic Search to Earth Observation Data Discovery

将智能搜索引入地球观测数据发现

Minghan Yu, Youran Sun, Chugang Yi, Yixin Wen, Haizhao Yang

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一个基于智能搜索的系统，利用知识图谱和大型语言模型，从自然语言查询中返回匹配的地球科学数据集和工具，显著提升检索性能。

Comments 19 pages, 1 figure, 6 tables

Translating Natural Language to Strategic Temporal Specifications via LLMs

通过大语言模型将自然语言翻译为策略时序规范

Marco Aruta, Francesco Improta, Vadim Malvone, Aniello Murano, Vladana Perlić

机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信，巴黎理工学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用大语言模型将自然语言描述的策略需求翻译为ATL/ATL*公式，构建专家验证数据集，通过领域内微调小模型达到与强少样本专有API基线相当的语义准确性（0.84 vs 0.86），并集成到模型检查器中支持非专家用户。

ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents

ClawArena-Team: 语言模型智能体中子智能体编排与动态工作流的基准测试

Kaiwen Xiong, Haonian Ji, Shi Qiu, Zeyu Zheng, Cihang Xie, Xinyu Ye, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出ClawArena-Team基准，通过41个多轮多模态多目录场景，评估单个LLM作为管理者编排子智能体的能力，发现管理瓶颈在于权限授予而非感知，且成本与质量解耦。

Comments 24 pages, 10 figures, website: https://www.clawarena.cc/

Polite on the Surface, Broken in Practice: A Curated Dataset for Fixing Generation and Register Failures in Low-Resource Bangla Text Generation

表面礼貌，实践错误：一个用于修复多语言孟加拉语生成中敬语失误的定制数据集

Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

机构 * United International University（国际大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一个定制数据集BLADE，用于改进多语言孟加拉语生成中敬语处理的准确性，通过系统微调和评估领先的开源架构，如DeepSeek-8B和LLaMA-3.2-3B，以提高结构忠实度和敬语对齐度。

Cross-Cultural Value Attribution in Large Vision-Language Models

跨文化价值观意识在大型视觉-语言模型中的体现

Phillip Howard, Xin Su, Kathleen C. Fraser

机构 * Thoughtworks ； University of Ottawa（渥太华大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了图像中文化背景如何影响大型视觉-语言模型对人物道德、伦理和政治价值观的判断，通过多维分析揭示模型对文化价值观差异的认知。

Cloak and Detonate: Scanner Evasion and Dynamic Detection of Agent Skill Malware

伪装与引爆：技能型恶意软件的扫描规避与动态检测

Zimo Ji, Congying Xu, Zongjie Li, Yudong Gao, Xin Wei, Shuai Wang, Shing-Chi Cheung

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 针对LLM编码代理技能市场中的恶意技能，提出两种规避静态扫描的方法（结构混淆和自提取技能打包），并设计基于沙箱运行时行为审计的检测系统SkillDetonate，实现97%检测率与2%误报率。

Benchmarking Code Improvement with Progressive, Adaptive, and Interactive Feedback

使用渐进式、自适应和交互式反馈对代码改进进行基准测试

Cuong Chi Le, Aashish Yadavally, Minh Le-Anh, Tien N. Nguyen

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PAIR-Bench基准，通过渐进式提示和结构化反馈协议，细粒度评估大语言模型在代码改进中的修复能力、泛化能力和所需辅助程度。

STRUCTSURVEY: Structured Agentic Retrieval for Automated Survey Paper Generation

STRUCTSURVEY: 结构化智能检索用于自动生成综述论文

Paolo Pedinotti, Enrico Santus

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出STRUCTSURVEY分层多智能体框架，通过动态构建实体、关系和主题分类的图表示，将结构推理从生成阶段转移到检索阶段，在ACL综述基准上相比嵌入检索基线平均提升ROUGE-1召回率2.9、ROUGE-2召回率1.0，且不降低精确度。

Comments 8 pages, 1 figure, appendices, SurgeLLM, RAG4Reports, ACL

Evaluating Social Engineering Risks in AI-based Interaction using Biometrics and a Gaming Setup

ARES: 一种用于人类-人工智能游戏中基于角色的社会工程风险自适应评估平台

Roberto Daza, Javier Irigoyen, Ivan Lopez, Raquel Rodriguez-Carvajal, Laura Gomez-Carbajo, Julian Fierrez, Ruben Tolosana, Aythami Morales

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 提出ARES平台，通过可控社交游戏审计LLM中介的社会决策中的自适应社会工程风险，支持人-人、人-AI和AI-AI设置，并收集多模态数据集以评估风险。

Comments 6 pages, 2 figures. Accepted at the IEEE International Carnahan Conference on Security Technology (ICCST 2026), October 14, 2026

Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction

Omni-DuplexEval: 评估实时双工全模交互

Chaoqun He, Mingyang Xiang, Yingjing Xu, Bokai Xu, Junbo Cui, Jie Zhou, Yuan Yao, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongji University（同济大学） ； ModelBest Inc.（ModelBest公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Omni-DuplexEval基准，用于系统评估实时双工交互能力，通过两个互补场景评估模型生成连续响应和主动提醒的能力，并揭示现有模型在平衡响应及时性和内容连贯性方面的局限性。

Comments 21 pages, 6 figures

RealBench: A Repo-Level Code Generation Benchmark Aligned with Real-World Software Development Practices

RealBench: 一个与真实世界软件开发实践对齐的仓库级代码生成基准测试

Jia Li, Hongyi Deng, Yiran Zhang, Kechi Zhang, Tianqi Shao, Tiankuo Zhao, Weinan Wang, Zhi Jin, Ge Li, Yang Liu, Yingtao Fang, Yihong Dong

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 RealBench通过结合自然语言需求和UML图，评估LLM在结构化设计下的代码生成能力，揭示了LLM在仓库级代码生成中的性能差距和优化策略。

Automatically Enhancing the Quality of Android App Bug Reports

为Android应用程序自动生成高质量的缺陷报告

Antu Saha, Atish Kumar Dipongkor, Sam Bennett, Kevin Moran, Andrian Marcus, Oscar Chaparro

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 本文提出通过提供具体应用相关信息帮助LLM自动生成清晰详细的缺陷报告，提出BugScribe方法，通过评估显示其生成的报告质量更高且更准确。

Comments 12 pages, 6 figures

ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

ForeSea：面向视频监控的多模态查询AI取证搜索

Hyojin Park, Yi Li, Janghoon Cho, Sungha Choi, Jungsoo Lee, Taotao Jing, Shuai Zhang, Munawar Hayat, Dashan Gao, Ning Bi, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 针对监控视频中多模态查询与时间定位难题，提出ForeSea系统，采用三阶段即插即用流程，结合跟踪、多模态嵌入和视频LLM，在ForeSeaQA基准上准确率提升3.1%，时间IoU提升10.1%。

Comments ECCV2026

Language Models as Measurement Apparatus for Culture

语言模型作为文化测量仪器

Kent K. Chang

机构 * School of Information University of California, Berkeley（信息学院加州大学伯克利分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出语言模型的文化测量是物质-话语实践，通过Karen Barad的能动切割概念，论证模型设计选择构成所测量的文化现实，并通过三个案例和三个仪器检查展示这一观点。

Comments Accepted to the Big Picture workshop co-located with ACL 2026. This version expands the camera-ready (adding Fig. 3 and section 6.3, as well as correcting minor typos) in Proceedings of The Big Picture v2: Crafting a Research Narrative, pp. 131--143, San Diego, CA, USA. Association for Computational Linguistics

AnyGroundBench: A Specialized-Domain Benchmark for Video Grounding in Vision-Language Models

AnyGroundBench: 视觉语言模型中视频定位的专业领域基准

Rintaro Otsubo, Ryo Fujii, Reina Ishikawa, Taiki Kanaya, Kanta Sawafuji, Hiroki Kajita, Shigeki Sakai, Hideo Saito, Ryo Hachiuma

机构 * Keio University（庆应大学） ； Keio AI Research Center（庆应人工智能研究中心） ； Keio University School of Medicine（庆应大学医学部） ； NVIDIA（英伟达） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出AnyGroundBench基准，将STVG评估从零样本转向领域适应，涵盖五个专业领域，评估15个VLM的零样本和上下文学习能力，发现现有模型在专业领域表现不佳。

Probabilistic Low-Voltage Peak Load Forecasting with Time Series Foundation Models Evaluated on Application-Oriented Metrics

基于时间序列基础模型的概率低压峰值负荷预测及其面向应用的评估指标

Benedikt Kaas, Manuel Treutlein, Hannes Benedikt Gerber, Oliver Neumann, Cheewan Phatthanakhuha, Oliver Resch, Ralf Mikut, Veit Hagenmeyer

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） ； Netze BW GmbH（Netze BW有限公司） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究评估时间序列基础模型在200个实际低压馈线短期净负荷预测中的性能，提出面向应用的指标连接峰值预测与电网资产规划中的成本-风险权衡。

Comments A poster abstract of this publication will be available at the 15th DACH+ Conference on Energy Informatics (2026 in Linz, Austria)

Meta-Benchmarks for Financial-Services LLM Evaluation

金融服务大语言模型评估的元基准

Blair Hudson

机构 * Commonwealth Bank of Australia（澳大利亚联邦银行） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 针对公共排行榜忽略金融服务特定认知需求的问题，提出元基准框架，将452个基准映射到41个O*NET工作活动和38个BIAN银行业务领域，采用乘法加权方案和Elo锦标赛生成可比较的工作活动与业务领域得分。

Comments 27 pages, 13 figures, 3 tables

Towards Cellular-Scale Interpretability in Pathology Foundation Models for Biomarker Assessment

面向生物标志物评估的病理基础模型中的细胞级可解释性

Jingsong Liu, Han Li, Zhengyang Xu, Franz-Leonard Klaus, Fabian Stögbauer, Shihui Zu, Weiwei Zhou, Atsuko Kasajima, Felix Schicktanz, Alexander Muckenhuber, Julius Shakhtour, Jiale Yu, Tiannan Zheng, Xun Ma, Maggie Wang, Christian Grashei, Bao Li, Guiyang Jiang, Hongming Xu, Shaohua Kevin Zhou, Nassir Navab, Peter J. Schüffler

机构 * Institute of Pathology, Technical University of Munich（慕尼黑技术大学病理学研究所） ； School of Computation, Information and Technology, Technical University of Munich（慕尼黑技术大学计算、信息与技术学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Computer Aided Medical Procedures (CAMP), Technical University of Munich（慕尼黑技术大学计算机辅助医疗程序中心） ； School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology（大连理工大学医学院生物医学工程学院） ； Affiliated Hospital of Chifeng University（赤峰大学附属医院） ； Center for Medical Imaging, Robotics, and Analytic Computing & Learning (MIRACLE), Suzhou Institute for Advanced Research, USTC, Suzhou, China（苏州先进研究院医学影像、机器人与分析计算与学习中心） ； Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； The First Hospital and the College of Basic Medical Sciences of China Medical University（中国医科大学第一医院及基础医学科学学院） ； Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出Hireca病理基础模型和CytoMap可解释性模块，在10项生物标志物任务中多数领先，提供细胞级证据定位，实现透明可审查的生物标志物评估。