语言大模型 / LLM

Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack

安全悖论：增强的安全意识如何使LLM易受后验攻击

Long P. Hoang, Hai V. Le, Shaoyang Xu, Wei Lu, Wenxuan Zhang

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞，通过实验和理论分析证明安全判断能力越强越易被利用，并提出因果干预验证。

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

OdysseyArena: 为长视界、主动和归纳交互评估大型语言模型

Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出OdysseyArena，通过长视界、主动和归纳交互评估大型语言模型，提供120个任务测量归纳效率和长视界发现，并通过OdysseyArena-Challenge测试极端交互视界下的模型稳定性，揭示前沿模型在复杂环境中的归纳能力瓶颈。

Comments 34 pages

IaC Generation with LLMs: An Error Taxonomy and A Study on Configuration Knowledge Injection

利用LLM生成IaC：错误分类法与配置知识注入研究

Roman Nekrasov, Stefano Fossati, Indika Kumara, Damian Andrew Tamburri, Willem-Jan van den Heuvel

机构 * Jheronimus Academy of Data Science（Jheronimus数据科学学院） ； Tilburg University（蒂尔堡大学） ； Eindhoven University of Technology（埃因霍温理工大学） ； University of Sannio（萨诺尼大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究探讨了如何通过系统性地注入结构化配置知识来提高LLM生成正确且意图一致的基础设施即代码（IaC）能力，特别是在Terraform中，提出了新的错误分类法，并评估了多种知识注入技术。

Comments Submitted to ACM

Assessment of Generative Named Entity Recognition in the Era of Large Language Models

大语言模型时代生成式命名实体识别的评估

Qi Zhan, Yile Wang, Hui Huang

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 本文系统评估了开源大语言模型在平面和嵌套命名实体识别任务上的性能，发现参数高效微调结合结构化格式可达到与传统模型竞争的性能，且NER能力源于指令遵循和生成能力而非记忆，微调对通用能力影响很小。

QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

QASM-Eval：用于训练和评估LLM在超越量子电路的OpenQASM-3上的数据集

Zhenxiao Fu, Lei Jiang, Fan Chen

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对LLM在OpenQASM-3硬件级编程上的训练与评估空白，构建了包含专家验证测试集和训练集的数据集，覆盖经典逻辑、时序调度、脉冲控制等，并通过扩展验证器自动验证，实验表明微调后LLM性能显著提升。

Evaluation of Automatic Speech Recognition Using Generative Large Language Models

使用生成式大语言模型评估自动语音识别

Thibault Bañeras-Roux, Shashi Kumar, Driss Khalil, Sergio Burdisso, Petr Motlicek, Shiran Liu, Mickael Rouvier, Jane Wottawa, Richard Dufour

机构 * Idiap Research Institute（Idiap研究 institute） ； EPFL（瑞士联邦理工学院） ； Brno University of Technology（布拉格技术大学） ； Avignon University（阿维尼翁大学） ； Le Mans University（勒曼大学） ； Nantes University（南特大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出利用生成式大语言模型通过假设选择、语义距离计算和错误分类三种方法评估ASR，在HATS数据集上达到92-94%的人类一致性，优于WER和语义指标。

AlbanianLLMSafety: A Safety Evaluation Dataset for Large Language Models in Albanian

AlbanianLLMSafety：面向阿尔巴尼亚语大语言模型的安全评估数据集

Wajdi Zaghouani, Kholoud K. Aldous, Isra Fejzullaj

机构 * Northwestern University in Qatar（卡塔尔西北大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 针对低资源语言阿尔巴尼亚语，构建了首个公开的安全评估数据集，包含11个安全类别的2951条提示，以填补安全评估基础设施的空白。

Comments Accepted at SIGUL2026 Workshop co-located with LREC2026

Journal ref In Proceedings of the SIGUL2026 Workshop co-located with LREC 2026, Palma de Mallorca, Spain, 2026

MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs

MINDGAMES: 多智能体LLM中社会与策略推理评估的实时竞技场

Kevin Wang, Anna Thöni, Benjamin Kempinski, Bobby Cheng, Jianzhu Yao, Benjamin Finch, Leon Guertler, Viraj Nadkarni, Yihan Jiang, Aliaksei Korshuk, Alexander Buyantuev, Ilya Makarov, Siyuan Wu, Yu-Chi Cheng, Yan-Ru Ju, Ti-Rong Wu, I-Hsuan Chu, Yu-Yu Yang, I-Chen Wu, Yitian Huang, Qinlu Cao, Yiheng Sun, Yuhong Dai, Hongkun Yao, Jingxuan Fu, Jiwei Zhang, Hao Liao, Mossimo Ebeling, Govind Arun, Sadhvik Bathini, Mihir S Arya, Avinash Anish, Aditya Ranjan, Kirtana Sunil Phatnani, Paval KS, Vrushali Mehta, Aravind S, Nikhil Arora, Tanya Upadhyay, Amol Bandagale, Yuan Lu, ChunEn Hsiao, YuTing Lin, Arvin Chung, Jerry John Thomas, Mathieu Laurière, Leshem Choshen, Yoram Bachrach, Pramod Viswanath, Maria Polukarov, Cheston Tan, Tal Kachman, Atlas Wang

机构 * NeurIPS 2025 Competition（NeurIPS 2025 会议） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MINDGAMES多游戏竞技平台，通过四个游戏环境评估LLM智能体的社会推理与策略能力，揭示规则遵循瓶颈与排行榜有效性差异。

Can Decision Trees Teach Large Language Models? Distilling Verbalized Knowledge for Molecular Property Prediction

决策树能否教会大语言模型？为分子性质预测提炼语言化知识

Khiem Le, Sreejata Dey, Marcos Martínez Galindo, Vanessa Lopez, Ting Hua, Nitesh V. Chawla, Hoang Thanh Lam

机构 * University of Notre Dame（内布拉斯加大学） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出TreeKD方法，通过将基于决策树/随机森林的专业模型知识语言化并融入提示，训练大语言模型，显著提升其在分子性质预测任务上的性能。

PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions

PersLitEval：波斯文学问题上的细粒度基准与LLM评估

Ruhallah Niazi, Faeze Ghorbanpour, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich（计算信息与技术学院，慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出PersLitEval基准，包含4514道波斯文学多选题，评估六种LLM在十种提示策略下的表现，发现模型在概念相似性任务上准确率高，但在拼写和构词等正式语言分析上困难，且提示策略显著影响性能。

Cultural Value Alignment Via Latent Activation Steering in Large Language Models

大型语言模型中通过潜在激活引导的文化价值对齐

Trung Duc Anh Dang, Sarah Masud

机构 * University of Copenhagen（哥本哈根大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 提出一种基于场景行为探测和潜在激活引导的框架，用于评估和干预LLMs的文化价值，发现文化价值以耦合结构编码，限制了精确对齐。

Comments ACL 2026 Student Research Workshop (Non-Archival Track)

Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Simulation-Based Training

Prompt-and-Check：使用大型语言模型评估基于模拟训练中的通信协议合规性

Vishakha Lall, Yisi Liu

机构 * Centre of Excellence in Maritime Safety（海上安全卓越中心） ； Singapore Polytechnic（新加坡理工学院） ； Singapore（新加坡） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 提出Prompt-and-Check方法，利用开源大语言模型通过上下文丰富的提示评估模拟训练中通信协议的合规性，并在海事领域案例中验证其有效性。

Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection

解码新闻叙述：对大型语言模型在框架检测中的关键分析

Valeria Pastorino, Jasivan A. Sivakumar, Nafise Sadat Moosavi

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文研究了大型语言模型在框架检测中的应用，分析了不同模型在零样本、少样本和解释性提示设置下的表现，指出模型性能对提示设计敏感且易在模糊案例中出现系统性错误，并提出了一种新的跨领域新闻标题数据集以提高评估的现实性。

Journal ref Proceedings of the 3rd Workshop on Natural Language Processing for Political Sciences (PoliticalNLP 2026) @ LREC 2026, pages 17-28

Automated Grading of Handwritten Mathematics Using Vision-Capable LLMs

使用具备视觉能力的LLM进行手写数学自动评分

Jacob Levine, Miguel Aenlle, Craig Zilles, Matthew West, Mariana Silva

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了使用具备视觉能力的LLM对手写数学作业进行自动评分，通过对比AI评分与人工评分，发现大多数错误源于转录失败而非评分标准应用错误，揭示了LLM在手写数学评分中的潜力与局限。

Comments To be published in the International Conference on AI in Education (AIED), 2026

OPeRA: A Dataset of Observation, Persona, Rationale, and Action for Evaluating LLMs on Human Online Shopping Behavior Simulation

OPeRA: 一个用于评估LLM在模拟人类在线购物行为上的表现的观察、人设、推理和行动数据集

Ziyi Wang, Yuxuan Lu, Wenbo Li, Amirali Amini, Bo Sun, Yakov Bart, Weimin Lyu, Jiri Gesi, Tian Wang, Jing Huang, Yu Su, Upol Ehsan, Malihe Alikhani, Toby Jia-Jun Li, Lydia Chilton, Dakuo Wang

机构 * Northeastern University（东北大学） ； University of Southern California（南加州大学） ； Stony Brook University（石溪大学） ； Independent Researcher（独立研究者） ； Ohio State University（俄亥俄州立大学） ； University of Notre Dame（Notre Dame 大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出OPeRA数据集，用于评估LLM在模拟人类在线购物行为上的能力，通过收集真实用户在在线购物会话中的观察、人设、推理和行动，建立首个评估LLM预测特定用户下一步行动和推理的基准。

Comments ACL 2026 main

HalluScore: Large Language Model Hallucination Question Answering Benchmark

HalluScore: 大语言模型幻觉问答基准

Aisha Alansari, Hamzah Luqman

机构 * Department of Information and Computer Science, King Fahd University of Petroleum and Minerals（国王法赫德石油与矿物大学信息与计算机科学系） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本研究提出HalluScore基准，用于评估大语言模型在不同推理难度、知识领域、历史时间线和文化场景中的幻觉行为，通过827个精心编写的题目评估、检测和缓解幻觉，同时提供高质量的人类标注以识别不同模型的幻觉表现。

Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks

面向关系数据库的foundation models的语言模型与图神经网络方法

Jingcheng Wu, Ratan Bahadur Thapa, Mojtaba Nayyeri, Lucas Etteldorf, Max Finkenbeiner, Fabian Leeske, Steffen Staab

机构 * University of Stuttgart, Stuttgart, Germany（斯图加特大学） ； Internet Science Research Group, University of Southampton, Southampton, United Kingdom（互联网科学研究组，南安普顿大学） 纠错

专题命中 评测与基准 ：foundation model(title,title_cn)；language model(title)；分类 cs.AI

AI总结 本文提出结合语言模型和图神经网络的混合架构，通过关系实体图建模提升关系数据库的预测性能，实验表明其在多个任务中表现优异，接近监督基线并缩小与RDL的差距。

Comments 15 pages, 7 figures, 4 tables. Preprint of a paper accepted at the 1st Workshop on Extraction from Triplet Text-Table-Knowledge Graph and associated Challenge (TRIPLET), co-located with ESWC 2026

MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models

MHGraphBench: 用于评估大语言模型中心理健康知识的图知识基准

Weixin Liu, Congning Ni, Shelagh A. Mulvaney, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

机构 * Vanderbilt University（范德比大学） ； Vanderbilt University Medical Center（范德比大学医学院） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出MHGraphBench基准，评估大语言模型在心理健康实体识别、关系判断及双跳推理能力，发现模型在实体类型识别和小关系类型判断上表现优异，但在关系预测和双跳推理上仍有不足，且输出格式可靠性对性能有显著影响。

Comments Accepted to GEM 2026, ACL 2026 Workshop; 9 pages main text plus references and appendices

MILM: Large Language Models for Multimodal Irregular Time Series with Informative Sampling

MILM：用于多模态不规则时间序列的大型语言模型与信息采样

Hsing-Huan Chung, Shijun Li, Yoav Wald, Xing Han, Suchi Saria, Joydeep Ghosh

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Technion-IIT（技术学院-以色列理工学院） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出MILM模型，通过两阶段策略处理多模态不规则时间序列，有效利用采样模式和观测值进行分类，提升医疗记录中住院死亡率预测性能。

CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

CommonWhy：用于评估大语言模型实体基础因果常识推理的数据集

Armin Toroghi, Faeze Moradi Kalarde, Scott Sanner

机构 * University of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 CommonWhy数据集通过15000个为什么问题评估大语言模型的因果关系实体推理能力，揭示现有模型在因果推理和事实生成上的不足。

Agentick: A Unified Benchmark for General Sequential Decision-Making Agents

Agentick: 一个统一的连续决策制定代理基准测试

Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

机构 * Mila Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)；post-training(abstract)

AI总结 Agentick是一个统一的连续决策制定代理基准测试，评估RL、LLM、VLM等代理在共同基础上的表现，揭示各方法的不足，为通用自主代理研究提供实验基础。

WaferSAGE: Large Language Model-Powered Wafer Defect Analysis via Synthetic Data Generation and Rubric-Guided Reinforcement Learning

WaferSAGE：基于大语言模型的晶圆缺陷分析：通过合成数据生成与评分引导的强化学习

Ke Xu, Zhongyuan Lian

机构 * Shanghai Huahong Grace Semiconductor Manufacturing Corporation（上海华虹格瑞半导体制造有限公司） ； Dept. of Automation, School of Information Science and Engineering, East China University of Science and Technology（自动化系，信息科学与工程学院，东华大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出WaferSAGE框架，利用小规模视觉-语言模型进行晶圆缺陷视觉问答。通过合成数据生成和评分引导强化学习，解决半导体制造中的数据稀缺问题，展示小型模型在特定工业视觉理解中的优势。

Comments 16 pages, 3 figures, 8 tables

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

Meow-Omni 1：用于猫类行为学的多模态大语言模型

Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

机构 * University College London（伦敦大学学院） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.CL

AI总结 Meow-Omni 1通过融合视频、音频和生理时间序列数据，实现对动物意图的精准识别，其在MeowBench基准测试中达到71.16%的准确率，推动了跨物种意图理解及基础模型在兽医诊断和野生动物保护中的应用。

Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

Scam2Prompt: 一种可扩展的框架，用于审计生产LLM中的恶意诈骗端点

Zhiyang Chen, Tara Saba, Xun Deng, Xujie Si, Fan Long

机构 * OpenAI 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Scam2Prompt通过生成开发者风格提示来测试LLM生成恶意代码的能力，发现4.24%的LLM会生成恶意URL，且在2025年发布的七种LLM中，恶意代码生成率高达12.9%-47.3%。

Data Language Models: A New Foundation Model Class for Tabular Data

数据语言模型：一种新的用于表格数据的基础模型类别

Eda Erol, Giuliano Pezzoli, Ozer Cem Kelahmet

机构 * SchemaLabs 纠错

专题命中 评测与基准 ：language model(title,abstract)；foundation model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出数据语言模型（DLM），一种能直接理解表格数据的基础模型，无需预处理，提升了表格数据在AI决策中的应用效率。

Systematic Evaluation of Large Language Models for Post-Discharge Clinical Action Extraction

大型语言模型在出院后临床行动提取中的系统评估

Shivali Dalmia, Ananya Mantravadi, Prasanna Desikan

机构 * Centific AI Research（Centific AI研究） ； Centific Global Solutions, Inc.（Centific全球解决方案公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文系统评估了零样本和少样本大型语言模型在安全关键的出院后临床行动提取中的表现，提出两阶段提取框架以提升临床任务的可操作性，并分析标注不一致性和模型推理与标注规范的对齐问题。

REBENCH: A Procedural, Fair-by-Construction Benchmark for LLMs on Stripped-Binary Types and Names (Extended Version)

REBench：一种用于LLM在剥离二进制类型和名称上的程序性、公平构造的基准测试（扩展版）

Jun Yeon Won, Xin Jin, Shiqing Ma, Zhiqiang Lin

机构 * Ohio State University（俄亥俄州立大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 REBench为LLM在二进制逆向工程中提供了一个全面的基准测试集，通过知识库驱动的方法生成地面真实数据，确保任务难度和通用性，以公平评估LLM在复杂任务中的表现。

Comments This is an extended version of our paper, which appears in AIWare 2026

LLM-as-Judge Framework for Evaluating Tone-Induced Hallucination in Vision-Language Models

用于评估视觉-语言模型中语气诱导幻觉的LLM-as-Judge框架

Zhiyuan Jiang, Weihao Hong, Xinlei Guan, Tejaswi Dhandu, Miles Q. Li, Meng Xu, Kuan Huang, Umamaheswara Rao Tida, Bingyu Shen, Daehan Kwak, Boyang Li

机构 * Kean University（凯恩大学） ； North Dakota State University（北达科他州立大学） ； McGill University（麦吉尔大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出Ghost-100基准，通过结构化提示强度框架评估不同模型在提示压力下的表现，发现H-Rate和H-Score在模型家族间显著分化，且某些模型对语气敏感度非单调。

Comments 23 pages, 12 figures

Unbiased Prevalence Estimation with Multicalibrated LLMs

基于多校准LLM的无偏流行率估计

Fridolin Linder, Thomas Leeper, Daniel Haimovich, Niek Tax, Lorenzo Perini, Milan Vojnovic

机构 * Meta Platforms Inc.（Meta公司） ； The London School of Economics and Political Science（伦敦政治经济学院） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出多校准方法以解决分类模型在存在协变量偏移时的流行率估计偏差问题，通过理论分析和实证应用展示其在LLM中的有效性。

The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models

高 Yao 基准：评估大型语言模型多语言和多文化能力的综合框架

Yilun Liu, Chunguang Zhao, Mengyao Piao, Lingqi Miao, Shimin Tao, Minggui He, Chenxin Liu, Li Zhang, Hongxia Ma, Jiaxin Guo, Chen Liu, Liqun Deng, Jiansheng Wei, Xiaojun Meng, Fanyi Du, Daimeng Wei, Yanghua Xiao

机构 * Huawei, China（华为，中国） ； Fudan University, China（复旦大学，中国） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出GaoYao基准，通过182300个样本、26种语言和51个地区，评估大型语言模型的多语言和多文化能力，揭示地理性能差异和任务间差距。

Comments Accepted by ACL 2026 main