语言大模型 / LLM

Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring

利用大型语言模型评估奥地利A级德语作文

Jonas Kubesch, Lena Huber, Clemens Havas

机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文利用大型语言模型评估奥地利A级德语作文，发现其在评分一致性上存在显著不足，无法替代人类评分。

Comments To be presented at the SAC2026 and published in its symposium proceedings

Lexara: A User-Centered Toolkit for Evaluating Large Language Models for Conversational Visual Analytics

Lexara: 一种以用户为中心的评估工具包，用于评估用于对话式可视化分析的大型语言模型

Srishti Palani, Vidya Setlur

机构 * Tableau Research, Salesforce（Tableau研究机构，Salesforce） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 Lexara是一种以用户为中心的评估工具包，用于评估对话式可视化分析中的大型语言模型，通过多格式输出的可解释指标和交互式工具帮助用户进行模型和提示选择。

Classroom AI: Large Language Models as Grade-Specific Teachers

教室AI：大型语言模型作为按年级教师

Jio Oh, Steven Euijong Whang, James Evans, Jindong Wang

机构 * KAIST（韩国科学技术院） ； Microsoft Research Asia（微软亚洲研究院） ； University of Chicago（芝加哥大学） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种框架，通过微调大型语言模型生成适合不同年级学生的教育内容，显著提升年级匹配度，同时保持响应准确性。

Wisdom of the AI Crowd (AI-CROWD) for Ground Truth Approximation in Content Analysis: A Research Protocol & Validation Using Eleven Large Language Models

AI群体智慧（AI-CROWD）在内容分析中的地面真实值近似：基于十一种大型语言模型的研究协议与验证

Luis de-Marcos, Manuel Goyanes, Adrián Domínguez-Díaz

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 AI-CROWD协议利用多个大型语言模型的集体输出，通过多数投票和诊断度量来近似地面真实值，以解决大规模内容分析中缺乏真实标签的问题。

Software Development Life Cycle Perspective: A Survey of Benchmarks for Code Large Language Models and Agents

软件开发生命周期视角：代码大语言模型和代理的基准测试调查

Kaixin Wang, Tianlin Li, Xiaoyu Zhang, Chong Wang, Weisong Sun, Yang Liu, Aishan Liu, Xianglong Liu, Chao Shen, Bin Shi

机构 * Xi’an Jiaotong University（西安交通大学） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文从软件开发生命周期视角调查代码大语言模型和代理的基准测试，揭示当前基准测试在覆盖方面的不平衡，并提出未来研究方向以缩小理论能力与实际应用之间的差距。

Comments Significantly enhanced the tiered analysis framework for a more comprehensive evaluation of CodeLLMs and Agents throughout the SDLC

Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation

用大语言模型变革科学：一项关于人工智能辅助科学发现、实验、内容生成和评估的综述

Steffen Eger, Yong Cao, Jennifer D'Souza, Andreas Geiger, Christian Greisinger, Stephanie Gross, Yufang Hou, Brigitte Krenn, Anne Lauscher, Yizhi Li, Chenghua Lin, Nafise Sadat Moosavi, Wei Zhao, Tristan Miller

机构 * University of Technology Nuremberg (UTN)（图恩大学（UTN）） ； University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心） ； TIB Leibniz Information Centre for Science and Technology（莱比锡信息科学与技术研究中心） ； Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所） ； IT:U Interdisciplinary Transformation University Austria（奥地利 interdisciplinary transformation 大学） ； University of Hamburg（汉堡大学） ； University of Manchester（曼彻斯特大学） ； University of Sheffield（谢菲尔德大学） ； University of Aberdeen（阿伯丁大学） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了大语言模型在科学发现、实验、内容生成和评估中的应用，探讨了相关技术、数据集和伦理问题，旨在为AI辅助科学研究提供指导。

Comments 46 pages, 7 figures, 7 tables

Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries

模拟意义，永不再来！引入ICR：一种用于评估LLM文本摘要中意义的象征-解释学度量标准

Natalie Perez, Sreyoshi Bhaduri, Aman Chadha

机构 * University of Hawai‘i（夏威夷大学） ； Private Corporation（私营公司） ； Amazon GenAI（亚马逊生成人工智能） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ICR度量标准，用于评估LLM生成文本摘要中的意义，通过归纳内容分析和反思主题分析，超越词法相似性度量，评估语义准确性和意义一致性。

SecureRAG-RTL: A Retrieval-Augmented, Multi-Agent, Zero-Shot LLM-Driven Framework for Hardware Vulnerability Detection

SecureRAG-RTL: 一种基于检索增强的多智能体零样本LLM驱动框架用于硬件漏洞检测

Touseef Hasan, Blessing Airehenbuwa, Nitin Pundir, Souvika Sarkar, Ujjwal Guin

机构 * School of Computing, Wichita State University（计算机科学学院，威斯康星州立大学） ； Department of Electrical and Computer Engineering, Auburn University（电气与计算机工程系，阿伯茨兰大学） ； IBM 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SecureRAG-RTL通过检索增强生成方法提升硬件漏洞检测准确率，实现30%的性能提升并公开基准数据集支持未来研究。

Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems

信息论视角下的序列多智能体大语言模型系统隐私控制

Sadia Asif, Mohammad Mohammadi Amiri

机构 * Department of Computer Science, Rensselaer Polytechnic Institute, Troy New York（计算机科学系，雷士拉尔理工大学，特洛伊新 York） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出了一种信息论视角下的隐私控制框架，用于解决序列多智能体LLM系统中因信息流而产生的隐私泄露问题，通过约束信息流实现隐私与效用的平衡。

ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

ThaiSafetyBench: 评估泰语文化背景下语言模型的安全性

Trapoom Ukarapol, Nut Chukamphaeng, Kunat Pipatanakul, Pakhapoom Sarapat

机构 * SCB DataX（SCB数据X） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； SCBX R&D（SCBX研发部） ； SCB 10X 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 本研究提出ThaiSafetyBench，通过泰语文化背景下的恶意提示评估语言模型安全性，发现闭源模型安全性更强，同时揭示了文化特定攻击的高风险。

Comments ICLR 2026 Workshop on Principled Design for Trustworthy AI

Verify as You Go: An LLM-Powered Browser Extension for Fake News Detection

边验证边检测：一种基于大语言模型的浏览器扩展用于假新闻检测

Dorsaf Sallami, Esma Aïmeur

机构 * Department of Computer Science and Operations Research, University of Montreal（计算机科学与运筹学系，蒙特利尔大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Aletheia通过结合RAG和大语言模型，提供基于证据的假新闻检测和用户互动功能，提升透明度和用户参与度。

From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise

从原始语料到领域基准：对LLM领域专业知识的自动化评估

Nitin Sharma, Thomas Wolfers, Çağatay Yıldız

机构 * Department of Psychiatry and Psychotherapy（精神病学与心理学系） ； University Hospital Tübingen（图宾根大学医院） ； Laboratory for Mental Health Mapping（心理健康图谱实验室） ； Carl Zeiss Professor for AI in Neural Systems Imaging（神经系统成像人工智能教授职位） ； Friedrich Schiller University Jena（耶拿弗里德里克·施勒格尔大学） ； Cluster of Excellence Machine Learning for Science（卓越中心：科学机器学习） ； University of Tübingen（图宾根大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文提出了一种自动化流程，将原始语料转换为完成式领域基准，以评估LLM在特定领域的专业知识，避免了污染和人工标注的需要。

Comments 36 pages, 24 figures. Third version

UniVBench: Towards Unified Evaluation for Video Foundation Models

UniVBench：迈向统一评估视频基础模型

Jianhui Wei, Xiaotian Zhang, Yichen Li, Yuan Wang, Yan Zhang, Ziyi Chen, Zhihang Tang, Wei Xu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； ByteDance（字节跳动） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；prompting(abstract)

AI总结 UniVBench通过统一评估系统和多任务视频任务，首次提供衡量视频基础模型综合能力的框架。

How Reliable is Language Model Micro-Benchmarking?

语言模型微基准测试的可靠性如何？

Gregory Yauney, Shahzaib Saqib Warraich, Swabha Swayamdipta

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨了微基准测试在不同规模下的可靠性，发现需至少250个示例才能一致排序模型，随机抽样在某些情况下与现有方法相当。

Comments Published at ICLR 2026

Performance Assessment Strategies for Language Model Applications in Healthcare

医疗领域语言模型应用的性能评估策略

Victor Garcia, Mariia Sidulova, Aldo Badano

机构 * U.S. Food and Drug Administration（美国食品药品监督管理局） ； Medtronic（美敦力） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了医疗领域语言模型应用的性能评估策略，分析了定量基准的局限性，并提出利用人类专业知识和低成本计算模型的评估方法。

Journal ref Artificial Intelligence in the Life Sciences. 2026;9:100162

VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models

VLM-RobustBench: 一种全面的视觉语言模型鲁棒性基准

Rohit Saxena, Alessandro Suglia, Pasquale Minervini

机构 * University of Edinburgh, UK（爱丁堡大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 VLM-RobustBench评估了视觉语言模型在不同图像失真下的鲁棒性，发现低严重性空间扰动对性能影响更大，提示需改进鲁棒性评估和训练方法。

Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

构建用于联合国安理会决议的集成大语言模型语义标注器

Hussein Ghaly

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出了一种基于集成大语言模型的语义标注方法，通过引入内容保留率和标签规范性指标，提高联合国安理会决议的标注准确性与效率。

Tool-Genesis: A Task-Driven Tool Creation Benchmark for Self-Evolving Language Agent

Tool-Genesis: 一种以任务为导向的工具创建基准，用于自进化语言代理

Bowei Xia, Mengkang Hu, Shijian Wang, Jiarui Jin, Wenxiang Jiao, Yuan Lu, Kexin Li, Ping Luo

机构 * The University of Hong Kong（香港大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 评测与基准 ：language agent(title,abstract)；分类 cs.AI

AI总结 Tool-Genesis提出一种任务驱动的工具创建基准，用于评估自进化语言代理在无预定义规范下构建任务相关工具的能力及下游性能。

Comments 25 pages, 10 figures, 2 tables

Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection

峰值+累积：多轮LLM攻击检测的代理层评分公式

J Alex Corll

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 提出一种基于峰值和累积的代理层评分公式，用于多轮LLM攻击检测，实现高召回率和低误报率。

Just-In-Time Objectives: A General Approach for Specialized AI Interactions

即时目标：一种专门化人工智能交互的一般方法

Michelle S. Lam, Omar Shaikh, Hallie Xu, Alice Guo, Diyi Yang, Jeffrey Heer, James A. Landay, Michael S. Bernstein

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出即时目标方法，通过动态目标诱导提升AI交互的专门化性能，实验表明其在任务处理和质量评估上优于常规LLM。

Comments Accepted at CHI 2026

An Interactive Multi-Agent System for Evaluation of New Product Concepts

一个用于新产品概念评估的交互式多智能体系统

Bin Xuan, Ruo Ai, Hakyeon Lee

专题命中 评测与基准 ：LLM(abstract,comments)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出基于大型语言模型的多智能体系统，用于自动化评估新产品概念的技术可行性和市场可行性，通过结构化讨论和专业数据微调，验证概念并提升判断准确性。

Comments 46 pages, 3 figures + This paper proposes an LLM-based multi-agent system (MAS) for automated evaluation of new product concepts, incorporating retrieval-augmented generation (RAG) and cross-functional virtual agents to assess technical and market feasibility

FreeOcc: Training-free Panoptic Occupancy Prediction via Foundation Models

FreeOcc: 通过基础模型实现无训练的全景占用预测

Andrew Caunes, Thierry Chateau, Vincent Fremont

机构 * Logiroad, Nantes, France（法国南特Logiroad） ； LS2N - Ecole Centrale de Nantes, France（法国南特中央理工LS2N） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 FreeOcc通过基础模型实现无训练的全景占用预测，无需学习3D模型即可生成实例感知的3D场景表示。

Comments 14 pages

Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

空间色彩混合错觉作为视觉-语言模型的感知压力测试

Nicoleta-Nina Basoc, Adrian Cosma, Emilian Radoi

机构 * National University of Science and Technology POLITEHNICA Bucharest（波兰布加勒斯特技术大学） ； IDSIA, The Dalle Molle Institute for Artificial Intelligence（达摩信息技术研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 研究通过空间色彩混合错觉测试视觉-语言模型的感知鲁棒性，发现模型在结构化色彩扭曲下表现下降，而人类表现更优，预处理步骤可提升模型性能。

DETECT: Determining Ease and Textual Clarity of German Text Simplifications

DETECT：确定德语文本简化程度和文本清晰度

Maria Korobeynikova, Alessia Battisti, Lukas Fischer, Yingqiang Gao

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DETECT是首个针对德语的文本简化评估指标，通过合成数据和LLM技术全面评估简化质量，提升与人类判断的相关性。

HCT-QA: A Benchmark for Question Answering on Human-Centric Tables

HCT-QA：一种用于人类中心表格问答的基准测试

Mohammad S. Ahmad, Zan A. Naeem, Michaël Aupetit, Ahmed Elmagarmid, Mohamed Eltabakh, Xiaosong Ma, Mourad Ouzzani, Chaoyi Ruan, Hani Al-Sayeh

机构 * Meta 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HCT-QA提出了一种用于人类中心表格问答的基准测试，包含大量真实和合成表格数据及对应的问答对，旨在评估和比较基于LLM和VLM的查询性能。

Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis

在交出轮子之前：评估LLMs用于安全事件分析

Sourov Jajodia, Madeena Sultana, Suryadipta Majumdar, Adrian Taylor, Grant Vandenberghe

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出SIABENCH框架，通过构建首个涵盖安全事件分析两大类任务的数据集，并实现自主执行SIA任务的代理，对11种LLM进行基准测试，以评估其在动态安全事件分析中的有效性。

Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots

迈向运动图灵测试：评估人形机器人的人性化

Mingzhe Li, Mengyin Liu, Zekai Wu, Xincheng Lin, Junsheng Zhang, Ming Yan, Zengye Xie, Changwang Zhang, Chenglu Wen, Lan Xu, Siqi Shen, Cheng Wang

机构 * Fujian Key Laboratory of Urban Intelligent Sensing and Computing, Xiamen University（福建城市智能感知与计算重点实验室，厦门大学） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, School of Informatics, Xiamen University（多媒体可信感知与高效计算重点实验室，中华人民共和国教育部，信息学院，厦门大学） ； National Institute for Data Science in Health and Medicine, Xiamen University（医学数据科学国家研究院，厦门大学） ； OPPO Research Institute（OPPO研究院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出运动图灵测试框架，通过HHMotion数据集评估人形机器人动作的人性化程度，并展示基线模型在预测人性化的有效性。

Comments 13 pages, 10 figures, conference

Enhancing Tool Calling in LLMs with the International Tool Calling Dataset

通过国际工具调用数据集增强大语言模型的工具调用能力

Zuoyu Zhang, Yancheng Zhu

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出国际工具调用数据集ITC，用于提升大语言模型在多语言、多地区工具调用场景中的性能与鲁棒性。

ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

ESGenius：对环境、社会和治理（ESG）及可持续性知识的LLM基准测试

Chaoyue He, Xin Zhou, Yi Wu, Xinjia Yu, Yan Zhang, Lei Zhang, Di Wang, Shengfei Lyu, Hong Xu, Xiaoqiao Wang, Wei Liu, Chunyan Miao

机构 * Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里巴巴-NTU全球可持续性公司实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ESGenius是首个针对LLM在ESG及可持续性知识评估的综合问答基准，通过RAG方法显著提升模型性能。

Comments EMNLP'25 Main Oral (42 pages, 10 figures, 11 tables), Nominations for Resource Award & Theme Paper Award

Journal ref In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025), pages 14612-14653

ContextBench: Modifying Contexts for Targeted Latent Activation

ContextBench: 为定向激活潜在特征修改上下文

Robert Graham, Edward Stevinson, Leo Richter, Alexander Chia, Joseph Miller, Joseph Isaac Bloom

机构 * Imperial College London（帝国理工学院伦敦校区） ； University College London（伦敦大学学院） ； University of Oxford（牛津大学） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 评测与基准 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ContextBench通过上下文修改方法提升语言模型触发特定潜在特征的能力，结合LLM辅助和扩散模型实现最佳平衡效果。

Comments Published at ICLR 2026

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026