语言大模型 / LLM

Greener Than Humans? Environmental Attitudes in Large Language Models

比人类更绿色？大语言模型中的环境态度

Stefanie Kunkel, Tilman Hartwig, Marcus Voss, Emma K. Schütt, Angelika Gellrich

机构 * University of Tübingen（图宾根大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 通过构建基准评估31个LLM的环境认知、情感和行为建议，发现多数模型比德国调查受访者更倾向环保态度，但存在语境敏感性和谄媚偏移。

Comments Code can be found at https://gitlab.opencode.de/uba-ki-lab/llm-questionnaire-benchmarking-framework Benchmark data and results can be found at https://zenodo.org/records/20445903

Acceptance-Test-Driven Evaluation Protocols for Business-Centric LLM Systems

面向业务中心LLM系统的验收测试驱动评估协议

Eric Liang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM系统概率生成与确定性需求不匹配问题，提出基于验收测试驱动开发、安全工程和业务中心验证的评估协议，将利益相关者目标转化为可执行行为契约，并采用红-训练-绿生命周期确保多维门控通过后才发布。

Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models

聚类自评估：一种简单而有效的大型语言模型不确定性量化方法

Qi Cao, Takeshi Kojima, Andrew Gambardella, Helinyi Peng, Yutaka Matsuo, Yusuke Iwasawa

机构 * The University of Tokyo（东京大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种基于语义聚类和多项选择概率的简单自评估方法，用于大型语言模型的不确定性量化，在多个模型和数据集上优于基线方法。

Comments Findings of ACL 2026

From 'What' to 'How' and 'Why': Sharing LLM-Generated Retrospective Summaries of Older Adults' Passive Tracking Data with Remote Family Members

从“是什么”到“怎么样”和“为什么”：与远程家庭成员共享老年人被动追踪数据的LLM生成回顾性摘要

Jiachen Li, Reina Szeyi Chan, Akshat Choube, Xiang Zhi Tan, Elizabeth Mynatt, Varun Mishra

机构 * Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究利用大型语言模型（LLM）从多模态追踪数据生成回顾性摘要，通过技术探针和访谈重新设计系统，显著提升了远程家庭成员对摘要的满意度、帮助性、信任和接收意愿，并提出了支持其从“是什么”到“怎么样”和“为什么”的认知转变的设计启示。

The Geometry of LLM-as-Judge: Why Inter-LLM Consensus Is Not Human Alignment

LLM作为评判者的几何学：为什么LLM间共识不等于人类对齐

Sourabrata Mukherjee, Hamna Hamna, Kalika Bali, Sunayana Sitaram

专题命中 评测与基准 ：LLM(title,title_cn)；preference optimization(abstract)；分类 cs.CL

AI总结 通过几何量测量，发现LLM评判者之间高度一致但与人类对齐差，其评分子空间与人类子空间几乎正交，共识源于子空间坍缩而非人类对齐。

Quantifying and Mitigating Self-Preference Bias of LLM Judges

量化与缓解LLM评判者的自我偏好偏差

Jinming Yang, Zheng Hu, Chuxian Qiu, Zhenyu Deng, Xinshan Jiao, Tao Zhou

机构 * CompleX Lab, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China（复杂实验室、计算机科学与工程学院、电子科技大学、成都、中国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自动化框架量化LLM自我偏好偏差，并通过认知负荷分解的多维评估策略平均降低31.5%的偏差。

ClinicalMC: A Benchmark for Multi-Course Clinical Decision-Making with Large Language Models

ClinicalMC：面向大语言模型的多疗程临床决策基准

Ruihui Hou, Siyi Zhu, Ziyue Huai, Guangya Yu, Yongqi Fan, Chunming Wang, Tong Ruan

机构 * East China University of Science and Technology, Shanghai, China（东华大学） ； Renji Hospital Affiliated to Shanghai Jiaotong University School of Medicine, Shanghai, China（复旦大学附属中山医院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出ClinicalMC基准，包含多阶段样本，通过多智能体评估框架在单轮静态和多轮动态设置下测试大语言模型的临床决策能力。

Agent Skills for Large Language Models: Architecture, Acquisition, Security, and the Path Forward

大型语言模型的智能体技能：架构、获取、安全与未来路径

Renjun Xu, Yang Yan

机构 * ReDiscovery Hangzhou China（杭州ReDiscovery研究院） ； Westlake University Hangzhou China（西交大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文综述了大型语言模型智能体技能的研究，涵盖架构基础（如SKILL.md规范、渐进式上下文加载）、技能获取（强化学习、自主发现、组合合成）、大规模部署（计算机使用智能体栈、GUI接地）以及安全挑战（26.1%社区技能含漏洞），并提出技能信任与生命周期治理框架。

Comments Accepted by Agent Skills '26 Workshop at ACM Conference on AI and Agentic Systems 2026

Fixing FOLIO and MALLS: Verified Annotations and an LLM-assisted Framework to Focus Human Relabeling

修复FOLIO和MALLS：经过验证的标注和基于LLM的框架以聚焦人工重新标注

Andrea Brunello, Cristian Curaba, Luca Geatti, Michele Mignani, Angelo Montanari, Nicola Saccomanno

机构 * University of Udine（乌迪大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 通过人工检查发现FOLIO和MALLS数据集中存在大量形式化错误，提出基于LLM的框架引导人工审核，显著减少所需审核量并提高数据集准确性。

TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment

TriEval: 一种资源高效的LLM偏见、毒性和真实性评估流水线

Akshatha Srikantha, Manpreet Singh, Yash Jajoo, Shyamal Lakhanpal

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出TriEval流水线，通过同时评估LLM输出的偏见、毒性和真实性，在标准笔记本电脑上高效运行，并揭示开源与闭源模型在毒性和真实性上的差异。

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； National University of Singapore（新加坡国立大学） ； De Artificial Intelligence Lab（德人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 提出WildRoadBench基准，通过VLM直接定位和LLM驱动智能体自主研究两种协议，评估模型在航拍道路损伤定位上的性能，发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

Evaluating and Calibrating LLM Confidence on Questions with Multiple Correct Answers

评估和校准LLM在多个正确答案问题上的置信度

Yuhan Wang, Shiyu Ni, Zhikai Ding, Zihang Zhan, Yuanzi Li, Keping Bi

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多正确答案问题导致现有置信度校准方法失效的问题，提出语义置信度聚合（SCA）方法，通过聚合多个高概率采样响应的置信度，在混合答案设置下实现最优校准性能。

ParliaBench: An Evaluation and Benchmarking Framework for LLM-Generated Parliamentary Speech

ParliaBench: 面向大语言模型生成的议会演讲的评估与基准框架

Marios Koniaris, Argyro Tsipi, Panayiotis Tsanakas

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ParliaBench基准框架，通过构建英国议会数据集、结合计算指标与LLM评判的评估方法以及两种新型嵌入指标（政治光谱对齐和政党对齐），系统评估LLM生成议会演讲的语言质量、语义连贯性和政治真实性，实验表明微调显著提升多数指标且新指标对政治维度具有强区分力。

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 4797-4818, European Language Resources Association (ELRA), Palma, Mallorca, Spain, May 2026

Gender-Dependent Diagnostic Substitution in LLM Medical Triage: Same Symptoms, Unequal Urgency

LLM医疗分诊中的性别依赖性诊断替代：相同症状，不同紧急程度

Qi Han Wong

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大型语言模型在相同神经症状下，仅因患者性别和年龄不同而产生不同的分诊建议，发现年轻女性被系统性低估紧急程度，机制为诊断替代。

Comments 7 pages, 3 tables. Multi-model replication across Gemini, Claude, and GPT. Code and data: https://github.com/wongqihan/ai-behavioral-experiments

LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories

LLM 法官在安全标准和危害类别上不一致地存在分歧

Krishnapriya Vishnubhotla, Sowmya Vajjala, Akriti Vij, Isar Nejadgholi

机构 * National Research Council, Canada（加拿大国家研究理事会） ； IMDA, Singapore（新加坡信息通信技术发展局） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究评估了自动法官在无参考设置下进行多维安全评估的一致性，发现大型语言模型在识别金融等受监管领域中机器生成建议的安全问题时不可靠，且不一致程度因安全标准、内容语言和风格而异，不同法官之间也存在高度分歧。

Comments 8 pages plus appendices, under review

Rethinking Molecular Text Representations for LLMs: An Empirical Study

重新思考用于大语言模型的分子文本表示：一项实证研究

Arun Raja, Garrett M. Morris, Kian Ming A. Chai

机构 * University of Oxford（牛津大学） ； DSO National Laboratories（DSO国家实验室） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 通过系统基准测试，评估了9种分子表示和8种化学任务下16个LLM的性能，发现表示选择强烈影响结果，结构化文本表示（CML、MolJSON）在结构任务中占优，IUPAC在语义任务中占优，而SMILES很少最优。

Comments 25 pages, 11 figures, 20 tables

Distribution-Calibrated Inference Time Compute for Thinking LLM-as-a-Judge

分布校准的推理时间计算用于思考型LLM作为评判者

Hamid Dadkhahi, Firas Trabelsi, Parker Riley, Juraj Juraska, Mehdi Mirzazadeh

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深Mind） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对思考型大语言模型作为评判者时单样本噪声和聚合不一致问题，提出基于Bradley-Terry-Davidson模型的分布校准聚合方案，利用极性（非平局边际）和决定性（非平局率）区分微弱多数与强共识，显著降低MAE并提高成对准确率，匹配或超越人类评判者。

Generating the Modal Worker: A Cross-Model Audit of Race and Gender in LLM-Generated Personas Across 41 Occupations

生成模态工人：跨模型审计41个职业中LLM生成人设的种族与性别

Ilona van der Linden, Sahana Kumar, Arnav Dixit, Aadi Sudan, Smruthi Danda, David C. Anastasiu, Kai Lukoff

机构 * Human-Computer Interaction Lab, Computer Science and Engineering（人机交互实验室，计算机科学与工程） ； Santa Clara University（圣克拉拉大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究审计了四个大型语言模型生成的150多万个职业人设，通过与BLS数据对比，发现模型压缩了人口统计变异，系统性地扭曲了种族和性别代表性。

PieArena: Ranking and Profiling Language Agents in Realistic Negotiation Scenarios

PieArena：在真实谈判场景中对语言智能体进行排名与画像

Chris Zhu, Sasha Cui, Will Sanok Dufallo, Runzhi Jin, Zhen Xu, Linjun Zhang, Daylian Cain

机构 * Yale University（耶鲁大学） ； UC Berkeley（加州大学伯克利分校） ； BloomBerg（摩根大通） ； Rutgers University（罗格斯大学） 纠错

专题命中 评测与基准 ：language agent(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 本文提出PieArena基准，通过多智能体交互评估LLM的谈判能力，并开发排名模型与行为画像，发现联合意图框架对中低端模型提升显著，前沿模型（如GPT-5）在谈判中达到或超过人类基线。

Automated Report-Derived Oncology VQA Benchmark for Evaluating Vision-Language Models on 3D Medical Imaging

自动化报告驱动的肿瘤学VQA基准：用于评估3D医学影像上的视觉-语言模型

Bo Liu, Hanxue Gu, Xiangru Li, Zheren Zhu, Jacob Ellison, Kang Wang, Janine M. Lupo, Yang Yang, Hui Lin

机构 * UCSF–UC Berkeley Joint Graduate Program in Bioengineering（UCSF-伯克利生物工程联合研究生项目） ； Department of Radiology, UCSF（UCSF放射科） ； Department of Radiation Oncology, UCSF（UCSF放射肿瘤科） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 提出一个自动化管道，从私有放射学报告和3D肿瘤影像生成多选VQA数据集，构建无污染基准，评估六种视觉-语言模型，发现视觉依赖因数据集而异。

AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following

AnyAudio-Judge：基于动态评分标准的音频指令跟随基准与评估器

Haitao Li, Tian Tan, Yuguang Yang, Shan Yang, Xie Chen

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文脉） 纠错

专题命中 评测与基准 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对指令引导音频生成中复杂指令解耦困难、评估缺乏可解释性和细粒度属性匹配的问题，提出基于动态评分标准的评估范式，通过自适应分解音频描述为可验证的二元评分项，并构建包含7920个样本的双语基准和105K训练语料，结合SFT与GRPO训练专用评估器，在零样本对齐检测和下游强化学习指令对齐中取得显著提升。

FLARE: Fine-Grained Diagnostic Feedback for LLM Code Refinement

FLARE: 面向大语言模型代码精炼的细粒度诊断反馈

Yinsheng Yao, Hongxiang Zhang, Weixi Tong, Tianyi Zhang

机构 * Tongji University（同济大学） ； Purdue University（普渡大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FLARE框架，利用轻量级诊断模型预测行级可疑信号进行缺陷定位和代码精炼，通过Top-K候选搜索提升修复效果。

Diagnosing Knowledge Gaps in LLM Tool Use: An Agentic Benchmark for Novel API Acquisition

诊断大语言模型工具使用中的知识缺口：面向新API获取的智能体基准

Jinnuo Liu, Yue Peng, Jinhan Niu, Hongyi Wen

机构 * NYU Shanghai（纽约大学上海分校） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出 NovelAPIBench 基准，通过动态发现新API、分解知识包并生成可执行任务，诊断模型在API使用中的六类错误，发现检索与参数调优互补。

Comments 37 pages, 12 figures

DTop-p MoE: Sparsity-Controlled Dynamic Top-p MoE for Foundation Model Pre-training

DTop-p MoE：面向基础模型预训练的稀疏度可控动态Top-p MoE

Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohi Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DTop-p动态路由机制，通过比例积分控制器学习Top-p概率阈值并采用动态路由归一化，在全局稀疏约束下实现层间专家选择，一致优于Top-k和固定Top-p基线，且FLOPs与Top-k MoE相当。

Fully Automated Identification of Lexical Alignment and Preference-Stage Shifts in Large Language Models

大型语言模型中词汇对齐和偏好阶段转变的完全自动识别

Thomas Stephan Juzek, Xiaoyang Ming, Jose A. Hernandez

机构 * University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出两种无需人工干预的评估指标——词汇对齐分数和三角化偏好转变，用于自动识别大型语言模型中的词汇过度使用及其与人类偏好学习的关联。

Comments 16 pages, 2 figures, 10 tables

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pages 6116-6131

GTBench: A Curriculum-Grounded Benchmark for Evaluating LLMs as Mathematical Research Assistants in Graph Theory

GTBench：一个基于课程体系的基准，用于评估大语言模型作为图论数学研究助手的能力

Noujoud Nader, Ibrahem Aljabea, Patrick Diehl, Deepti Gupta

机构 * Louisiana State University（路易斯安那州立大学） ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） ； Texas A&M-Central Texas（德克萨斯大学阿姆斯特朗中央分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出GTBench基准，通过三个难度递增的图论问题组（本科定义、算法推理、研究生证明）评估大语言模型的数学推理能力，发现GPT-5表现最佳，其他模型随难度下降显著，并揭示了人类与自动评估者之间的系统性分歧。

Comments 19 pages, 5 figures, 7 tables

$Ψ$-Bench: Evaluating Persona-Sensitive Influencing in Persuasive Dialogues

$\Psi$-Bench: 评估说服性对话中人格敏感的影响力

Peixuan Han, Hongyi Du, Jiayu Liu, Yihang Sun, Yutong Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language agent(abstract)；分类 cs.LG

AI总结 提出 $\Psi$-Bench 基准，通过三个现实场景评估 LLM 利用用户画像进行说服的能力，发现当前模型仍有较大提升空间，且用户画像带来 18.24% 的性能提升。

D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting

D-Judge: 使用语义保持输出重写破坏多轮越狱攻击

Huanli Gong, Zhipeng Wei, Yu Fu, Haz Sameen Shahgir, Ananya Gupta, Yue Dong, N. Benjamin Erichson

机构 * University of California, Berkeley（加州大学伯克利分校） ； International Computer Science Institute（国际计算机科学研究所） ； University of California, Riverside（加州大学河滨分校） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出D-Judge防御方法，通过语义保持的输出重写干扰攻击者的评判模型反馈循环，从而降低多轮越狱攻击的成功率。

Comments Proceedings of the 43rd International Conference on Machine Learning

Gate AI: LLM Security Benchmark Evaluation Methodology and Results

Gate AI：大语言模型安全基准评估方法与结果

Ryle Goehausen, Marcus Sousa

机构 * constellationnetwork（Constellation Network） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对提示注入和越狱检测器评估中数据集阈值调优和操作点未公开的问题，提出一种采用5折交叉验证、全局操作点选择和多种泛化诊断的评估框架，并在16个公开基准上进行了测试。

Comments 17 pages, 23 figures, 2 tables. Working preprint; subsequent versions may update benchmark numbers as the framework evolves

ProtocolBench: Which LLM MultiAgent Protocol to Choose?

ProtocolBench：选择哪个LLM多智能体协议？

Hongyi Du, Jiaqi Su, Jisen Li, Lijie Ding, Yingxuan Yang, Peixuan Han, Xiangru Tang, Kunlun Zhu, Jiaxuan You

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出ProtocolBench基准，系统比较多智能体协议在任务成功率、延迟、开销和鲁棒性上的表现，并设计可学习的协议路由器ProtocolRouter以动态选择最优协议。

Comments Accepted to ICML 2026. Camera-ready version.Code and benchmark artifacts: https://github.com/ulab-uiuc/AgentProtocols