语言大模型 / LLM

FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge

FairJudge: 一种自适应、去偏且一致的LLM作为评判者

Bo Yang, Lanfei Feng, Yunkui Chen, Yu Zhang, Xiao Xu, Shijian Li

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；分类 cs.CL

AI总结 针对LLM评判系统在适应性、偏见和一致性上的局限，提出FairJudge，通过可学习正则化策略和课程式SFT-DPO-GRPO训练范式，实现自适应、去偏和一致评估。

A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

大语言模型漏洞的生命周期与应用栈调查：攻击、风险、防御与开放问题

Seyed Bagher Hashemi Natanzi, Bo Tang

机构 * Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文通过生命周期与应用栈视角系统化梳理大语言模型系统的漏洞，涵盖数据收集、预训练、对齐、供应链、检索、推理、工具执行和部署等阶段，分析攻击、风险与防御，并提出安全研究议程。

When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

当数据库失败时：提示LLM对话代理在任务导向对话中安全恢复

Mohammad Alijanpour Shalmani, Alale Rezvani Boroujeni, Jiann Shiun Yuan

机构 * College of Engineering and Computer Science, University of Central Florida（中佛罗里达大学工程与计算机科学学院） ； Department of Marketing, University of Central Florida（中佛罗里达大学市场营销系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对任务导向对话中后端数据库失败导致LLM产生不安全响应的问题，提出基于提示的轻量级恢复策略，无需重训练即可将幻觉率降低42-50%。

Comments Accepted at SIGDIAL 2026

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

SAGE：面向自由形式问答的大语言模型的搜索增强评估

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出SAGE框架，通过主动检索和综合外部证据评估LLM输出的事实性，无需固定参考答案，在多个自由问答基准上实现与人类评估的高度一致。

Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

校准评估器：概率校准能否缓解LLM智能体反馈回路中的偏好耦合？

Zewen Liu

机构 * Qilu Institute of Technology, School of Software Engineering（齐鲁理工学院软件工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过概率校准评估器的成对判断来缓解LLM智能体反馈回路中的偏好耦合，实验表明校准将耦合系数降低20-49%，JS散度降低45-67%。

Comments 7 pages, 2 tables

ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences

ReplicatorBench：用于社会科学和行为科学中可复制性评估的LLM代理基准测试

Bang Nguyen, Dominik Soós, Qian Ma, Rochana R. Obadage, Zack Ranjan, Sai Koneru, Timothy M. Errington, Shakhlo Nematova, Sarah Rajtmajer, Jian Wu, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Old Dominion University（老道明大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Independent Researcher（独立研究员） ； Uppsala University（乌普萨拉大学） ； Center for Open Science（开放科学中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ReplicatorBench，一个端到端的基准测试，用于评估AI代理在可复制性研究中的能力，涵盖数据提取、实验设计与结果解释三个阶段，并开发了ReplicatorAgent框架以评估不同LLM和编程语言的性能。

Comments Accepted to KDD 2026 AI4Sciences Track, Camera-ready version

CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning

CLExEval: 一种用于定性评估LLM临床推理的人机协同框架

Ajmal M., Abin Roy, Afthab Salam Kanniyan, Jawadh Abdul Kabeer, Jerin James, Preslav Nakov, Zhuohan Xie

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； IIT Madras（印度理工学院马德拉斯分校） ； Calicut Medical College（卡利卡特医学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CLExEval框架，通过渐进信息遮蔽和专家注释，揭示LLM临床推理中的冗长偏差、隐藏知识悖论和推理-输出不匹配问题，并验证了LLM作为评判者的局限性。

Comments 21 pages, 12 figures

LLM-as-a-judge validity in physics assessment depends more on the task than the model

LLM作为评判者在物理评估中的有效性更取决于任务而非模型

Will Yeadon, Tom Hardy, Paul Mackay, Elise Agra

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究评估LLM在不同物理评估格式（结构化问题、论文、科学图表）中的评分有效性，发现任务类型对评分准确性和排序一致性影响显著，而非模型能力。

Comments 29 pages, 28 figures

Large Language Model Evaluation Via Multi AI Agents: Preliminary results

通过多AI代理评估大型语言模型：初步结果

Zeeshan Rasheed, Muhammad Waseem, Kari Systä, Pekka Abrahamsson

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 本文提出多AI代理模型评估不同LLM性能，通过代码检索与验证，初步结果显示GPT-3.5 Turbo表现更优，未来将引入MBPP基准提升评估精度。

Comments 10 pages, 1 figure

Journal ref ICLR 2024 Workshop on Large Language Model (LLM) Agents, 2024

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

跨语言关系抽取与大语言模型：罗马尼亚语的零样本、少样本和微调评估

Dragos-Mitrut Vasile, Elena-Simona Apostol, Stefan-Adrian Toma, Adrian Paschke, Ciprian-Octavian Truica

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 通过自动翻译数据集结合大语言模型推理，研究罗马尼亚语的跨语言关系抽取，评估Gemma 4 31B在零样本、少样本和QLoRA微调下的性能，并与四种编码器基线对比。

Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law

使用大语言模型探测风格挪用：欧盟法律下版权侵权的评估框架

Noah Scharrenberg, Chang Sun

机构 * Maastricht University（马斯特里赫特大学） ； Contractuo 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出PSALM框架，通过十个评估器将欧盟版权法标准操作化，发现指令调优模型在接触语料前已有非平凡风格相似性，微调导致系统性风格挪用，负偏好优化可降低但残留可检测风格模式。

Benchmarking Large Language Models on Floating-Point Error Classification

大型语言模型在浮点错误分类上的基准测试

Lisa Taldir, Muhammad Ahmad Saeed, David Defour, Pablo de Oliveira Castro, Eric Petit

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.AI

AI总结 本文提出InterFLOPBench基准，评估14个LLM在六类浮点错误上的静态检测性能，最新模型整体F1超过0.88。

RoPoLL: Robust Panel of LLM Judges

RoPoLL: 鲁棒的LLM评审团

Anish Acharya, Kris W Pan, Brian Verkhovsky

机构 * Amazon Web Services（亚马逊云服务） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 针对LLM评审团在污染数据下偏差无界的问题，提出RoPoLL，用几何中位数聚合替代均值，实现最优鲁棒性，在多种偏差攻击下显著优于传统方法。

BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law

BenGER：德国法律中基于归入的法律推理的LLM系统基准测试

Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

机构 * Technical University of Munich (TUM)（慕尼黑技术大学） ； Ludwig Maximilian University of Munich (LMU)（慕尼黑路德维希-马克西米利安大学） ； University of Konstanz（康斯坦茨大学） ； University of Saarbrücken（萨尔布吕肯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出BenGER数据集，用于评估LLM系统在德国法律归入推理中的表现，通过自动和基于法官的指标比较12个LLM系统与人类基线。

Comments Pre-Print

Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies

真相还是诡辩？LoFa：大语言模型对逻辑谬误鲁棒性的基准测试

Xudong Shen, Li Yuan, Ye Chen, Xin Wu, Yi Cai, Zhiyong Wu

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； South China University of Technology（华南理工大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LoFa基准，通过多智能体管道生成事实与谬误配对，结合多轮辩论框架评估LLM对逻辑谬误的鲁棒性，并设计LFR@k指标量化抵抗能力。

Comments Accepted to ACL 2026 Main. 33 pages (9 pages main text)

QVal: Cheaply Evaluating Dense Supervision Signals for Long-Horizon LLM Agents

QVal：廉价评估长周期LLM智能体的密集监督信号

Sergio Hernández-Gutiérrez, Matteo Merler, Ilze Amanda Auzina, Joschka Strüber, Ameya Prabhu, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出QVal，一种无需训练的基准测试，通过Q值对齐直接评估密集监督信号质量，避免下游训练开销。在21种方法、4个环境上的实验表明，简单提示基线优于现有方法。

Comments 10 pages, 5 figures in main text; 48 pages, 6 figures with appendix

Automating Cause-Effect Specification with Knowledge Graphs and Large Language Models

利用知识图谱和大语言模型自动化因果规范生成

Javal Vyas, Milapji Singh Gill, Mehmet Mercangöz

机构 * Autonomous Industrial Systems Lab, Imperial College London（帝国理工学院自主工业系统实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 提出一种语义AI框架，结合知识图谱与约束大语言模型，自动生成因果逻辑和操作安全叙述，减少手动工作。

Calibration, Not Compilation: Detecting and Repairing Misspecified Probabilistic Programs Written by Language Models

校准，而非编译：检测和修复语言模型编写的错误指定概率程序

Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

机构 * RIKEN iTHEMS ； RIKEN AIP ； South China University of Technology（南方科技大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出用贝叶斯工作流（后验预测检查、模拟校准等）作为验证器，检测和修复LLM编写的概率程序中的统计错误，在检测（AUC 0.97）和修复（显著优于单元测试反馈）上表现优异。

The Language You Ask In: Language-Conditioned Ideological Divergence in LLM Analysis of Contested Political Documents

提问的语言：语言条件对LLM分析争议性政治文件时的意识形态分歧的影响

Oleg Smirnov

机构 * Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过俄语和乌克兰语语义等价提示，发现ChatGPT和Claude Opus在分析同一乌克兰公民社会文件时，输出出现系统性意识形态分歧，且分歧程度因模型而异。

Learning to Deny: Action Denial in Multimodal Large Language Models

学习拒绝：多模态大语言模型中的动作否定

Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出UCF101-AD基准测试，评估多模态大语言模型在强上下文线索下识别动作缺失的能力，发现模型倾向于肯定动作而非验证其真实性，并通过因果图CausalAct减少误报。

Comments Accepted to ECCV 2026 main conference

CodeChat-Eval: Evaluating Large Language Models in Multi-Turn Code Refinement Dialogues

CodeChat-Eval：在多轮代码优化对话中评估大型语言模型

Guoxiang Guo, Kla Tantithamthavorn, Neelofar Neelofar, Yuanyuan Qi, Aldeida Aleti

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出CodeChat-Eval框架，通过动态指令选择算法构建多轮代码优化对话评估会话，发现LLMs在多轮优化中功能正确性显著下降（19.2%-69.2%），逻辑级优化和新增请求导致最大下降。

Comments Accepted by ICSME26

A Novel Method for Differential-Algebraic Dynamic Model Discovery in Power Systems: An LLM-Based Multi-Agent Collaborative Framework

一种电力系统微分代数动态模型发现的新方法：基于LLM的多智能体协作框架

Xinming Wang, Fan Tang, Yingli Wei, Yakun He, Zhe Liu, Ping Jiang, Haoyu Wu, Zihan Guo, Chao Shen

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 针对电力系统强非线性、多时间尺度耦合及黑箱控制逻辑导致的模型发现难题，提出基于大语言模型的多智能体协作框架，通过并行生成候选方程结构并联合恢复状态动态、代数约束和关键中间变量，在同步发电机和构网型逆变器案例中优于单智能体方法和传统符号回归。

LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment

LOPA：通过潜在序数原型对齐增强口语评估

Hong-Yun Lin, Fu-An Chao, Bi-Cheng Yan, Berlin Chen

机构 * National Taiwan Normal University（国立台湾师范大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LOPA正则化器，在潜在空间施加序数几何先验，结合SALR自适应提取Whisper编码器多层表示，以0.361 RMSE媲美十亿参数系统，无需LLM微调。

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

BLUEX v2: 对巴西大学入学考试开放性问题的大语言模型基准测试

João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

机构 * UNICAMP（坎皮纳斯州立大学） ； Tropic AI ； Maritaca AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对葡萄牙语开放性问题评估的不足，提出BLUEX v2基准，包含巴西两所顶尖大学第二阶段入学考试的395道题，采用LLM-as-a-judge评估21个模型，发现数学推理和图像理解是最难的能力维度。

Comments 15 pages, 4 figures, 7 tables

DeXposure-Claw: An Agentic System for DeFi Risk Supervision

DeXposure-Claw: 一个用于DeFi风险监管的智能体系统

Aijie Shu, Bowei Chen, Wenbin Wu, Cathy Yi-Hsuan Chen, Fengxiang He

机构 * University of Edinburgh（爱丁堡大学） ； University of Glasgow（格拉斯哥大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对DeFi监管中LLM智能体易误报的问题，提出DeXposure-Claw系统，通过图时间序列基础模型预测风险网络，结合确定性监控和置信度门控生成可审计监管票据，并构建六轴评估基准DeXposure-Bench，实验验证有效性。

CLOUDADV: Decision-Aligned Instance Sizing with Zero-Shot Foundation Models under Drift

CLOUDADV: 漂移下基于零样本基础模型的决策对齐实例大小调整

Jack Bell, Giacomo Carfi, Gerlando Gramaglia, Andrea Simioni, Daniele Fontani, Vincenzo Lomonaco

机构 * University of Pisa（比萨大学） ； Independent Researcher（独立研究员） ； Sintra Consulting Limited（Sintra咨询有限公司） ； Luiss University（路易斯大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CLOUDADV系统，结合零样本时间序列预测与有界推荐生成，在非平稳云环境中实现决策对齐的实例大小调整，通过参考推荐和成本节约评估，在7个生产VM案例中实现52.9%成本节省。

Comments 9 pages, 2 figures

REMSA: Foundation Model Selection for Remote Sensing via a Constraint-Aware Agent

REMSA：通过约束感知代理进行遥感基础模型选择

Binger Chen, Tacettin Emre Bök, Behnood Rasti, Volker Markl, Begüm Demir

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） ； U AI（5U AI） ； Technische Universität Berlin & BIFOLD（柏林工业大学 & BIFOLD） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出REMSA，一种基于结构化数据库RS-FMD的约束感知代理，通过自然语言查询自动选择遥感基础模型，结合元数据检索与上下文学习，在专家评估基准中优于多种基线。

Comments Code and data available at https://github.com/be-chen/REMSA

Training Therapeutic Judges and Multi-Agent Systems for Human-Aligned Mental Health Support

训练治疗性评判者与多智能体系统以实现人类对齐的心理健康支持

Mizanur Rahman, Abeer Badawi, Elahe Rahimi, Laleh Seyyed-Kalantari, Frank Rudzicz, Enamul Hoque, Elham Dolatabadi

机构 * York University（约克大学） ； Vector Institute（向量研究所） ； Connected Minds ； Dalhousie University（达尔豪斯大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个框架，通过两阶段训练（TheraJudge评判者与TheraAgent多智能体系统）将治疗性响应生成转化为决策优化问题，显著提升心理健康LLM的治疗质量。

Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions

Indi-RomCoM：评估LLM在罗马化印度语-英语混合指令上的基准测试

Avisha Das, Mihir Parmar, Mohana Ramnath, Pulkit Verma

机构 * Shiv Nadar University Chennai（金奈希夫·纳达尔大学） ； Google Cloud AI Research（谷歌云人工智能研究） ； IIT Madras（印度理工学院马德拉斯分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Indi-RomCoM基准，用于评估大语言模型在罗马化印度语-英语混合指令上的表现，涵盖7个任务、4种语言和3种混合强度，发现模型性能随混合密度增加而下降。

Can LLMs Imagine Moral Alternatives Beyond Binary Dilemmas?

LLMs能否想象超越二元困境的道德替代方案？

Jongchan Choi, Nari Yang, Sung Soo Park, Jaemin Cho, Han Seoyoung, Haerin Shin, Jun-Hyung Park

机构 * Korea University（高丽大学） ； XenoStep AI ； Hankuk University of Foreign Studies（韩国外国语大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLMs在道德困境中缺乏替代方案想象能力的问题，提出MoralAltDataset数据集，通过引入妥协和重构替代方案，发现LLMs倾向于选择替代方案，且生成的替代方案在质量和伦理标准上优于人类。

Comments "23 pages. Preprint