语言大模型 / LLM

PReMISE: Policy Rubrics as Measurement Specifications for LLM Judges

PReMISE：作为LLM评判者测量规范的政策评分标准

Swastik Roy, Rajkumar Pujari, Tharindu Kumarage, Charith Peris, Rahul Gupta, Anna Rumshisky, Pradeep Natarajan, Venkatesh Saligrama

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PReMISE框架，从人类偏好数据中发现政策级评分标准集，并从结构充分性、可靠性、偏好拟合和对抗鲁棒性四个维度审计评分标准，通过偏好排名选择和可靠性约束修复操作提升评判准确性并降低可被利用性。

Generating and Refining Dynamic Evaluation Rubrics for LLM-as-a-Judge

生成与精炼动态评估准则用于LLM-as-a-Judge

Zijie Wang, Eduardo Blanco

机构 * University of Arizona（亚利桑那大学） ； Department of Computer Science（计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出无需人工标注的自动生成细粒度评估准则方法，通过数据集级和实例级粒度生成，并利用元评判奖励信号迭代微调准则生成器，在成对和逐点评估中均超越现有基线。

SPM-Bench: Benchmarking Large Language Models for Scanning Probe Microscopy

SPM-Bench：面向扫描探针显微镜的大型语言模型基准测试

Peiyao Xiao, Xiaogang Li, Xinyi Gao, Chengliang Xu, Ben Wang, Zichao Chen, Zeyu Wang, Lin Qu, Bing Zhao, Hu Wei

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 提出SPM-Bench，一个全自动数据合成管道和严格评估指标（SIP-F1），用于测试LLMs在扫描探针显微镜领域的推理能力，并首次量化模型“个性”。

DTBench: A Synthetic Benchmark for Document-to-Table Extraction

DTBench：文档到表格提取的合成基准

Yuxiang Guo, Zhuoran Du, Nan Tang, Kezheng Tang, Congcong Ge, Yunjun Gao

机构 * Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DTBench合成基准，通过反向Table2Doc范式和多智能体合成流程生成文档，系统评估LLM在文档到表格提取中的多种能力。

Comments KDD26

Understanding the Fundamental Design Decisions of Retrieval-Augmented Generation Systems

理解检索增强生成系统的基本设计决策

Shengming Zhao, Yuchen Shao, Yuheng Huang, Jiayang Song, Zhijie Wang, Chengcheng Wan, Lei Ma

机构 * Fudan University（复旦大学） ； East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院） ； The University of Tokyo（东京大学） ； Macau University of Science and Technology（澳门科学理工学院） ； Concordia University（Concordia大学） ； University of Alberta（阿尔伯塔大学） ； The University of Tokyo, Japan（日本东京大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过系统实验，研究了RAG部署中的三个关键决策（是否部署、检索量、知识集成方式），揭示了任务和模型依赖的优化策略，为实践者提供基于证据的指导。

Journal ref ACM Transactions on Software Engineering and Methodology (TOSEM), 2026

Vision-Language Models Suppress Female Representations Under Ambiguous Input

视觉-语言模型在模糊输入下抑制女性表征

Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

机构 * School of Engineering and Applied Sciences（工程与应用科学系） ； Department of Psychology（心理学系） 纠错

专题命中 评测与基准 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过引入零样本度量LALS，发现视觉-语言模型在模糊输入下内部编码与输出存在系统性解耦，女性信号在生成前被抑制，揭示了模型对性别偏见的内部处理机制。

Comments 16 pages, 12 figures, 1 table

GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization

GPU预测器：语言模型作为内核运行时优化的选择性替代

Zaid Khan, Justin Chih-Yao Chen, Jaemin Cho, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； AI2 ； Johns Hopkins University（约翰霍普金斯大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究利用语言模型作为GPU内核性能的选择性替代，通过强化学习提高预测准确性和校准度，在有限GPU评估预算下加速内核搜索。

Comments Code: https://github.com/codezakh/gpu-forecasters

On the Robustness of Multilingual Text Embedding Rankings Across Learning Tasks, Languages, and Benchmark Datasets

多语言文本嵌入排名在学习任务、语言和基准数据集上的鲁棒性

Ana Gjorgjevikj, Barbara Koroušić Seljak, Tome Eftimov

机构 * Computer Systems Department（计算机系统系） ； Jožef Stefan Institute（乔泽夫·斯塔芬研究所） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 通过引入数据集组成鲁棒性和排名方案鲁棒性指标，系统分析了MTEB中多语言模型排名对评估设计变化的敏感性，发现基于LLM的大模型通常是鲁棒的顶尖模型，但并非在所有任务中一致。

SAC-Opt: Semantic Anchors for Iterative Correction in Optimization Modeling

SAC-Opt：优化建模中用于迭代修正的语义锚点

Yansen Zhang, Qingcan Kang, Yujie Chen, Yufei Wang, Xiongwei Han, Tao Zhong, Mingxuan Yuan, Chen Ma

机构 * Department of Computer Science, City University of Hong Kong, Hong Kong SAR, China（香港城市大学计算机科学系） ； Huawei Noah's Ark Lab, Hong Kong SAR, China（华为诺亚实验室（香港）） ； Huawei's Supply Chain Management Department, Shenzhen, China（华为供应链管理部（深圳）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SAC-Opt框架，通过语义锚点对齐和选择性修正，在无需额外训练的情况下提升大语言模型生成优化建模代码的语义忠实度，平均建模准确率提升7.7%。

Comments ICML 2026 accepted

ReTabAD: A Benchmark for Restoring Semantic Context in Tabular Anomaly Detection

ReTabAD: 恢复表格异常检测中语义上下文的基准

Sanghyu Yoon, Dongmin Kim, Suhee Yoon, Ye Seul Sim, Seungdong Yoa, Hye-Seung Cho, Soonyoung Lee, Hankook Lee, Woohyung Lim

机构 * LG AI Research, Seoul, South Korea（LG人工智能研究实验室，首尔，韩国） ； Sungkyunkwan University, Suwon, South Korea（成均馆大学，水原，韩国） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对现有表格异常检测基准缺乏语义上下文的问题，提出ReTabAD基准，通过丰富结构化文本元数据并集成零样本LLM框架，验证了语义上下文能提升检测性能和可解释性。

Comments Accepted to ICLR 2026

PInVerify: An Offline Embodied Benchmark for Active Instance Verification

PInVerify：面向主动实例验证的离线具身基准

Yuhang Jiang

机构 * University of Trento（特伦托大学） 纠错

专题命中 评测与基准 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出主动实例验证任务，构建离线具身基准PInVerify，通过多视角导航和细粒度属性匹配评估具身智能体，并基于多模态大语言模型建立基线。

Comments Accepted as a poster at the Foundation Models Meet Embodied Agents (FMEA) Workshop, CVPR 2026. 44 pages including appendix. Code: https://github.com/Avalon-S/PInVerify

TokTalk: Expressive Real-time Facial Animation from Audio-LLM Tokens

TokTalk: 基于音频-大语言模型令牌的富有表现力的实时面部动画

Qingcheng Zhao, Yifang Pan, Karan Singh

机构 * University of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(abstract)

AI总结 提出TokTalk系统，利用音频-大语言模型产生的音频令牌直接实时生成富有表现力的3D面部动画，通过分块条件流匹配模型和轻量级适配策略实现低延迟和高品质。

Few-Shot Adaptation Benchmark for Remote Sensing Vision-Language Models

遥感视觉语言模型的少样本适应基准

Karim El Khoury, Maxime Zanella, Christophe De Vleeschouwer, Benoit Macq

机构 * UCLouvain（乌尔特-洛文大学） ； UMons（蒙斯大学） ； Fonds de la Recherche Scientifique（科学基金组织） 纠错

专题命中 评测与基准 ：language model(title,abstract)；pretraining(abstract)

AI总结 提出首个遥感视觉语言模型少样本适应基准，通过十个数据集和五种策略评估三个模型，发现零样本性能相似的模型在少样本适应下表现差异显著，需开发更鲁棒的方法。

Preference-Aware Rubric Learning for Personalized Evaluation

偏好感知的评分标准学习用于个性化评估

Yilun Qiu, Xiaoyan Zhao, Yang Zhang, Yuxin Chen, Cilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Yoko Yamakata, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Xiaohongshu Inc.（小红书公司） ； The University of Tokyo（东京大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出PARL框架，通过从用户历史中学习偏好感知的评估标准并采用自验证机制，实现个性化评估。

Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution

用于预测市场决议的多智能体AI预言机系统的设计与评估

Tarun Kota

机构 * Yale University（耶鲁大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本研究设计并评估了多智能体LLM架构作为预测市场决议的预言机，通过独立聚合与协商共识两种机制，在KalshiBench数据集上对比单模型基线，发现置信度加权投票的独立聚合达到83.43%准确率，而协商共识因错误传播性能下降，并提出了混合AI-人类预言机的路由标准。

Comments 34 pages, 11 figures

EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs

EHRBench: 基于电子健康记录的自动化可靠临床决策基准测试，用于大语言模型

Yuzhang Xie, Keqi Han, Yunpeng Xiao, Hejie Cui, Guanchen Wu, Ziyang Zhang, Kai Shu, Jiaying Lu, Xiao Hu, Carl Yang

机构 * Emory University（埃默里大学） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出EHRBench，通过EHR-LLM-KB交互流水线自动构建近百万问答对，涵盖诊断、治疗和预后三大临床决策任务，系统评估30余种LLM的性能与鲁棒性。

Comments Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026), Datasets and Benchmarks Track, Oral

Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs

评估使用模拟工具调用隔离不可信提示输入

David Gros, Adam Gleave

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过自动化红队测试，研究将不可信内容包装在模拟工具调用中作为隔离措施是否能提高大语言模型的鲁棒性，发现该方法通常无效甚至有害。

The Surface You Test Is Not the Surface That Breaks

测试的表面并非断裂的表面

Shifat E Arman, Syed Nazmus Sakib, Nafiul Haque, Shahrear Bin Amin

机构 * Department of Robotics and Mechatronics Engineering, University of Dhaka（达卡大学机器人与机电工程系） ； Department of Computer Science and Engineering, University of Dhaka（达卡大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文发现工具增强的LLM代理对提示注入的脆弱性依赖于攻击表面（工具输出 vs 工具描述），提出自适应攻击率并强调评估需报告每个表面的脆弱性。

Comments 8 Figures, 8 Tables, Under Review at EMNLP

PASTA: A Scalable Framework for Multi-Policy AI Compliance Evaluation

PASTA: 一种用于多策略AI合规评估的可扩展框架

Yu Yang, Ig-Jae Kim, Dongwook Yoon

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Korea Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出PASTA框架，通过模型卡格式、策略规范化、LLM驱动的成对评估引擎和可解释界面，实现多策略AI合规的快速、低成本评估，专家评估显示与人类判断高度一致。

Comments 28 pages, 7 figures

LH-Bench: Skill-Grounded Evaluation of Long-Horizon Agents on Subjective Enterprise Tasks

LH-Bench：面向主观企业任务的长期智能体技能基础评估

Abhishek Chandwani, Ishan Gupta

机构 * Metaphi Inc.（Metaphi公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LH-Bench，通过专家基础评分标准、真实标注工件和成对偏好评估三支柱，解决主观企业任务中长期自主执行的评估问题。

G-STAR: End-to-End Global Speaker-Tracking Attributed Recognition

G-STAR: 端到端全局说话人跟踪属性识别

Jing Peng, Ziyi Chen, Haoyu Li, Yucheng Wang, Duo Ma, Mengtian Li, Yunfan Du, Dezhu Xu, Kai Yu, Shuai Wang

机构 * Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Central Media Technology Institute, Huawei（华为中央媒体技术研究院） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出G-STAR框架，通过缓存条件说话人跟踪模块与Speech-LLM转录骨干耦合，实现长时重叠多说话人语音的端到端说话人属性识别，支持组件优化和联合训练，在局部和全局评估中均表现优异。

Comments submitted to Emnlp 2026

Neuron-Level Interventions for Gendered and Gender-Neutral Generation in Language Models

语言模型中性别化与性别中立生成的神经元级干预

Zhiwen You, Nafiseh Nikeghbal, Jana Diesner

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 提出神经元级干预方法，通过识别与女性、男性和性别中立相关的特定神经元，实现对语言模型生成文本的性别控制，并发现性别神经元主要集中在前几层。

Goldfish: Monolingual Language Models for 350 Languages

Goldfish: 面向350种语言的单语语言模型

Tyler A. Chang, Catherine Arnett, Zhuowen Tu, Benjamin K. Bergen

机构 * Department of Cognitive Science（认知科学系） ； Department of Linguistics（语言学系） ； Department of Computer Science（计算机科学系） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 针对低资源语言，发现大型多语言模型在基本语法生成上不如双元模型，而小规模单语模型在困惑度和语法性基准上表现更优，并发布了覆盖350种语言的1000多个单语模型套件Goldfish。

Comments LREC 2026

The Illusion of Generalization in Tabular Language Models

表格语言模型中的泛化错觉

Aditya Gorla, Ratish Puduppully

机构 * University of California, Los Angeles, USA（加州大学洛杉矶分校） ； IT University of Copenhagen, Denmark（哥本哈根IT大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 通过系统评估Tabula-8B在165个数据集上的表现，发现其声称的泛化能力主要源于评估伪影（如数据污染和格式熟悉度），而非真正的表格推理。

Journal ref In Proc. 43th International Conference on Machine Learning (ICML 2026)

SpatialBench: Is Your Spatial Foundation Model an All-Round Player?

SpatialBench: 你的空间基础模型是全能选手吗？

Haosong Peng, Hao Li, Jiaqi Chen, Yuhao Pan, Runmao Yao, Yalun Dai, Fushuo Huo, Fangzhou Hong, Zhaoxi Chen, Haozhao Wang, Dingwen Zhang, Ziwei Liu, Wenchao Xu

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Nanyang Technological University（南洋理工大学） ； Northwestern Polytechnical University（西北工业大学） ； Southeast University（东南大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 提出SpatialBench基准，通过跨范式、多域、确定性采样的评估，揭示当前空间基础模型在多样化下游任务中的泛化能力不足，并引入DA-Next-5M数据集和DA-Next模型推动空间表示学习。

Comments Project Page: https://ropedia.github.io/SpatialBench/

UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities

UniDial-EvalKit：多面对话能力评估的统一工具包

Qi Jia, Haodong Zhao, Dun Pei, Xiujie Song, Ye Shen, Shibo Wang, Zijian Chen, Zicheng Zhang, Xiangyang Zhu, Guangtao Zhai

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出UniDial-EvalKit统一评估工具包，通过标准化数据格式、模块化流水线和层次化评分聚合，解决多轮交互场景下评估协议异构问题，并基于大规模实验揭示当前系统无一致最优、记忆智能体常不及全上下文基线的现象。

XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks

XLGoBench: 用算法任务检测跨语言技能差距

Purvam Jain, Preethi Jyothi, Vihari Piratla, Suvrat Raju

机构 * Google DeepMind（谷歌DeepMind） ； Indian Institute of Technology Bombay（印度理工学院孟买分校） ； International Centre for Theoretical Sciences, Tata Institute of Fundamental Research（理论科学国际中心， Tata 基础研究机构） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一套合成算法任务基准，通过跨语言执行相同任务来检测大语言模型的跨语言能力差距，实验揭示多个先进模型存在持续差距。

Comments 8+37pages

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

反事实评估揭示临床LLM和智能体的隐藏能力画像

Matt Turk

机构 * Protege Data Lab（Protege数据实验室） 纠错

专题命中 评测与基准 ：LLM(title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出因果敏感性评分（CSS），通过沿五个临床维度变异肿瘤病例来评估模型是否按预期方向更新推荐，发现与覆盖度指标排名相反，并揭示所有前沿模型在手术状态干预上的安全盲点。

Comments Accepted to RLEval @ ACM CAIS 2026 (Workshop on Methods and RL Environments for Evaluating AI Agents) and selected for an invited talk based on reviewer ratings. 4-page short paper + appendix

Learning study similarity to investigate heterogeneity in meta-analysis using LLMs and triplet loss

利用大语言模型和三重损失学习研究相似性以探究荟萃分析中的异质性

Kanella Panagiotopoulou, Harald Binder, Theodoros Evrenoglou

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种结合大语言模型与深度度量学习的框架，通过三重损失训练嵌入模型，在研究层面推断相似性并聚类，以在荟萃分析前识别同质子群，减少异质性并提高估计精度。

Comments 17 pages, 4 figures

From Prompt Injection to Persistent Control: Defending Agentic Harness Against Trojan Backdoors

从提示注入到持久控制：防御智能体框架中的木马后门

Jiejun Tan, Zhicheng Dou, Xinyu Yang, Yuyang Hu, Yiruo Cheng, Xiaoxi Li, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ClawTrojan基准测试揭示本地智能体框架中的多步木马攻击，并设计DASGuard防御方法，通过扫描控制文本、追溯来源并清除不可信控制内容，实现动态防御。

Comments Code and data are available at https://github.com/RUC-NLPIR/ClawTrojan