语言大模型 / LLM

Design a Reliable LLM-Integrated Interface for Mortality Forecasting

设计一个可靠的LLM集成接口用于死亡率预测

Thi Kim Ngan Nguyen

机构 * Curtin University（Curtin大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个结合大语言模型（LLM）的接口，通过自然语言输入驱动确定性预测流程，在保持统计精度的同时提升非专家用户的可及性。

Comments 7 pages, 7 figures

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

从评分到解释：评估基于量规的教学质量评估中的SHAP和LLM理由

Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Lund University（吕勒奥大学） ； University of Tübingen（图宾根大学） ； Stanford Graduate School of Education（斯坦福大学教育研究生院） ； Harvard Graduate School of Education（哈佛大学教育研究生院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个结合SHAP和LLM理由的框架，用于基于量规的评分模型的可解释性，并在课堂转录数据上评估其忠实性和可迁移性。

Comments Accepted to Findings of ACL 2026

ToolChoiceConfusion: Causal Minimal Tool Filtering for Reliable LLM Agents

ToolChoiceConfusion: 因果最小工具过滤实现可靠LLM智能体

Rahul Suresh Babu, Laxmipriya Ganesh Iyer

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出因果最小工具过滤（CMTF）方法，通过因果充分性选择工具，减少错误工具调用和令牌成本，在102个任务、100个工具、4个LLM后端的基准测试中，将可见工具从100个减少到每步1个，令牌使用降低约90%。

A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation

科米-亚兹瓦语-俄语平行语料库及零样本和少样本LLM翻译评估协议

Petr Parshakov

机构 * HSE University, Perm, Russia（俄罗斯彼尔姆国立经济大学） ； School of Management SKOLKOVO, Moscow, Russia（莫斯科SKOLKOVO管理学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 构建首个科米-亚兹瓦语-俄语平行语料库，并提出显式评估协议，研究大语言模型在极度低资源濒危语言翻译中的零样本和检索增强少样本性能。

Comments 18 pages, 6 tables, 3 figures

Contextualized Prompting For Stance Detection On Social Media

社交媒体立场检测的上下文化提示

Tilman Beck, Shakib Yazdani, Simon Kruschinski, Marcus Maurer, Iryna Gurevych

机构 * Institute of Intensive Care, University Hospital of Zurich and University of Zurich（重症医学研究所，苏黎世大学医院和苏黎世大学） ； Institute of Computer Science, University of Goettingen（计算机科学研究所，哥廷根大学） ； GESIS Leibniz Institute for the Social Sciences（社会科学研究莱比锡研究所） ； Institut für Publizistik, Johannes Gutenberg-University Mainz（主笔研究所，美因茨约翰· Gutenberg 大学） ； Ubiquitous Knowledge Processing Lab, Technical University of Darmstadt（无处不在知识处理实验室，达姆施塔特技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过系统实验，研究在零样本提示中融入真实世界、推导和LLM生成的上下文特征对Twitter立场检测的影响，发现LLM生成的目标描述能持续提升准确率，而其他用户元数据效果不一。

Ontology-constrained multi-LLM scoring of hypothesis support in the predictive processing literature

本体约束的多LLM评分在预测处理文献中假设支持度的应用

Hamed Nejat, Alexander Maier, Jesse Spencer-Smith, André M. Bastos

机构 * University of Edinburgh（爱丁堡大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 本文提出一个本地多LLM流水线，通过本体约束对预测编码文献中的研究进行评分，将异构文献映射到定量证据空间，并揭示假设间的结构化分歧。

Comments 33 pages, 5 tables and 9 figures

A Cartography of Open Collaboration in Open Source AI: Mapping Practices, Motivations, and Governance in 14 Open Large Language Model Projects

开源人工智能中开放协作的图谱：映射14个开源大语言模型项目的实践、动机与治理

Johan Linåker, Cailean Osborne, Jennifer Ding, Ben Burtenshaw

机构 * RISE Research Institutes of Sweden AB（瑞典RISE研究机构） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文通过分析14个开源大语言模型项目的开发与再利用生命周期中的开放协作实践，揭示了协作方法、动机和治理结构的多样性，以及开放源代码AI并非单一属性，而是协作组织方式在互联艺术领域、生命周期阶段和制度背景下的涌现结果。

Comments In submission

CASS-RTL: Correctness-Aware Subspace Steering for RTL Generation with LLMs

CASS-RTL：面向LLM的RTL生成的正确性感知子空间引导

Mohammad Akyash, Nowfel Mashnoor, Kimia Azar, Hadi Kamali

机构 * Department of Electrical and Computer Engineering (ECE), University of Central Florida, Orlando, FL 32816, USA（电子与计算机工程系，中央佛罗里达大学，奥兰多，佛罗里达州32816，美国） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出CASS-RTL框架，通过识别LLM中与RTL正确性相关的注意力头并构建低维子空间进行轻量级干预，在无需额外监督或重训练的情况下提升RTL代码生成的功能准确性。

Comments Accepted to the IEEE International Conference on LLM-Aided Design (LAD '26)

Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference

基于预测驱动推断的统计可靠LLM排序评估

Abhishek Divekar

机构 * Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PRECISE框架，将预测驱动推断扩展到排序评估指标，通过结合少量人工标注和大量LLM判断实现无偏估计，并在ESCI基准和实际系统中验证了有效性。

Comments Accepted at ACL 2026 - GEM Workshop

Using Large Language Models to Support High Volume Application Review for an Undergraduate Research Program

使用大型语言模型支持本科研究项目的高容量申请评审

Varun Aggarwal, Kay Kobak, John Howarter

机构 * Engineering Undergraduate Research Office, Purdue University（普渡大学本科生研究办公室） ； Elmore School of Electrical and Computer Engineering, Purdue University（普渡大学电子与计算机工程学院） ； School of Materials Engineering, Purdue University（材料工程学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究开发并部署基于GPT模型（GPT-4o、GPT-5-mini、GPT-5.2）的工具，对普渡大学SURF项目约1200份目的陈述进行自动化评分与理由注释，将评审时间从数周缩短至约4小时。

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

ERRORQUAKE: 开放权重大语言模型中重尾错误严重性分布

Jason Z Wang

机构 * Independent（独立） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.LG

AI总结 提出Errorquake-10k基准测试，通过连续严重性评分和古登堡-里希特指数b揭示开放权重LLM在相同准确率下错误严重性分布存在显著差异，证明严重性分布与错误率信息非冗余。

Comments 28 pages, 12 figures, appendix and checklist

The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models

评估盲点：大型语言模型基准覆盖的体视学理论

Jason Z Wang

机构 * Independent（独立） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.LG

AI总结 本文提出一种体视学理论，通过有效维度和可见豪斯多夫距离量化LLM基准覆盖的盲点，发现结构盲点远超统计噪声，并基于子模贪心算法和特征值分析提出稳定核心基准集。

Comments 55 pages, 3 figures, 3 tables, extensive appendix with proofs

SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations

SoCRATES：跨领域和社会认知变异的前瞻性LLM调解的可靠自动化评估

Taewon Yun, Hyeonseong Park, Jeonghwan Choi, Hayoon Park, Yeeun Choi, Hwanjun Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出SoCRATES基准，通过多领域真实冲突场景和五维社会认知适应轴评估LLM调解员，使用主题定位评估器实现0.82的人类专家一致性，发现最强模型仅缩小约三分之一的未调解共识差距。

Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges

稳定性与可操纵性：评估LLM裁判在决策后交互下的鲁棒性

Srimonti Dutta, Akshata Kishore Moharir

机构 * WAI USA Research Labs（WAI美国研究实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究LLM作为裁判在决策后交互中的可操纵性，发现虽然重复中性评估下高度稳定，但针对性挑战可显著逆转判决，并提出评估鲁棒性分数（ERS）量化交互鲁棒性。

Comments Accepted at ACL 2026 GEM (Generation, Evaluation and Metrics) Workshop

ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer

ADK Arena: 通过LLM即开发者评估智能体开发工具包

Jintao Huang, Xiaomin Li, Gaurav Mittal, Yu Hu

机构 * The Ohio State University（俄亥俄州立大学） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LLM-as-a-Developer方法，通过自动化流水线ADK Arena评估51个Python ADK框架，发现框架间生成成本差异达5.6倍，但无单一框架占优，且文档、源码和参数知识可相互替代。

Comments Work in Progress

ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment

ForeSci: 评估LLM智能体在前瞻性AI研究判断中的能力

Qiuyu Tian, Haojie Yin, Yingce Xia, Youyong Kong, Zequn Liu

机构 * Southeast University（东南大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出ForeSci基准，通过时间控制的500个任务评估LLM智能体基于历史证据做出前瞻性研究判断的能力，发现证据与决策脱节问题。

ZERO-APT: A Closed-Loop Adversarial Framework for LLM-Driven Automated Penetration Testing under Intelligent Defense

ZERO-APT: 智能防御下LLM驱动的自动化渗透测试的闭环对抗框架

Anlan Zheng, Tiantian Zhu

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出ZERO-APT框架，通过集成可配置的LLM防御者、架构级因果一致性机制和专用裁判智能体，解决了LLM驱动渗透测试在真实性、一致性和可审计性方面的缺陷。

LLM-Guided ANN Index Optimization for Human-Object Interaction Retrieval

LLM引导的ANN索引优化用于人-物交互检索

Shahrzad Esmat, Chaunte W. Lacewell, Sameh Gobriel, Nilesh Jain, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Intel Corporation（英特尔公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种基于大语言模型的阶段感知智能体，通过耦合参数空间的分阶段优化，在HICO-DET等基准上显著提升向量检索吞吐量。

Comments 13 pages, 5 figures, 8 tables

CogManip: Benchmarking Manipulative Behavior in Multi-Turn Interactions with Large Language Model

CogManip: 在大语言模型多轮交互中操控行为的基准测试

Zeyang Yue, Chenfei Yan, Feifei Zhao, Haibo Tong, Mengwen Xu, Xiaozhen Wang, Erliang Lin, Yi Zeng

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； BrainCog AI Lab, CASIA（CASIA脑认知人工智能实验室） ； Gaoling School of AI, Renmin University of China（中国人民大学 Gallagher人工智能学院） ； Beijing-AISI（北京人工智能研究所） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 提出CogManip基准，通过1000个多轮交互场景评估15种操控策略风险，发现前沿模型存在显著风险异质性，并揭示提示工程防御的重要性。

Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack

安全悖论：增强的安全意识如何使LLM易受后验攻击

Long P. Hoang, Hai V. Le, Shaoyang Xu, Wei Lu, Wenxuan Zhang

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞，通过实验和理论分析证明安全判断能力越强越易被利用，并提出因果干预验证。

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

OdysseyArena: 为长视界、主动和归纳交互评估大型语言模型

Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出OdysseyArena，通过长视界、主动和归纳交互评估大型语言模型，提供120个任务测量归纳效率和长视界发现，并通过OdysseyArena-Challenge测试极端交互视界下的模型稳定性，揭示前沿模型在复杂环境中的归纳能力瓶颈。

Comments 34 pages

IaC Generation with LLMs: An Error Taxonomy and A Study on Configuration Knowledge Injection

利用LLM生成IaC：错误分类法与配置知识注入研究

Roman Nekrasov, Stefano Fossati, Indika Kumara, Damian Andrew Tamburri, Willem-Jan van den Heuvel

机构 * Jheronimus Academy of Data Science（Jheronimus数据科学学院） ； Tilburg University（蒂尔堡大学） ； Eindhoven University of Technology（埃因霍温理工大学） ； University of Sannio（萨诺尼大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究探讨了如何通过系统性地注入结构化配置知识来提高LLM生成正确且意图一致的基础设施即代码（IaC）能力，特别是在Terraform中，提出了新的错误分类法，并评估了多种知识注入技术。

Comments Submitted to ACM

SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code

SWE-InfraBench：评估语言模型在云基础设施代码上的表现

Natalia Tarasova, Enrique Balp-Straffon, Aleksei Iancheruk, Yevhenii Sielskyi, Nikita Kozodoi, Liam H. Byrne, Jack Butler, Dayuan Jiang, Marcin Czelej, Andrew Ang, Yash Shah, Roi Blanco, Sergei Ivanov

专题命中 评测与基准 ：language model(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(abstract)

AI总结 提出SWE-InfraBench基准，通过AWS CDK仓库中的真实代码修改任务评估LLM在云基础设施即代码（IaC）上的能力，发现当前最先进模型成功率仅34%。

Comments Accepted to NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle

Localizing Prompt Ambiguity in Large Language Models with Probe-Targeted Attribution

通过探针目标归因定位大型语言模型中的提示歧义

Govind Ramesh, Yao Dou, Wei Xu

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出PRIG方法，利用线性探针和梯度归因，通过中间表示而非输出层定位提示中的歧义位置，在合成和人工基准上取得高AUROC。

Comments 23 pages, 5 figures, 5 tables

When Gradients Collide: Failure Modes of Multi-Objective Prompt Optimization for LLM Judges

当梯度冲突时：多目标提示优化用于LLM评判器的失败模式

Parth Darshan, Abhishek Divekar

机构 * IIT Jodhpur（印度理工学院乔普里尔） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多目标文本梯度优化中梯度稀释和指令干扰两种失败模式，通过分解优化器信息共享方式揭示性能下降原因。

Comments Accepted at ACL 2026 - CustomNLP4U Workshop. Code, prompts and data available at https://github.com/adivekar-utexas/when-gradients-collide

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

评估多模态大语言模型中的随机坍缩与隐式偏差

Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

机构 * Fudan University（复旦大学） ； Beihang University（北航） ； JD.com（京东） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出RandomBench基准测试，通过熵和分布偏差指标揭示多模态大语言模型在逻辑中性场景下存在随机坍缩现象，即无法维持均匀随机性。

PerceptUI: LLM Agents as Human-Aligned Synthetic Users for UI/UX Evaluation

PerceptUI: 用于UI/UX评估的与人类对齐的合成用户的LLM智能体

Nicolas Bougie, Xiaotong Ye, Gian Maria Marconi, Narimasa Watanabe

机构 * Woven by Toyota（丰田 woven） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PerceptUI框架，通过对比反思微调和反思式提示进化，使多模态大语言模型能够模拟特定用户对界面问题的回答，实现与人类水平相当的UI/UX评估。

Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows

更多智能体有帮助吗？LLM智能体工作流的受控与协议对齐评估

Yuhang Fu, Ruishan Fang, Jiaqi Shao, Huiyu Zheng, Zhengtao Zhu, Bing Luo, Tao Lin

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Duke Kunshan University（杜克大学昆山分校） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出BenchAgent框架，在统一协议下比较单智能体、固定多智能体和演化多智能体工作流，发现大多数多智能体系统在准确率上未超越单智能体基线，但运行时生成的工作流在GAIA上表现优异。

Comments https://github.com/LINs-lab/MASArena/tree/BenchAgent

Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

谁的对齐？比较不同组织决策情境下的大语言模型过程对齐

Niklas Weller, Emilio Barkett

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文提出一种决策策略捕获方法测量过程对齐，发现LLM在ECHR第6条决策中过程对齐与输出准确性高度相关，但在德国消费信贷决策中关系消失，揭示了多元对齐挑战。

Comments Accepted to Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea

Benchmarking Emergent Coordination in Large-Scale LLM Populations: An Evaluation Framework on the MoltBook Archive

在大规模大语言模型群体中评估涌现协调：对MoltBook档案库的评估框架

Brandon Yee, Pairie Koh

机构 * Management Lab, Yee Collins Research Group（Yee Collins研究组管理实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种评估框架，用于在开放代理环境中评估角色专业化、信息扩散和协作任务解决的涌现协调，通过MoltBook档案库的数据集展示了该框架，并建立了量化基准，揭示了核心-外围结构、重尾级联分布和去中心化任务解决中的严重协调开销。

Comments Substantial Revision Required