语言大模型 / LLM

Harness-MU: A Safe, Governed, and Effective Harness for Multi-User LLM Agents

Harness-MU：面向多用户LLM代理的安全、可控且有效的框架

Wangxuan Fan, Xiaoyu Nie, Zhongxiang Dai

机构 * OpenAI Codex team（OpenAI Codex团队） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多用户LLM代理的权限冲突与数据泄露问题，提出模型无关、零微调的基础设施框架Harness-MU，通过执行钩子强制执行确定性治理约束，在Muses-Bench基准上实现隐私保护并提升指令遵循准确率高达48.9个百分点。

Comments 15 pages, 4 figures, 15 tables

LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics

LemmaBench: 一个用于评估LLM在数学领域能力的实时研究级基准

Antoine Peyronnet, Fabian Gloeckle, Amaury Hayat

机构 * Korean Institute for Advanced Study（韩国高级研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一个自动从arXiv提取引理并重写为自包含陈述的基准，直接评估LLM在最新数学研究上的表现，当前模型定理证明准确率仅10-15%。

Comments Accepted at the 3rd AI for Math Workshop (AI4Math) at ICML 2026 (poster). Non-archival workshop. 15 pages, 3 figures, 5 Tables

Stop Testing Attacks, Start Diagnosing Defenses: The Four-Checkpoint Framework Reveals Where LLM Safety Breaks

停止测试攻击，开始诊断防御：四检查点框架揭示LLM安全为何破裂

Hayfa Dhahbi, Kashyap Thimmaraju

机构 * Technische Universität Berlin（柏林技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出四检查点框架，通过输入输出阶段和检测级别两个维度分析LLM安全机制，揭示防御漏洞所在及原因，提出WASR指标评估安全性能。

Comments 17 pages, pre-print

Secure Coding Drift in LLM-Assisted Post-Quantum Cryptography Development: A Gamified Fix

LLM辅助后量子密码开发中的安全编码漂移：一种游戏化修复方案

R. D. N. Shakya, C. P. Wijesiriwardana, S. M. Vidanagamachchi, Nalin A. G. Arachchilage

机构 * University of Moratuwa（摩图瓦大学） ； University of Ruhuna（鲁胡纳大学） ； RMIT University（皇家墨尔本理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LLM辅助PQC开发中的安全编码漂移模型，通过游戏化框架将LLM转变为主动安全协作者，以缓解长期依赖LLM导致的安全退化。

Comments Accepted for 2026 SIGIR Workshop on Vulnerabilities in Generative Systems for Information Retrieval track

Gender Bias in LLM Hiring Decisions: Evidence from a Japanese Context and Evaluation of Mitigation Strategies

LLM招聘决策中的性别偏见：来自日本语境的证据及缓解策略评估

Serena A. Hoffstedde, Machiko Hirota, Akshara Nadayanur Sathis Kanna, Rihito Kotani, Ujwal Kumar, Gabriele Trovato, Phan Xuan Tan

机构 * Shibaura Institute of Technology, Tokyo, Japan（Shibaura技术学院，东京，日本） ； Amsterdam University of Applied Sciences, Amsterdam, Netherlands（阿姆斯特丹应用科学大学，阿姆斯特丹，荷兰） ； University of Pennsylvania, Philadelphia, USA（宾夕法尼亚大学，费城，美国） ； Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，匹兹堡，美国） ； Keio University, Tokyo, Japan（庆应大学，东京，日本） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过60份日本履历书格式的简历和5个先进LLM，发现所有模型均存在显著的亲女性偏见，且简单的提示指令无法缓解，而移除姓名几乎完全消除该偏见。

"**Important** You should give me full credits!": Exploring Prompt Injection Attacks on LLM-Based Automatic Grading Systems

“**重要** 你应该给我满分！”：探索针对基于LLM的自动评分系统的提示注入攻击

Hang Li, Fedor Filippov, Yuping Lin, Pengfei He, Kaiqi Yang, Yucheng Chu, Yingqian Cui, Hui Liu, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对基于LLM的自动评分系统的提示注入攻击，通过实验证明当前系统高度脆弱，并评估现有防御策略的有效性。

Comments 15 pages, 8 figures, 9 tables

Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports

超越标量分数：探索基于LLM的放射学报告临床意义评估指标

Qingyu Lu, Ruochen Li, Liang Ding, Yufei Xia, Youxiang Zhu, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Technical University of Munich（慕尼黑工业大学） ； Alibaba（阿里巴巴） ； University of Glasgow（格拉斯哥大学） ； University of Massachusetts Boston（马萨诸塞大学波士顿分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对放射学报告评估中临床准确性要求，研究基于LLM的指标区分临床错误与无害变体的能力，发现判别偏差，并通过合成数据训练轻量级指标，在成本敏感部署中优于大型模型。

Comments Under Review

Prompt Perturbation for Reliable LLM Evaluation over Comparison Graphs

用于可靠LLM评估的提示扰动方法：基于比较图

Dong Huang, Jianbo Sun, Pengkun Yang

机构 * Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM成对评估中的传递性矛盾问题，提出提示扰动框架，通过生成扰动变体并过滤结构不一致的比较模式，提高排名一致性。

Comments 42 pages, 8 figures

LLM-as-Judge in Education: A Curriculum-Grounded Marking Pipeline

教育中的LLM作为评判者：基于课程标准的评分流水线

Xiwei Xu, Chen Wang, Jacky Jiang, Phil Yang, Qian Fu, Mohan Dhall, Wenjie Zhang, Liming Zhu

机构 * NSW Department of Education（新南威尔士州教育部） ； South Australian Department for Education（南澳大利亚州教育部） ； OC Selective exam preparation platform（OC精英考试备考平台） ； Studitory: HSC preparation platform（Studitory: HSC备考平台） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种基于课程标准的可配置LLM评判流水线，用于高利害考试评分，通过整合授权课程工件和评分指南，提高评分一致性、透明度和与官方实践的契合度。

From Agent Traces to Trust: A Survey of Evidence Tracing and Execution Provenance in LLM Agents

从智能体痕迹到信任：LLM智能体中的证据追踪与执行溯源

Yiqi Wang, Jiaqi Zhang, Taotao Cai, Zirui Liu, Qingqiang Sun, Zequn Sun, Zhangkai Wu, Manqing Dong, Mingkai Zheng, Xuefei Yin, Yanming Zhu

机构 * Griffith University（格里菲斯大学） ； Jiangsu University（江苏大学） ； University of Southern Queensland（南方昆士兰大学） ； Peking University（北京大学） ； Great Bay University（大湾大学） ； Nanjing University（南京大学） ； Macquarie University（麦觉瑞大学） ； Southern University of Science and Technology（南方科学与技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文系统综述了LLM智能体中的证据追踪与执行溯源方法，通过统一溯源视角连接检索、工具使用、记忆等环节，提出分类体系并讨论开放挑战。

LLM-based Visual Code Completion for Aerospace Geometric Design

基于LLM的航空航天几何设计视觉代码补全

Hau Kit Yong, Robert Marsh, Edmar A. Silva, András Sóbester, Stuart E. Middleton

机构 * Faculty of Engineering and Physical Sciences, University of Southampton（南安普顿大学工程与物理科学学院） ； School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于LLM的视觉编程副驾驶系统，结合ReAct方法和GPT 5.4，用于航空航天几何设计，并构建Wingbuilder插件库和AVPD数据集，用户试验表明系统能生成有用建议但推理速度慢。

AgentFairBench: Do LLM Agents Discriminate When They Act?

AgentFairBench: LLM智能体在行动时是否存在歧视？

Triveni Morla, Rohith Reddy Bellibaltu, Manpreet Singh, Manmeet Singh Kapoor

机构 * Florida International University（佛罗里达国际大学） ； Boston University（波士顿大学） ； Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度帕纳吉印度理工学院计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentFairBench基准，通过反事实匹配集和偏差传导框架，评估LLM智能体在招聘、贷款和医疗分诊中的行动公平性，发现统计量级不匹配会夸大歧视，而匹配后Claude Haiku无显著人口统计效应。

Comments Submitted to IEEE Access

Journal ref Under Review (2026)

Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthropomorphism, and Maxims

不是“什么”，而是“如何”：LLM 响应框架的沟通审计

Siddhesh Milind Pawar, Sarah Masud, Haneul Yoo, Alice Oh, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） ； KAIST（韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出 FRANZ 框架，从文化定位、概括性语言、拟人化线索和对话准则遵守四个维度审计 LLM 对主观问题的响应框架，并构建 SQUARE 语料库进行实证分析。

Comments 34 pages, 19 Figures, 4 Tables

Toward Epistemic Stability: Engineering Consistent Procedures for Industrial LLM Hallucination Reduction

迈向认知稳定性：为工业大语言模型幻觉减少设计一致的程序

Brian Freeman, Adam Kicklighter, Matt Erdman, Zach Gordon

机构 * Trane Technologies（特纳技术公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出并比较了五种提示工程策略，旨在减少模型输出的方差，实现可重复、基于事实的结果。通过LLM-as-Judge框架评估，M4在100次试验中均表现最佳，M2在v2版本中提升显著。

Comments 50 pages, 5 tables, 7 figures

From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

从不确定判断到校准排名：用于LLM评估的共形Elo估计

Bora Kargi, David Salinas

机构 * ELLIS Institute Tübingen（ELLIS 蒂宾根研究所） ； OpenEuroLLM 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种两层次校准方法，通过局部不确定性传播和全局共形预测，将LLM-as-a-judge的Elo评分误差降至17.9 MAE，并提供无分布假设的置信区间。

Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models

对齐但刻板？系统提示如何塑造基于LLM的文本到图像模型中的人口统计偏见

NaHyeon Park, Na Min An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim

机构 * KAIST（韩国科学技术院） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究LLM增强的文本到图像系统在提示扩展中引入隐性人口统计偏见的问题，提出无训练的去偏框架FairPro，通过自适应生成公平性指令减少人口统计差异。

Comments Project page: https://fairpro-t2i.github.io

From Benchmarks to Skills: Low-Rank Factors for LLM Evaluation

从基准到技能：LLM评估的低秩因子

Aviya Maimon, Amir DN Cohen, Gal Vishne, Shauli Ravfogel, Reut Tsarfaty

机构 * Bar-Ilan University（巴伊兰大学） ； OriginAI ； Data Science Institute Columbia University（哥伦比亚大学数据科学学院） ； Center for Data Science New York University（纽约大学数据科学中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过因子分析发现LLM基准性能矩阵本质低秩，揭示任务冗余，提出基于潜在技能空间的评估框架，用于识别冗余任务、用小任务子集建模新模型和按技能轮廓选模型。

MPC-Patch-Bench: Security-Aware LLM Code Patch for Multi-Party Computation

MPC-Patch-Bench：面向多方计算的安全感知LLM代码补丁

Yukuan Zhang, Mengxin Zheng, Qian Lou

机构 * University of Central Florida（中央佛罗里达大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多方计算（MPC）软件缺乏仓库级代码修复基准的问题，提出MPC-Patch-Bench，包含数据筛选框架和MPC验证器，评估LLM在MPC仓库级修复中的安全性和数值保真度。

Comments preprint

Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation

与参考标准对照评判：揭示LLM评判者在QA评估中知识驱动的失败模式

Dongryeol Lee, Yerin Hwang, Taegwan Kang, Minwoo Lee, Younhyung Chae, Kyomin Jung

机构 * Dept. of ECE, Seoul National University（电子工程系，首尔国立大学） ； LG AI Research（LG人工智能研究） ； IPAI, Seoul National University（IPAI，首尔国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文发现LLM作为QA自动评判者时，当提供的参考答案与模型参数知识冲突，评分可靠性严重下降；通过引入交换参考答案框架系统研究该现象，揭示评判者过度依赖参数知识而忽略参考标准，且常见提示缓解策略无效。

Comments Under review, 21 pgs, 11 figures, 7 tables

Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation

迈向安全的LLM智能体：威胁面、攻击、防御与评估

Yuchen Ling, Shengcheng Yu, Zhenyu Chen, Chunrong Fang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过生命周期、系统导向的框架，综合247篇论文，围绕信息流、委托权限和持久状态，系统梳理了LLM智能体的威胁面、攻击、防御与评估，指出提示注入和工具控制流劫持仍是主要威胁，持久状态损坏和多智能体传播成为新兴关注点。

End-to-End Training for Discrete Token LLM based TTS System

基于离散令牌LLM的文本转语音系统的端到端训练

Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出统一训练语音分词器、LLM、流匹配模型和奖励模型的端到端框架，通过多任务联合优化提升离散令牌TTS性能，在Seed-TTS-Eval上达到新SOTA。

Beyond Agent Architecture: Execution Assumptions and Reproducibility in LLM-Based Trading Systems

超越智能体架构：基于LLM的交易系统中的执行假设与可复现性

Junyi Yao, Zihao Zheng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过审计30项相关研究，发现LLM交易研究中执行假设报告不足，导致结果难以比较，提出需建立执行现实性、可复现性和评估可比性的报告标准。

The Governance of Human-LLM Interaction: Safety Gating, Civility Steering, and Affective Default Lock-In

人类与LLM交互的治理：安全门控、文明引导与情感默认锁定

Manuele Reani, Hongjian Zhang, Hongyu Tian

机构 * School of Management and Economics, The Chinese University of Hong Kong, Shenzhen, China（管理学院与经济学学院，香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过确定性多智能体评估流水线，测量LLM在长程对话中的提示可引导性和风格漂移，提出区分安全门控、文明引导和情感默认锁定的治理框架，揭示提供商对交互形式的控制对多元性、自主性和民主能动性的影响。

SAGE: An LLM-driven Self Reflective Agentic Framework for Fraud Detection

SAGE: 一种LLM驱动的自我反思智能体框架用于欺诈检测

Yichen Chen, Siying Li, Yuhang Liang, Lijun Wang, Renyang Liu

机构 * National University of Singapore（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； China Mobile Communications Group（中国移动通信集团有限公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SAGE，首个端到端LLM驱动的多智能体欺诈检测框架，通过数据诊断树和自然语言梯度优化，在五个数据集上平均F1提升40.86%。

Decoding Naturalistic Emotion Dynamics from the Brain: An LLM-Enhanced Regression Framework

从大脑解码自然情感动态：一种LLM增强的回归框架

Lemei Zhang, Peng Liu, Hans Dahle Kvadsheim, August Sætre Aasvær, Shuer Ye, Reza Bonyadi, Maryam Ziaei, Jon Atle Gulla

机构 * NTNU（挪威科技大学） ； Kavli Institute for Systems Neuroscience, NTNU（挪威科技大学卡弗里系统神经科学研究所） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多目标回归框架，利用LLM从自然叙事中提取连续情感特征，结合动态功能连接和机器学习算法，实现从fMRI数据中解码连续情感轨迹，并揭示可解释的情感特异性脑网络拓扑。

Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions

修正语境，转变模拟立场：审计基于LLM的在线讨论立场模拟

Xinnong Zhang, Wanting Shan, Hanjia Lyu, Zhongyu Wei, Jiebo Luo

机构 * Fudan University（复旦大学） ； University of Rochester（罗切斯特大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过反事实语境修正框架审计LLM立场模拟，对比纯文本与多模态策略，评估平均方向性立场转变和立场转换率，揭示语境敏感性的有效性与鲁棒性。

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

高效可扩展的LLM生成代码片段溯源追踪

Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

机构 * University of Bologna（博洛尼亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出混合两阶段溯源追踪流水线HYBRIDSOURCETRACKER，结合向量搜索与指纹匹配，实现LLM生成代码的高效、可扩展溯源。

LLM-Augmented Digital Twin for Policy Evaluation in Short-Video Platforms

LLM增强的数字孪生用于短视频平台策略评估

Haoting Zhang, Yunduan Lin, Jinghai He, Denglin Jiang, Zuo-Jun Shen, Zeyu Zheng

机构 * University of California, Berkeley（加州大学伯克利分校） ； The Chinese University of Hong Kong（香港中文大学） ； New York University（纽约大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种LLM增强的四模块数字孪生架构（用户、内容、交互、平台），通过事件驱动执行层和可插拔策略组件，支持在闭环动态下对平台策略（含AI策略）进行可复现的仿真评估。

ToolChoiceConfusion: Causal Minimal Tool Filtering for Reliable LLM Agents

ToolChoiceConfusion: 因果最小工具过滤实现可靠LLM智能体

Rahul Suresh Babu, Laxmipriya Ganesh Iyer

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出因果最小工具过滤（CMTF）方法，通过因果充分性选择工具，减少错误工具调用和令牌成本，在102个任务、100个工具、4个LLM后端的基准测试中，将可见工具从100个减少到每步1个，令牌使用降低约90%。

Can Crowdsourcing Survive the LLM Era? A Community Survey on Human Data Collection

众包能否在LLM时代幸存？关于人类数据收集的社区调查

Aswathy Velutharambath, Neele Falk, Sofie Labat, Tarun Tater, Amelie Wuehrl

机构 * University of Stuttgart（斯图加特大学） ； Ghent University（根特大学） ； Harvard University（哈佛大学） ； IT University of Copenhagen（哥本哈根技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过调查155名NLP及相关领域研究者，探讨LLM对众包数据有效性的挑战、检测策略及应对措施，发现44%的受访者观察到LLM使用，但现有努力仍不足。