语言大模型 / LLM

Large Language Models as Optimizers: A Survey of Direct vs. Tool-Augmented Approaches and Their Performance Frontiers

大型语言模型作为优化器：直接方法与工具增强方法的调查及其性能前沿

Roko Peran, Luka Hobor, Mihael Kovac, Mario Brcic

机构 * University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 综述LLM作为优化器的三种范式（直接优化、工具增强优化、工具创造优化），分析性能前沿与推理差距，探讨直接优化的未来潜力与工具增强优化的可审计性之间的权衡。

Comments 6 pages, 1 figure, 2 tables, accepted at 49th ICT and Electronics Convention, MIPRO - https://mipro.hr; Paper ID: #23463

Consensus-based Agentic Large Language Model Framework for Harmonized Tariff Schedule Code Classification

基于共识的智能体大语言模型框架用于协调制度海关编码分类

Truong Thanh Hung Nguyen, Khanh Van Quynh Nguyen, Hoang-Loc Cao, Tri Duong, Phuc Ho, Van Pham, Loc Nguyen, Hung Cao

机构 * Analytics Everywhere Lab, University of New Brunswick（新不伦瑞克大学无处不在分析实验室） ； University of Economics Ho Chi Minh City（胡志明市经济大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出一种多智能体LLM框架，通过信息检索、语义检索、证据推理、共识验证和分层投票等方法，解决加拿大10位HTS编码分类难题，在3300条数据上验证了证据驱动和人工参与的必要性。

Comments Accepted at the 3rd International Conference of Resilience by Technology and Design (RTD 2026)

Evaluating LLM Personalization via Semantic Constraint Verification

通过语义约束验证评估LLM个性化

Xuran Li, Guanqin Zhang, Imran Razzak, Hakim Hacid, Eleanna Kafeza, Hao Xue, Flora D. Salim

机构 * University of New South Wales（新南威尔士大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The Technology Innovation Institute（技术创新研究所） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出NLICV框架，利用自然语言推理模型将句子映射到真值条件集，验证个性化约束，将LLM行为分为四类，与人类标注高度一致，并大幅降低延迟和成本。

Measuring Whether LLM Tutors Teach or Solve: A Diagnostic for Educational Impact

衡量LLM导师是教学还是解题：教育影响的诊断方法

Junyi Yao, Zihao Zheng, Baichuan Li

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Department of Operations Research and Engineering Management, Southern Methodist University（南卫理公会大学运筹学与工程管理系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM作为教育导师时解题能力不等于教学支持的问题，提出基于解题导向与教学导向基准性能差距的诊断方法，通过MathTutorBench分析表明两者仅部分对齐，建议分开报告评分并明确保护学生能动性的标准。

LLM-WikiRace Benchmark: How Far Can LLMs Plan over Real-World Knowledge Graphs?

LLM-WikiRace 基准测试：大语言模型在真实知识图谱上的规划能力有多强？

Juliusz Ziomek, William Bankes, Lorenz Wolf, Shyam Sundhar Ramesh, Xiaohang Tang, Ilija Bogunovic

机构 * University of Oxford, UK（牛津大学，英国） ； University College London (Centre for AI), UK（伦敦大学学院（人工智能中心），英国） ； University of Basel, Switzerland（巴塞尔大学，瑞士） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出 LLM-Wikirace 基准，通过维基百科超链接导航任务评估大语言模型的规划、推理与世界知识，发现模型在简单任务上超人类，但困难任务成功率仅 23%，且规划与长程推理是主要瓶颈。

LLM-based Visual Code Completion for Aerospace Geometric Design

基于LLM的航空航天几何设计视觉代码补全

Hau Kit Yong, Robert Marsh, Edmar A. Silva, András Sóbester, Stuart E. Middleton

机构 * Faculty of Engineering and Physical Sciences, University of Southampton（南安普顿大学工程与物理科学学院） ； School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于LLM的视觉编程副驾驶系统，结合ReAct方法和GPT 5.4，用于航空航天几何设计，并构建Wingbuilder插件库和AVPD数据集，用户试验表明系统能生成有用建议但推理速度慢。

AgentFairBench: Do LLM Agents Discriminate When They Act?

AgentFairBench: LLM智能体在行动时是否存在歧视？

Triveni Morla, Rohith Reddy Bellibaltu, Manpreet Singh, Manmeet Singh Kapoor

机构 * Florida International University（佛罗里达国际大学） ； Boston University（波士顿大学） ； Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度帕纳吉印度理工学院计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentFairBench基准，通过反事实匹配集和偏差传导框架，评估LLM智能体在招聘、贷款和医疗分诊中的行动公平性，发现统计量级不匹配会夸大歧视，而匹配后Claude Haiku无显著人口统计效应。

Comments Submitted to IEEE Access

Journal ref Under Review (2026)

Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthropomorphism, and Maxims

不是“什么”，而是“如何”：LLM 响应框架的沟通审计

Siddhesh Milind Pawar, Sarah Masud, Haneul Yoo, Alice Oh, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） ； KAIST（韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出 FRANZ 框架，从文化定位、概括性语言、拟人化线索和对话准则遵守四个维度审计 LLM 对主观问题的响应框架，并构建 SQUARE 语料库进行实证分析。

Comments 34 pages, 19 Figures, 4 Tables

Toward Epistemic Stability: Engineering Consistent Procedures for Industrial LLM Hallucination Reduction

迈向认知稳定性：为工业大语言模型幻觉减少设计一致的程序

Brian Freeman, Adam Kicklighter, Matt Erdman, Zach Gordon

机构 * Trane Technologies（特纳技术公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出并比较了五种提示工程策略，旨在减少模型输出的方差，实现可重复、基于事实的结果。通过LLM-as-Judge框架评估，M4在100次试验中均表现最佳，M2在v2版本中提升显著。

Comments 50 pages, 5 tables, 7 figures

A comparison of human and LLM-simulated participants in a writing style task

人类与LLM模拟参与者在写作风格任务中的比较

Felix Gröner, Erin K. Chiou

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过对比30名人类参与者和GPT-4o模拟参与者在写作风格偏好推断任务中的表现，发现LLM存在偏见和缺乏深度，无法准确模拟人类行为，并强调了人类因素在评估人机交互系统中的重要性。

Comments 37 pages, 10 figures

LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation

LLM 裁判具有暗电流：LLM 作为裁判评估的心理测量数据表

Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda

机构 * Chubu University（中部大学） ； Mitsubishi Heavy Industries, Ltd., Research & Innovation Center（三菱重工业株式会社研究创新中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出裁判数据表协议，通过真空输入、表面变异、位置偏好等指标测量 LLM 裁判的暗电流和偏差，揭示其测量特性。

Comments 22 pages, 4 figures

MIDSim: Simulating Multi-Channel Information Diffusion in Social Media with LLM-Powered Multi-Agent System

MIDSim: 基于LLM多智能体系统的社交媒体多渠道信息扩散模拟

Lexi Liu, Qi Cao, Yuanhao Liu, Huawei Shen, Xueqi Cheng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LLM驱动的多智能体系统，联合建模社交与算法曝光流，模拟多渠道信息扩散，在三个真实数据集上优于基线。

Your Agent Has a Genome: Sequence-Level Behavioral Analysis and Runtime Governance of LLM-Powered Autonomous Agents

你的智能体有基因组：基于序列的LLM驱动自主智能体行为分析与运行时治理

Sidi Deng

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出XEPV序列编码框架，将LLM智能体行为建模为基因组序列，通过n-gram挖掘发现P-X-P高风险模式，设计Governor三层干预系统，使成功率提升6.2%并减少44% token消耗。

Comments 16 pages, 15 figures, 12 tables

Evolutionary Dynamics of Cooperation in Next-Generation LLM Agent Systems: A Cross-Provider Empirical Extension

下一代LLM智能体系统中合作的演化动力学：跨提供商的实证扩展

Francisco León Zúñiga Bolívar

机构 * Institución Universitaria Colegio Mayor del Cauca（大学机构科尔多瓦大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 本研究通过扩展Willis等人的基准，测试2025-2026年四个前沿LLM模型在迭代囚徒困境中的合作偏差，发现合作偏差普遍存在但提供商间差异显著，且噪声仍是普遍挑战。

Comments v2 (erratum): two truncated Gemini 3.1 Pro libraries regenerated; cooperative-plurality 9/12->10/12, conclusions unchanged. 11 pages, 3 figures, 8 tables. Extends arXiv:2501.16173. Code and n=500 replication: https://github.com/arqFranciscoLeon/evollm (archived: https://doi.org/10.5281/zenodo.20248615)

XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

基于XAI的语音深度伪造检测解释生成：使用免训练多模态大语言模型

Yupei Li, Qiyang Sun, Xiaoliang Wu, Chenxi Wang, Berrak Sisman, Björn W. Schuller

机构 * Imperial College London（帝国理工学院） ； Technical University of Munich（慕尼黑工业大学） ； University of Southampton（南安普顿大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对语音深度伪造检测缺乏可解释性的问题，提出一种免训练框架，融合XAI证据与多模态大语言模型，生成基于证据的特定解释，在PartialSpoof数据集上内部准确率提升超45%。

Comments Accepted at Interspeech 2026

LLM-Powered Virtual Population for Demand Simulation and Pricing

基于LLM的虚拟人群用于需求模拟与定价

Chengpiao Huang, Kaizheng Wang

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种LLM驱动的虚拟人群模型，通过混合客户画像和LLM评估购买概率，生成需求分布，支持风险感知定价，在H&M数据集上表现最优。

Comments 18 pages, 7 figures

LLMs have Visualization Literacy: Now What? Experiments Exploring LLM Visualization Evaluation Capabilities

LLMs 具备可视化素养：现在呢？探索 LLM 可视化评估能力的实验

Christian Seto, Jacqueline Nguyen, Jiayi Hong, Ross Maciejewski

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过实验评估最新 LLM 在可视化素养、指令遵循和图形完整性方面的能力，发现其可视化素养超越人类，但在指令遵循和识别误导性可视化方面仍有不足。

Do You Really Need a GPU to Guard Your LLM? CPU-Class Classifiers and Multi-Stage Pipelines for Safety Enforcement at Scale

你真的需要GPU来保护你的LLM吗？用于大规模安全执行的CPU级分类器与多阶段流水线

Vasudev Majhi, Dhruv Gupta, Advait Singh, Matthew Barker, Dhruv Kumar

机构 * BITS Pilani（比斯帕利尼大学） ； Trustwise（Trustwise公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究CPU级分类器（如SVM、梯度提升树）在LLM输入安全检测中的性能，发现其与GPU模型互补，并设计三阶段流水线GuardChain，在80%的分布内查询中达到近峰值精度，降低部署成本。

Comments Under Review. 25 pages, 5 figures, 38 tables

ACCORD: Action-Conditioned Contextual Grounding for Language Agents

ACCORD: 面向语言智能体的动作条件上下文接地

Lai Jiang, Cheng Qian, Zhenhailong Wang, Pan Lu, Heng Ji, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language agent(title)；large language model(abstract)；language model(abstract)

AI总结 针对用户指令常因隐含环境假设而欠指定，导致LLM智能体执行失败的问题，提出ACCORD框架，在每次动作前主动探测缺失信息并整合轨迹上下文，无需额外训练，在AppWorld和AlfWorld上显著提升任务完成率。

SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills

SkillVetBench: 基于LLM评判的多维安全风险评估开源LLM智能体技能

Ismail Hossain, Sai Puppala, Md Jahangir Alam, Tanzim Ahad, Sajedul Talukder

机构 * SUPREME Lab, University of Texas at El Paso, Texas, USA（SUPREME实验室，德克萨斯理工大学埃尔帕索分校，德克萨斯州，美国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出SkillVetBench，利用LLM作为评判器对开源LLM智能体技能进行多维安全风险评估，引入五维技能智能体风险评分（SARS）和CVSS v4.0向量分解，在78个恶意技能上实现零假阴性，22个良性技能上零假阳性。

Comments The main research paper is submitted to NeurIPS 2027, it is in under review

Risk-Aware LLM Agents for Geospatial Data Retrieval: Design and Preliminary Adversarial Evaluation

风险感知的LLM智能体用于地理空间数据检索：设计与初步对抗性评估

Kyle Gao, Joel Cumming, Jonathan Li, Linlin Xu, David A. Clausi

机构 * Dept. of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系） ； SkyWatch ； Dept. of Geography and Environmental Management, University of Waterloo（滑铁卢大学地理与环境管理系） ； Dept. of Geomatics Engineering, University of Calgary（卡尔加里大学测绘工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出一种基于LLM的框架，通过自然语言查询从云地理空间目录检索遥感数据，集成三个智能体实现安全、意图解析和API调用生成，初步对抗实验表明提示级安全指令提升鲁棒性但需系统级防御。

Comments Accepted for publication in the International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS Archives), ISPRS Congress 2026

Journal ref Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIX-B3-2026, 1419-1426, 2026

JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory

JE-IRT: 通过联合嵌入项目反应理论审视LLM能力的几何视角

Louie Hong Yao, Nicholas Jarvis, Tiffany Zhan, Saptarshi Ghosh, Linfeng Liu, Tianyu Jiang

机构 * Independent Researcher（独立研究者） ； University of Cincinnati（辛辛那提大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出JE-IRT几何框架，将LLM和问题嵌入共享空间，通过方向编码语义、范数编码难度，揭示主题专长和分布外行为，支持新模型高效扩展，并发现与人类分类部分对齐的内部结构。

Comments 35 pages, 17 figures, 9 tables, accepted to TMLR

CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies

CoffeeBench：异构多智能体经济中的长周期LLM智能体基准测试

Issa Sugiura, Daichi Hattori, Kazuo Araragi, Keita Ogawa, Shota Onose, Taro Makino, Teppei Usuki, Takashi Ishida

机构 * Sakana AI ； KPMG AZSA LLC 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出CoffeeBench基准，在90天模拟中评估LLM智能体在异构多智能体经济中的长周期任务表现，发现高性能模型更积极沟通，而Claude Haiku 4.5存在空闲漂移失败模式。

Comments 23 pages, 8 figures

Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents

看而非选：LLM智能体工具选择失败的注意力-片段解释

Shiyang Chen

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过分析LLM智能体对工具定义片段的注意力，发现工具选择失败源于决策读出阶段而非工具可见性，并提出了基于注意力的无训练选择器来修复。

Comments 13 pages, 1 figure, 15 tables

UXBench: Measuring the Actionability of LLM-Generated UX Critiques

UXBench: 衡量LLM生成的UX评论的可操作性

Wenjie Wang, Yue Huang, Zipeng Ling, Han Bao, Hang hua, Xiaonan Luo, Yu Jiang, Shiyi Du, Yuexing Hao, Xiaomin Li, Yuchen Ma, Dianzhuo Wang, Yanfang Ye, Xiangliang Zhang

机构 * University of Notre Dame（诺丁汉大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Rochester（罗切斯特大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） ； LMU Munich（慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出UXBench基准，通过下游修复代理能否基于评论改进界面来评估LLM作为UX评判者的可操作性，发现不同模型在报告可操作性、修复特征和可靠性上存在显著差异。

Comments 30 pages

LLM4RTL: Tool-Assisted LLM for RTL Generation

LLM4RTL: 工具辅助的大语言模型用于RTL生成

Jing Jin, Robert Chu, Ning Yan, Masood S. Mortazavi

机构 * UC Riverside（加州大学河滨分校） ； Futurewei（未来科技） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出JRCRC流水线，利用商业LLM层次结构过滤和优化RTL代码生成数据集，并设计工具辅助架构提升逻辑推理能力，在VerilogEval上超越多数方法，用更小模型达到GPT-4O性能。

Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

谁漂移了：系统还是裁判？LLM评估流水线中的随时有效归因

Yitao Li

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种基于固定锚点集和赌检验的方法，区分LLM评估中产品性能下降与裁判模型变化导致的分数漂移，并证明其随时有效性和归因准确性。

Metric Match: A Subset Selection Approach to Evaluating LLM Judge Reliability

Metric Match：一种评估LLM评判可靠性的子集选择方法

Alyssa Unell, Natalie Dullerud, Naomi Boneh, Meena Jagadeesan, Tatsu Hashimoto, Nigam Shah, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Metric Match方法，通过选择少量样本进行人工标注，以子集匹配总体可靠性指标，从而高效估计LLM评判的可靠性，实验表明在15个数据集上平均估计误差降低18.7%，标注需求减少32.5%。

Scribby: A Multi-Level LLM Framework for Semantic Video Analysis

Scribby: 一种用于语义视频分析的多级LLM框架

Julian Abelarde, Hugo Garrido-Lestache Belinchon

机构 * Department of Computer Science and Software Engineering, Milwaukee School of Engineering（密尔沃基工程学院计算机科学与软件工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种基于LLM的视频摘要框架，通过微观索引（分析完整转录、句子及语义分组）平衡宏观理解与微观语义分析，并利用相关性热图实现语义分块和匹配的可视化。

Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability

多智能体LLM系统中浪费计算资源的早期诊断：基于故障感知的可观测性

Xianyou Li, Weiran Yan, Yichao Wu, Penghao Liang, Mengwei Yuan, Jianan Liu, Jing Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种故障感知的可观测性框架，通过在线轨迹信号诊断多智能体LLM系统中的浪费计算，并在GAIA验证集上评估，揭示不同故障机制及其与资源消耗的关系。