语言大模型 / LLM

Assessment of Evolving Large Language Models in Upper Secondary Mathematics

对上中学数学中演进式大语言模型的评估

Mika Setälä, Pieta Sikström, Ville Heilala, Tommi Kärkkäinen

机构 * Faculty of Information Technology（信息科技学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Faculty of Humanities and Social Sciences（人文与社会科学学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文评估了不同大语言模型在芬兰毕业考试中的数学能力，发现随着模型演进，其表现显著提升，部分模型接近完美，展示了LLM在数学能力上的快速进步及其在教育中的潜力。

AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation

不是什么别的吗？利用大语言模型对德国开放式调查回答进行编码：调查动机

Leah von der Heyde, Anna-Carolina Haensch, Bernd Weiß, Jessica Daikeler

机构 * Social Data Science & AI Lab, LMU Munich（社会科学与人工智能实验室，慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Maryland, College Park（马里兰大学学院公园分校） ； GESIS – Leibniz Institute for the Social Sciences（莱比锡社会科学研究机构） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；prompting(abstract)

AI总结 本文探讨了使用大语言模型对开放式调查回答进行编码的有效性，通过德国调查参与原因的数据，比较了不同LLM和提示方法的性能，发现仅微调的LLM能获得满意预测效果，且分类性能差异影响类别分布。

Comments to appear in Survey Research Methods

Journal ref Survey Research Methods (2025)

GPF-LiveNews: A Streaming Evaluation Protocol for Group-Conditioned Framing in Large Language Models

GPF-LiveNews: 大型语言模型中群体条件框架的流式评估协议

Mohd Ariful Haque, Fahad Rahman, Kishor Datta Gupta, Roy George

机构 * Clark Atlanta University（克拉克阿特兰大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

AI总结 提出GPF-LiveNews流式评估协议，通过实时新闻锚点与身份标签组合，检测LLM输出中针对不同受众的语义敏感性和情感差异，用于审计群体条件框架。

SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors

SURGE: 大型语言模型作为通用代理代码执行器的潜力

Bohan Lyu, Siqiao Huang, Zichen Liang

机构 * Department of Computer Science and Technology, Tsinghua（清华大学计算机科学与技术系） ； Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua（清华大学交叉信息研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出SURGE基准，包含1160个问题覆盖8个关键方面，通过评估21个开源和专有LLM，研究其作为代码执行预测代理模型的可行性、扩展律、数据效率和预测准确性。

Journal ref Proceedings of The 2025 Conference on Empirical Methods in Natural Language Processing

LENS: LLM-Enabled Narrative Synthesis for Mental Health by Aligning Multimodal Sensing with Language Models

LENS：通过对齐多模态传感与语言模型实现LLM赋能的叙事合成用于心理健康

Wenxuan Xu, Arvind Pillai, Subigya Nepal, Amanda C Collins, Daniel M Mackin, Michael V Heinz, Tess Z Griffin, Nicholas C Jacobson, Andrew Campbell

机构 * Dartmouth College（达特茅斯学院） ； University of Virginia（弗吉尼亚大学） ； Massachusetts General Hospital（麻省总医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LENS框架，通过将多模态传感数据与语言模型对齐，生成临床相关的心理健康叙述。该方法构建大规模数据集并训练补丁级编码器，提升对长时序传感器数据的处理能力，实验显示其在自然语言处理指标和症状严重性准确性上优于基线模型。

Comments Camera-ready version. Additional experiments

Role-Playing Agents Driven by Large Language Models: Current Status, Challenges, and Future Trends

由大型语言模型驱动的角色扮演代理：现状、挑战与未来趋势

Ye Wang, Jiaxing Chen, Hongjiang Xiao

机构 * Communication University of China（中国传媒大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文系统回顾了由大型语言模型驱动的角色扮演代理的现状、挑战及未来趋势，探讨了关键技术路径与评估方法。

The Laminar Flow Hypothesis: Detecting Jailbreaks via Semantic Turbulence in Large Language Models

层流假说：通过大语言模型中的语义湍流检测对抗性突破

Md. Hasib Ur Rahman

机构 * Brac University（布拉克大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

AI总结 本研究提出层流假说，通过检测大语言模型中的语义湍流，实现对抗性突破的实时检测与安全架构诊断。

JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation

JudgeBoard: 对小语言模型进行推理评估的基准测试与增强

Zhenyu Bi, Gaurav Srivastava, Yang Li, Meng Lu, Swastik Roy, Morteza Ziyadi, Xuan Wang

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 JudgeBoard通过多代理框架提升小语言模型的推理判断能力，展示其在数学和常识推理任务中与大模型相当的性能。

Comments 23 pages, 4 figures

The Rise of Small Language Models in Healthcare: A Comprehensive Survey

Muskan Garg, Shaina Raza, Shebuti Rayana, Xingyi Liu, Sunghwan Sohn

机构 * Artificial Intelligence & Informatics, Mayo Clinic（人工智能与信息学，梅奥诊所） ； Vector Institute（向量研究所） ； SUNY at Old Westbury（纽约旧西伯里州立大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

Comments 35 pages, 7 tables, 5 figures

Developing LLM-based Multi-Agent Systems in Software Engineering: A Mixed-Method Experience Report

在软件工程中开发基于大语言模型（LLM）的多智能体系统：一项混合方法经验报告

Mariama Celi Serafim De Oliveira, Motunrayo Osatohanmen Ibiyo, Marco Gianrusso, Claudio Di Sipio, Davide Di Ruscio, Phuong T. Nguyen

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过定量和定性分析，梳理软件工程中基于LLM的MAS现有框架，发现其基本组件覆盖良好但缺高级功能，摘要任务ROUGE分数无显著差异，为相关人员选框架提供指导。

Comments The paper has been peer reviewed and accepted for publication with the Empirical Software Engineering journal

A Causal Perspective on Measuring, Explaining and Mitigating Smells in LLM-Generated Code

从因果视角测量、解释和缓解LLM生成代码中的代码异味

Alejandro Velasco, Daniel Rodriguez-Cardenas, Dipin Khati, David N. Palacio, Luftar Rahman Alif, Denys Poshyvanyk

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文从因果视角研究LLM生成代码中的代码异味问题，提出PSC指标用于测量和缓解异味倾向，通过实验揭示生成策略和架构对代码结构的影响，并推动质量感知评估在代码生成中的应用。

LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge

大型语言模型目前尚不可靠地充当评判者：对LLM作为评判者的鲁棒性的综合评估

Songze Li, Chuokun Xu, Jiaying Wang, Xueluan Gong, Chen Chen, Jirui Zhang, Jun Wang, Kwok-Yan Lam, Shouling Ji

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究引入RobustJudge框架，评估LLM-as-a-Judge的鲁棒性，发现其易受攻击，鲁棒性对提示模板和模型选择敏感，优化攻击结合长后缀可提升PAI-Judge分数。

LLM-Assisted Detection and Repair of Hardware Security Vulnerabilities in Verilog Designs

基于Verilog设计的大语言模型辅助硬件安全漏洞检测与修复

Ethen Santana, Gabriel Gyaase, Hao Zheng

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本文提出利用LLM从Verilog硬件设计中识别潜在CWE漏洞的方法，经单模块Verilog数据集迭代评估，证实LLM可增强硬件安全分析，为设计阶段漏洞识别提供自动化可扩展辅助。

Comments 6 Pages, 3 figures, technical report

LLM-Driven Automated Reward Design for Reinforcement Learning-Based Routing in LEO Satellite Networks

面向低轨（LEO）卫星网络中基于强化学习（RL）的路由的大语言模型（LLM）驱动的自动奖励设计

Walter P. Casas, Nelson L. S. da Fonseca, and Carlos A. Astudillo

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LARGE框架结合LLM生成与迭代在环仿真，为LEO卫星网络RL路由自动设计奖励，其性能可与专家基线相当，凸显该优化方法的潜力。

Comments This paper was accepted for publication at the IEEE Global Communications Conference (GLOBECOM 2026)

Structured AI Demonstrations and Student LLM Use in Engineering Mechanics: Study Design and Preliminary Results

工程力学中的结构化AI演示与学生大语言模型（LLM）使用：研究设计与初步结果

Shuang Geng, Helen Lallos-Harrell, Jiya Ashar, Thomas J. McKenna, Annwesa Dasgupta, Caleb Farny, Emma Lejeune

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究针对工程力学课程设计了含九次结构化AI演示的方法论框架，结合调查工具分析学生LLM使用情况，为工程教育应对LLM融入提供实证研究基础。

Comments 47 pages, 10 figures, 9 tables

OSCAgent: Accelerating the Discovery of Organic Solar Cells with LLM Agents

OSCAgent：利用LLM代理加速有机太阳能电池的发现

Zhaolin Hu, Zhiliang Wu, Kun Li, Hehe Fan, Yi Yang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 OSCAgent通过多代理框架整合检索增强设计、分子生成和系统评估，提升有机太阳能电池材料发现效率，实现预测性能超越传统和LLM基线方法。

PDAGENT-BENCH: Characterizing, Grounding, and Architecting LLM/VLM Agents for VLSI Physical Design

PDAGENT-BENCH: 用于VLSI物理设计的LLM代理的特征化、基础化与架构化

Qiufeng Li, Rongqian Chen, Quan Cheng, Chengxuan Wang, Sizhe Tang, Chia-Tung Ho, David Z. Pan, Tian Lan, Weidong Cao

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PDAGENT-BENCH基准，用于评估LLM/VLM代理在VLSI物理设计中的能力，涵盖任务级和工作流级评估，揭示模型在工具执行和长程推理上的局限，并验证人类技能增强工作流的有效性。

Towards Demystifying and Repairing LLM-in-the-Loop Vulnerabilities

迈向揭示与修复LLM-in-the-Loop漏洞

Yujie Ma, Jialin Rong, Chenxi Yang, Lili Quan, Jin Wen, Xiaofei Xie, Yongqiang Lyu, Qiang Hu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过构建首个LLM-in-the-loop漏洞数据集LLMCVE，分析发现LLM常作为目标或传播向量而非根因，并评估现有修复方法，揭示此类漏洞修复更具挑战性。

Guiding Human Validation of LLM-Generated Code via Verifiable Literate Programming

通过可验证的文字编程指导用户验证LLM生成的代码

Ziqi Yuan, Wenhao Lu, Hao Wu, Dunhong Jin, Chuan Wu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出可验证文字编程框架，通过无歧义的自然语言文档作为中间层，结合细粒度不匹配检测和验证模块，帮助用户有效验证LLM生成代码，将pass@1从28.7%-73.2%提升至65.4%-93.5%。

Comments 12 pages

Epic-Organized vs. Requirement-Aligned Gherkin: An Empirical Evaluation of LLM-Based Acceptance Criteria Generation

史诗组织 vs. 需求对齐的 Gherkin：基于 LLM 的验收标准生成的实证评估

Shahbaz Siddeeq, Mateen Abbasi, Jussi Rasku, Zheying Zhang, François Christophe, Tommi Mikkonen, Pekka Abrahamsson

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 研究比较史诗组织与需求对齐的 LLM 生成 Gherkin 验收标准，发现史诗组织在正确性、可执行性和完整性上更优，语义覆盖率相当。

Comments Accepted for publication at the International Conference on Software Engineering of Emerging Technologies (SEET 2026)

A Penny for Your Prompts: Experiments Detecting and Mitigating LLM Usage by Survey Respondents

为提示付费：检测和减轻调查受访者使用LLM的实验

Zane Xu, Nathan Malkin

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过系列实验量化调查中LLM辅助响应的普遍性，发现其频率因平台而异（Prolific低于10%，MTurk超过80%），并测试了禁用复制粘贴等缓解措施，但未能显著提升数据质量。

Comments Published at SOUPS 2026 (Symposium on Usable Privacy and Security)

End-to-End Abstraction-Based Control with LLM-Enhanced NL-to-LTL Translation

基于端到端抽象的控制与LLM增强的NL到LTL翻译

Amir Bayat, Necmiye Ozay, Alessandro Abate, Raphael M. Jungers

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LLM增强的NL-to-LTL翻译管道，集成到ABCD框架中，并通过实验揭示翻译成功率与LTL公式复杂度的缩放规律。

Mind your key: An Empirical Study of LLM API Credential Leakage in iOS Apps

注意你的密钥：iOS应用中LLM API凭证泄露的实证研究

Pinran Gao, Lingxiang Wang, Yi Liu, Kunpeng Liu, Fan Yang, Ying Zhang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究首次系统调查iOS应用中LLM API密钥泄露问题，通过动态分析框架LLMKeyLens检测444个应用，发现282个存在可被利用的凭证泄露，并识别出三种泄露模式，三个月后仅28%完成修复。

Comments 12 pages, 4 figures, 4 tables

Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations

LLM评估者真的是自恋者吗？对自我偏好评估的健全性检查

Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Mackenzie Puig-Hall, Narmeen Oozeer

机构 * Department of Machine Learning, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学机器学习系） ； Department of Computer Science and Engineering, University of California San Diego, La Jolla, CA, USA（加州大学圣地亚哥分校计算机科学与工程系） ； Department of Computer Science, University of Virginia, Charlottesville, VA, USA（弗吉尼亚大学计算机科学系） ； Martian Research, San Francisco, California, USA（火星研究公司） ； Apart Research, San Francisco, California, USA（Apart研究公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 通过比较评估者自我评价与评价其他模型时的投票分布，发现仅51%的先前结果具有统计显著性，表明自我偏好主要由评估者质量而非自恋驱动。

Comments ICML 2026 Main

Assessing Language Models for Salient Class Identification

评估语言模型在显著类识别中的表现

Bo Xiong, Chaoran Cai, Kaipeng Xiong, Chong Wang, Peng Liang

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)

AI总结 研究语言模型能否直接从代码提交中识别显著类，无需特征工程或图构建，发现小模型在少样本提示下性能接近大模型，可降低成本和隐私障碍。

Comments 22 pages, 1 images, 8 tables, Manuscript submitted to a Journal (2026)

Lost in Aggregation: A Multi-Scale Diagnostic Benchmark for LLM Spatial Navigation

迷失在聚合中：LLM空间导航的多尺度诊断基准

Yuhan jiang, Peng Luo, Liqiu Meng

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出多尺度诊断基准，将迷宫导航分解为局部、节点和全局三个认知层次，评估LLM在空间推理中的失败位置，发现跨尺度聚合是主要瓶颈。

Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All

超越LLM截止日期：一个面向所有人的实时内核崩溃修复基准

Chenxi Huang, Alex Mathai, Feiyang Yu, Aleksandr Nogikh, Petros Maniatis, Franjo Ivančić, Eugene Wu, Kostis Kaffes, Junfeng Yang, Baishakhi Ray

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Live-kBench和kEnv框架，用于持续评估LLM代理修复新发现的Linux内核崩溃，实验显示代理在截止日期前修复率高出25%，但仅20%的补丁与开发者修复匹配。

ShellGames: Speculative LLM-Driven SSH Deception

ShellGames: 基于LLM的推测性SSH欺骗

Umberto Salviati, Fabio De Gaspari, Mauro Conti, Luigi Vincenzo Mancini

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM在欺骗系统中缺乏持久状态、输出不一致等问题，提出ShellGames，结合思维链、记忆管理、推测执行等五种技术，在正确性、一致性、状态跟踪和鲁棒性上显著优于基线。

A comparison of human and LLM-simulated participants in a writing style task

人类与LLM模拟参与者在写作风格任务中的比较

Felix Gröner, Erin K. Chiou

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过对比30名人类参与者和GPT-4o模拟参与者在写作风格偏好推断任务中的表现，发现LLM存在偏见和缺乏深度，无法准确模拟人类行为，并强调了人类因素在评估人机交互系统中的重要性。

Comments 37 pages, 10 figures

LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation

LLM 裁判具有暗电流：LLM 作为裁判评估的心理测量数据表

Hiroyasu Usami, Keisuke Hara, Ayato Tsuboi, Naohiko Matsuda

机构 * Chubu University（中部大学） ； Mitsubishi Heavy Industries, Ltd., Research & Innovation Center（三菱重工业株式会社研究创新中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出裁判数据表协议，通过真空输入、表面变异、位置偏好等指标测量 LLM 裁判的暗电流和偏差，揭示其测量特性。

Comments 22 pages, 4 figures