语言大模型 / LLM

Piggybacking on Perception: Stealthy Concurrent Audio Prompt Injections against Multimodal LLM Agents

利用感知能力：针对多模态大语言模型智能体的隐蔽并发音频提示注入攻击

Mingxiao Liu, Yitong Li, Haoren Zhao, Yaoxiang Bian, Jianan Ma, Jian Zhang, Jialuo Chen, Xinhao Deng, Zhen Wang

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对多模态LLM智能体提出隐蔽并发音频提示注入攻击，构建首个相关基准并评估多款智能体，还提出CADV防御机制，经实验验证攻击有效且防御可靠。

Comments 19 pages, 8 figures, The code is publicly available at https://github.com/Limax666/AudioAgentSecurity

The Metanym Game: A Self-Contained, Self-Consistent LLM Peer-Community Benchmark for Structural Intelligence

Metanym游戏：一种自包含、自洽的LLM同行社区结构智能基准

David Nordfors

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Metanym游戏作为LLM结构智能基准，通过同行互评和奇异值分解实现无黄金标准的客观评估，事实评分与GPQA Diamond相关性达0.92，发现评判能力比生成能力更稀缺。

Comments 71 pages (main text + four appendices: full generation/evaluation prompts, the anchor submission excerpt, and a council-evaluation excerpt), 1 figure, 17 tables. Github repo with pages/figures/tables/code and data for reproducing results: https://github.com/dnordfors/metanym-game-paper

Evaluating LLM Agents on Automated Software Analysis Tasks

评估LLM代理在自动化软件分析任务中的性能

Islem Bouzenia, Cristian Cadar, Michael Pradel

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文通过AnalysisBench评估四种LLM架构在自动化软件分析任务中的表现，发现AnalysisAgent在手动验证的成功率高达94%，而现有代理存在阶段混用、错误定位差等问题，且整程序分析和符号执行是最具挑战性的任务。

LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models

基于LLM的视觉解释评估框架：用于评估面部皮肤病分类模型的可解释性

Gyuyeon Na

机构 * AI and Business Analytics, Ewha Womans University（人工智能与商业分析，成均馆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出基于LLM的视觉解释评估框架，通过渐进式提示工程评估Grad-CAM在面部皮肤病诊断模型中的解释质量，聚焦病变定位和可信度。

Understanding before Naming! Enhancing LLM-based Method Name Prediction with Code Summarization

命名之前先理解！通过代码摘要增强基于大语言模型的方法名预测

Wei Liu, Weisong Sun, Tingting Xu, Hanwei Qian, Yi Zhao, Chunrong Fang, Xia Feng

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对方法名预测中现有评估不能反映语义质量、基于LLM的方法与人命名过程不同的问题，通过实证研究比较多种评估器及策略，提出结合摘要和细化的SMNP方法，实验证明该方法在方法名预测上有效且鲁棒。

Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining

通过变形测试和关联规则挖掘对大语言模型生成代码进行横切安全分析

Zedong Peng, Chenggang Wang, Shangyue Zhu

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对LLM生成代码的安全漏洞，提出结合变形测试与关联规则挖掘的框架，定义九个MRs并应用于3700个代码片段，揭示共同违反结构与横切模式，还进行提示级风险分析，发现不安全代码生成具结构化和提示依赖性，推动相关验证与干预。

Comments This work has already been accepted by IEEE 27th International Conference on Information Reuse and Integration for Data Science

TerraRepair: A Tool-Grounded LLM Agent for Infrastructure-as-Code Repair

TerraRepair：一种用于基础设施即代码修复的工具接地大语言模型代理

Minase Mekete Mengistu, Juri Di Rocco, Phuong T. Nguyen, Davide Di Ruscio

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究探讨工具接地能否改进基于LLM的Terraform修复及何时升级问题。提出TerraRepair工具接地LLM代理，通过检索上下文等操作进行修复。实验表明其能显著提高扫描器验证修复率，凸显工具接地改进修复效果，同时指出特定部署上下文是自主修复的主要限制。

Comments The paper has been peer reviewed and accepted for publication in the proceedings of the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026)

AutoQResearch: LLM-Guided Closed-Loop Policy Search for Adaptive Variational Quantum Optimization

AutoQResearch：基于LLM的闭环策略搜索用于自适应变分量子优化

Monit Sharma, Hoong Chuin Lau

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文提出AutoQResearch，通过LLM引导的闭环实验框架，实现变分量子优化中求解器的自适应配置，通过阶段确认和低成本评估避免过拟合，展示在最大独立集和车辆路径问题上的有效性。

Comments Accepted at the 2026 IEEE International Conference on Quantum Computing and Engineering (QCE 2026), Quantum-GenAI Co-Design & Co-Discovery (QGDD) Technical Papers Track. QCE26 Technical Paper 238

ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection

ARGUS：防御大语言模型智能体免受上下文感知提示注入攻击

Shihao Weng, Yang Feng, Jinrui Zhang, Xiaofei Xie, Jiongchi Yu, Jia Liu

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对LLM智能体的上下文感知提示注入攻击，提出AgentLure基准测试及ARGUS因果溯源审计器，通过构建溯源图等验证行动因果依据，在AgentLure上降低攻击成功率，提升安全-效用权衡表现。

Comments 14 pages

Controllability-Aware Adversarial Examples Against LLM-Based Network Traffic Classifiers

针对基于大语言模型的网络流量分类器的可控性感知对抗样本

Zhenpeng Li

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的网络流量分类器的对抗鲁棒性，提出可控性感知黑盒迁移框架，按通信语义划分特征组限制扰动，生成对抗样本并迁移到多个目标，发现LLM迁移漏洞及相关特性，验证跨架构迁移层次和交叉代理有效性。

Comments 13 pages, 5 figures

Measuring the Security of Mobile LLM Agents under Adversarial Prompts from Untrusted Third-Party Channels

在来自不受信任第三方渠道的对抗性提示下衡量移动大语言模型代理的安全性

Chenghao Du, Quanfeng Huang, Tingxuan Tang, Zihao Wang, Adwait Nadkarni, Yue Xiao

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究移动LLM代理在对抗性环境下的安全风险，设计评估一系列案例研究，涵盖多种攻击类型并涉及多个先进移动代理，通过大量试验揭示系统漏洞，映射攻击到相关框架发现新途径，证明其在现实中可被利用。

Regression Accumulation in Multi-Turn LLM Programming Conversations

多轮LLM编程对话中的回归累积

Yonghui, Huang, Lin Ma, Amjed Tahir, Qian Zhang, Liwen Xiao, Lysa Xiao

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 研究多轮LLM编程对话中代码建议破坏先前需求的回归累积问题，通过构建542个任务链评估六种模型，发现40%-73%的任务出现回归，并验证了Verification Gate策略的有效性。

Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety

认知防火墙：一种主动、零信任、多门控的LLM安全框架

Michele Guida, Ruslan Shikhhamzayev, Sindhuja Penchala, Stefano Iannucci, Jiacheng Li, Shahram Rahimi, Noorbakhsh Amiri Golilarz

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出认知防火墙框架，通过意图、零信任上下文、一致性和输出风险四个门控进行对话级安全评估，有效降低单轮、多轮、基于权威和人工制作的越狱攻击成功率。

As It Was: Aligning LLM Search Evaluation with Historical User Preferences

如其所是：将LLM搜索评估与历史用户偏好对齐

Ali Vardasbi, Gustavo Penha, Enrico Palumbo, Claudia Hauff, Hugues Bouchard, Mounia Lalmas

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出行为锚定的LLM评判器，通过查询-相关性-印象卡引入历史用户交互证据，在音乐搜索评估中提升与用户偏好的斯皮尔曼秩相关约5%，并在多语言数据集上提高15%的相关性。

Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

校准仪器：LLM驱动的合成人群的可控性

Mirko Degli Esposti

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出SIVE实验，通过七项预注册标准评估LLM驱动合成人群对已知效价刺激的响应可控性，发现弱阳性消息被识别为阴性，经重新设计后恢复预期排序，并揭示噪声特性与微观动力学。

Rise From The Ashes: LLM-based Static Analysis for Deep Learning Framework Bugs

从灰烬中崛起：基于LLM的深度学习框架缺陷静态分析

Shaoyu Yang, Haifeng Lin, Chunrong Fang, Xiang Chen, Wei Cheng, Jiawei Liu, Yiyu Zhang, Hongyu Liu, Zhenyu Chen

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出首个基于LLM的静态分析技术Phoenix，通过结构化语义桥接中间表示建模跨语言张量流，结合多智能体工作流检测深度学习框架缺陷，已在PyTorch中发现31个新bug。

QVal: Cheaply Evaluating Dense Supervision Signals for Long-Horizon LLM Agents

QVal：廉价评估长周期LLM智能体的密集监督信号

Sergio Hernández-Gutiérrez, Matteo Merler, Ilze Amanda Auzina, Joschka Strüber, Ameya Prabhu, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出QVal，一种无需训练的基准测试，通过Q值对齐直接评估密集监督信号质量，避免下游训练开销。在21种方法、4个环境上的实验表明，简单提示基线优于现有方法。

Comments 10 pages, 5 figures in main text; 48 pages, 6 figures with appendix

TacEvo: Self-Evolving Architecture Discovery for Robotic Tactile Perception via LLM-Driven Quality-Diversity Search

TacEvo：通过LLM驱动的质量多样性搜索实现机器人触觉感知的自演化架构发现

Mohammed AbuSadeh, Lan Wei, Dandan Zhang

机构 * Department of Bioengineering, Imperial-X Initiative, Imperial College London（生物工程系、Imperial-X计划、伦敦帝国学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出TacEvo框架，利用LLM生成代码级变异和交叉，结合MAP-Elites质量多样性循环，自动发现高效触觉感知网络架构，在力回归和光栅分类任务上显著提升性能。

Rethinking Fairness in LLM-Based Recommender Systems: A Survey

重新思考基于LLM的推荐系统中的公平性：一项综述

Song-Duo Ma, Chu-Yun Chen, Bang-An Li, Pin-Yu Chen, Shau-Yung Hsu, Yun-Nung Chen

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文系统综述了基于大语言模型的推荐系统中的公平性问题，从偏见机制和公平目标两个维度组织现有研究，并探讨了评估与缓解策略，旨在为未来研究提供结构化基础。

MultModLM: A multi-modal benchmark for Large-Language Model based hardware schematic generation

MultModLM：基于大语言模型的硬件原理图生成的多模态基准

Dhruv Kulkarni, Sai Manoj Pudukotai Dinkarrao

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)

AI总结 提出MultModLM基准，评估LLM从RTL描述生成硬件原理图的能力，通过多阶段评估框架发现模型生成原理图功能正确性有限，且LLM评估者与人类评分一致性极低。

GenWorld: Empirically Grounded Urban Simulation Infrastructure for Scalable LLM-Agent Studies

GenWorld：用于可扩展LLM智能体研究的经验性城市模拟基础设施

Gen Li, Jieyuan Lan, Pengcheng Xu, Zongyuan Wu, Masaki Ogura, Tao Feng

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出GenWorld，一种结合合成城市、结构化接口和离线编译LLM决策信号为查找策略的经验性城市模拟基础设施，实现可扩展的LLM智能体研究。

Comments 27 pages, 24 figures. Code: https://github.com/Perseus1993/genworld. Project page: https://genworld1993.netlify.app/

To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair

运行还是不运行：分析基于LLM的程序修复中代码执行的成本效益

Zhihao Lin, Junhua Zhu, Mingyi Zhou, Xin Wang, Zhensu Sun, Renyu Yang, David Lo, Li Li

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 通过分析SWE-bench上的代理轨迹和端到端修复尝试，发现代码执行在LLM程序修复中普遍使用但效益不均，限制执行可节省成本且不影响修复成功率。

Comments Accepted to the ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026). 23 pages

Continuous Behavioral Synthesis for Adaptive Health Dashboards: An LLM-Mediated Architecture Integrating Explicit Preference, Spatial Reorganization, and Attention Allocation Signals

自适应健康仪表盘的连续行为合成：一种集成显式偏好、空间重组和注意力分配信号的LLM中介架构

Tiziano Santilli, Mina Alipour, Mahyar T. Moghaddam

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种利用大语言模型作为行为合成引擎的架构，通过集成显式反馈、空间重组和注意力信号，实现从稀疏异构用户信号中即时生成自适应仪表盘布局。

Comments 33 pages, Accepted EICS2026 Patras, Greece

SafeGen: LLM-Driven Assertion Generation and Fault Criticality Evaluation for Functional Safety

SafeGen: 面向功能安全的LLM驱动断言生成与故障关键性评估

Xuanyi Tan, Arjun Chaudhuri, Rubin Parekhji, Krishnendu Chakrabarty

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SafeGen框架，利用大语言模型和超知识图谱从设计文档提取规范并生成功能安全断言，结合门级到RTL故障映射与形式验证实现故障关键性语义分级，在FOC系统中验证了优于传统方法。

Comments Accepted by DAC 2026

Automated Summarization of Software Documents: An LLM-based Multi-Agent Approach

软件文档的自动摘要：一种基于LLM的多智能体方法

Duc S. H. Nguyen, Minh T. Nguyen, Phuong T. Nguyen, Juri Di Rocco, Davide Di Ruscio

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出基于大语言模型的多智能体系统Metagente，采用师生架构协作生成软件文档摘要，在真实数据集上优于基线方法，提升需求分析和技术文档的摘要效果。

Comments Paper has been accepted for publication with the Automated Software Engineering journal

LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation

LLM-as-a-Judge：用于Top-K推荐中可靠且可解释的离线评估

Yue Que, Junyi Zhou, Xiaokun Zhang, Haiming Jin, Qiao Xiang, Chen Ma

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 针对离线评估中反馈偏差和缺乏解释的问题，提出基于LLM的语义代理和推理评分框架，提升评估可靠性与可解释性。

Comments Accepted by KDD 2026

Towards LLM-Powered Automation of a Dark Matter Constraint Repository

基于大语言模型的暗物质约束库自动化

Lanqing Yuan, Karthik Ramanathan

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一个LLM流水线，从arXiv论文中提取暗物质约束曲线并生成拉取请求，在基准测试中达到90.5%的耦合类型分类准确率和0.33 dex的中位残差。

Do Generative Recommenders Deepen the Information Cocoon? A Closed-Loop Simulation with LLM-powered User Simulators

生成式推荐器会加深信息茧房吗？基于LLM用户模拟器的闭环仿真

Jiyuan Yang, Gengxin Sun, Mengqi Zhang, Lingjie Wang, Yuanzi Li, Hongxi Cui, Xin Xin, Pengjie Ren

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出闭环仿真框架RecLoop，利用LLM用户代理比较生成式与传统推荐器，发现生成式推荐器在暴露层面不易形成信息茧房，但反馈循环仍会导致编码空间集中，且茧房严重程度取决于分词策略和模型规模。

Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection

面向软件工具发现的LLM加速快速综述——以日志异常检测为例

Jesse Nyyssölä, Hamza Bin Mazhar, Alexander Bakhtin, Matteo Esposito, Nana Reinikainen, Yuqing Wang, Ying Song, Davide Taibi, Mika Mäntylä

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出一种结合LLM筛选和编码代理的流水线，用于快速识别和运行软件工具，在日志异常检测案例中实现高效综述。

Comments 52nd Euromicro Conference on Software Engineering and Advanced Applications (SEAA) 2026

LLM-Driven Usefulness Judgment for Web Search Evaluation

LLM驱动的网络搜索评估中的有用性判断

Mouly Dewan, Jiqun Liu, Aditya Gautam, Chirag Shah

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出TRUE方法，利用LLM结合用户行为信号评估文档有用性，通过迭代采样和推理建模搜索行为，实验表明LLM能生成中等有用性标签，微调后判断更准确。