语言大模型 / LLM

Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation

简单性悖论：揭穿关于大语言模型评估中提示和数据集的神话

Inder Preet, Shuxin Lin, Dhaval Patel

专题命中 评测与基准 ：LLM(title,summary_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型评估中提示和数据集相关问题，通过对8种提示技术在10个MCQA数据集上的实证研究，发现基线提示常优于复杂技术，还研究了相关关键现象，表明LLM评估社区或使提示工程过复杂，存在性能差距，为模型改进提供机会。

Addressing Benchmarking Gaps in Large Language Models for Health and Medicine with Dynamic Red-Teaming

超越基准：动态、自动和系统化的红队代理用于可信的医疗语言模型

Jiazhen Pan, Bailiang Jian, Paul Hager, Yundi Zhang, Che Liu, Friederike Jungmann, Hongwei Bran Li, Julian Canisius, Chenyu You, Junde Wu, Jiayuan Zhu, Fenglin Liu, Yuyuan Liu, Niklas Bubeck, Moritz Knolle, Chen, Chen, Christian Wachinger, Zhenyu Gong, Cheng Ouyang, Georgios Kaissis, Benedikt Wiestler, Daniel Rueckert

机构 * Technical University of Munich (TUM)（慕尼黑技术大学） ； University of Oxford（牛津大学） ； TUM University Hospital（慕尼黑技术大学医院） ； Imperial College London（伦敦帝国理工学院） ； Harvard Medical School（哈佛医学院） ； Stony Brook University（史泰兹布鲁克大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出DAS红队框架，通过动态压力测试揭示医疗语言模型在鲁棒性、隐私、偏见和幻觉方面的潜在风险，发现高静态基准性能与低动态可靠性之间的'基准差距'。

Budgeted Subset Refinement for Execution-Aware LLM Research Ideation

用于执行感知大语言模型研究构思的预算子集优化

Micah Zhang

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对LLMs生成研究想法存在的问题，引入预算子集优化策略，在统一共享候选池评估中对比不同策略效果，发现随机k优化是低成本基线，多样性感知的MMR - k优化权衡最佳，表明LLM研究构思系统应作为预算支持分配系统评估。

Comments 18 pages, 3 figures, 9 tables

From Stateless to Situated: Building a Psychological World for LLM-Based Agents

从无状态到情境化：构建基于LLM的情感支持心理世界

Boning Zhao, Yutong Hu, Xinnuo Li

机构 * Tandon School of Engineering New York University New York, USA ； College of Arts \& Science New York University New York, USA 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出LEKIA 2.0架构，通过分离认知层与执行层，构建可持续更新的情境结构，提升多轮交互中的稳定性与可控性，实现31%的改进。

Comments Accepted by WAICA 2026

Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality

用于从多语言提示生成代码的大语言模型：一个精心策划的基准测试和对代码质量的研究

Saima Afrin, Alessandro Midolo, Camilo Escobar-Velásquez, Mario Linares-Vásquez, Weiyuan Ding, Bowen Xu, Massimiliano Di Penta, Antonio Mastropaolo

机构 * University of Catania（卡塔尼亚大学） ； North Carolina State University（北卡罗来纳州立大学） ； University of Sannio（萨尼奥大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究多语言提示对代码生成的影响，通过460个Python和Java编码任务，将英文提示翻译成多种语言并评估生成代码，发现英文提示非最佳，提示语言影响因编程语言和大语言模型而异，提供多语言基准测试及见解。

Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search

量化预算约束下代理LLM搜索中的准确性与成本影响

Kyle McCleary, James Ghawaly

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究探讨了预算约束下代理LLM搜索中搜索深度、检索策略和完成预算对准确性和成本的影响，并提供了可重复的评估方法和实验结果。

Comments Accepted in 2026 Language Resources and Evaluation Conference (LREC)

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

The Heap：一个无污染的多语言代码数据集，用于评估大型语言模型

Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 The Heap是一个无污染的多语言代码数据集，用于公平评估大型语言模型，覆盖57种编程语言并去重以减少数据清洗需求。

Comments Camera-ready. Accepted to FORGE 2025 Dataset Track

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

给定增量的埃塔：用边际工具效用定义大语言模型工具效率

Nyx Iskandar

机构 * Foam（泡沫） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 研究提出用于评估LLM智能体轨迹中工具调用率的工具效率及边际工具效用指标，用LLM-as-a-Judge确定边际工具效用符号，区别于间接测效率的 prior work，直接测效率，为LLM评估研究及相关工程做贡献。

Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs

只需持续提示：评估视觉语言模型中的重复苏格拉底式提示

Shayda Moezzi, Bishoy Galoaa, Lorena Genua, Taskin Padir, Sarah Ostadabbas

机构 * Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：prompting(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉语言模型在反复提示下的稳定性，引入JKP多轮评估框架，用三种策略对模型提问，在STAR基准子集上评估GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B，发现重复提示利弊兼具且因模型而异，揭示了模型压力反应概况。

How Inference Compute Shapes Frontier LLM Evaluation

推理计算如何塑造前沿LLM评估

Jessica McFadyen, Ole Jorgensen, Harry Coppock, Kevin Wei, Cozmin Ududec

机构 * UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 通过控制推理计算量（如token预算、上下文压缩和重复提交）评估12个前沿语言模型，发现更大计算量显著提升性能，固定预算评估低估模型能力，且不同基准对推理扩展方法敏感。

Comments 34 pages, 4 figures

LLM-Based Agentic Systems for Software Engineering: Challenges and Opportunities

基于大语言模型的代理系统在软件工程中的应用：挑战与机遇

Yongjian Tang, Thomas Runkler

机构 * Siemens AG（西门子股份公司） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了基于大语言模型的多代理系统在软件工程中的应用，分析了其挑战与未来研究方向。

Comments Accepted to GenSE 2026 workshop

Context Contamination in LLM Analysis of Network Security Logs: Poison with Passive Prompt Injection and Mitigation Evaluation

网络安全日志的大语言模型分析中的上下文污染：通过被动提示注入进行中毒攻击及缓解评估

Rabimba Karanjai, Yang Lu, Hemanth Hegadehalli Madhavarao, Lei Xu, Weidong Shi

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究网络安全日志大语言模型分析中的上下文污染问题（被动提示注入漏洞），提出LogInject框架评估威胁，通过实验得出攻击成功率等数据，引入上下文拼接技术，评估分层防御效果，揭示需深度防御架构和人工监督。

Contextualized Early Detection of Online Firestorms: A Sequential LLM-Based Approach

在线风暴的情境化早期检测：一种基于序列语言模型的方法

Besim Shala, Peter Mandl, Andreas Humpe, Martin Häusl

专题命中 评测与基准 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 研究在线风暴的早期检测，提出基于语言模型的检测系统，有回顾性分类和顺序处理两种模式，在Reddit数据集上实验，全局模式分类性能强，早期警告模式召回率高，证明语言模型可用于情境感知监测。

Comments 9 pages, 2 figures, 7 tables, 1 algorithm

Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions

通过动态多轮交互对视觉语言模型进行情境化评估

Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

机构 * UC San Diego（加州大学圣地亚哥分校） ； Northeastern University（东北大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型现实有效性问题，提出CEDI框架，通过三方交互、多轮半结构化对话及多种策略评估，应用于视觉幻觉，发现能揭示更多接近实际情况的幻觉，凸显其对MLLMs能力评估的作用。

TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories

TEDDY：一种基于ICD编码诊断历史的儿科风险预警基础模型

Matthew Brady Neeley, Jorge Botas, Johnathan Jia, Lin Yao, Daniel Palacios, Benjamin Choi, Zhandong Liu, Hyun-Hwan Jeong

机构 * Baylor College of Medicine（贝勒医学院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究利用儿科电子健康记录训练TEDDY模型，对纵向诊断轨迹和就诊时间建模，在疾病发病预测任务中表现出色，能支持广泛、罕见疾病和长期风险预测，无需大规模人口数据或数十亿参数模型。

Self-Evolving Human-Centered Framework for Explainable Depression Symptom Annotation

用于可解释抑郁症症状标注的自我进化以人为中心框架

Hoang-Loc Cao, Van Pham, Truong Thanh Hung Nguyen, Phuc Truong Loc Nguyen, Phuc Ho, Veronica Whitford, Hung Cao

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对抑郁症标注质量瓶颈，提出结合大语言模型辅助与专家验证的自我进化标注框架，分三阶段运行，采用双记忆架构，能提高标注一致性和可解释性，减少人工修订，还输出多种信息实现可审计性。

Comments Accepted at IEEE International Conference on Omni-Layer Intelligent Systems (COINS) 2026

Structured Feedback Improves Repair in an LLM Agent Loop

结构化反馈改进大语言模型智能体循环中的修复

Jaideep Ray, Ankit Goyal

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体验证与调用接口问题，提出VeriHarness代码控制智能体循环。通过比较原始诊断与含失败位置等信息的反馈，发现含三个字段反馈能大幅提升成功率，多数增益源于可接受替代方案，JSON语法本身对修复无显著作用。

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

几何在发挥作用吗？对双曲视觉-语言模型层次性的工作点审计

Jaeyoung Kim, Eunseok Kim, Dongsuk Jang

机构 * MADI 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究针对双曲视觉-语言模型是否利用其几何特性的问题，提出多组诊断指标审计三类主流模型，发现其实际未激活双曲径向/锥机制，层次性表现与几何特性无关。

Comments 48 pages, 5 figures, Under review at TMLR

TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios

TSHA：用于可信安全危害评估场景的视觉语言模型基准

Qiucheng Yu, Ruijie Xu, Mingang Chen, Jianfeng Dong, Xin Tan

机构 * City University of Hong Kong（香港城市大学） ； East China Normal University（华东师范大学） ； University of Western Australia（西澳大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Development Center of Computer Software Technology（上海计算机软件技术开发中心） ； Zhejiang Gongshang University（浙江工商大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出TSHA基准，通过81809个精心挑选的训练样本和1707个挑战性测试样本，评估视觉语言模型在复杂家庭安全场景中的鲁棒性和泛化能力，发现现有模型在安全危害评估中存在显著不足。

WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays

WrAFT：一种用于议论文的模块化自动写作评估系统

Adnan Labib, Yixuan Huang, Jiahui Wu, John Maurice Gayed, Zheng Yuan, Qiao Wang

机构 * Department of Informatics, King’s College London（伦敦国王学院信息学系） ； Waseda University（早稻田大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Sheffield（谢菲尔德大学） ； Hosei University（法政大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出WrAFT这一用于议论文的模块化自动写作评估系统，通过模块化设计及评估多种大语言模型构建，在评分上达先进水平，人机评估反馈认可度高，且开发了公开免费的交互式用户界面。

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

HABIB_TAZ参加SemEval-2026任务11：通过合成训练和多目标优化从内容中分离形式逻辑

Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

机构 * Dhanani School of Science & Engineering Habib University（哈比卜大学达纳尼科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对SemEval-2026任务11，用基于三段论合成数据集微调的mDeBERTa-v3网络，结合多目标损失函数应对大语言模型形式推理受内容影响的问题，在多个子任务中取得优异成绩，还公开了数据集生成引擎和代码库。

Journal ref Proceedings of the 20th International Workshop on Semantic Evaluation (2026), pp. 1006-1014 (2026)

Closed-Loop Knowledge Dynamics: An Operational Framework for Saturation and Escape

闭环知识动力学：饱和与逃逸的操作框架

Xuening Wu, Shan Yu, Shenqin Yin

机构 * Pfizer（辉瑞公司） ； Institute of Humanities and Social Science Data, Fudan University（复旦大学人文社会科学数据研究所） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究闭环知识系统饱和及逃逸问题，引入三级操作框架，利用李雅普诺夫漂移条件等刻画系统动态，通过案例展示反馈影响，建立了稳定性工具、干预效果与跨域诊断间的操作联系。

VAN-AD: Visual Masked Autoencoder with Normalizing Flow For Time Series Anomaly Detection

VAN-AD：基于归一化流的视觉掩码自编码器用于时间序列异常检测

PengYu Chen, Shang Wan, Xiaohou Shi, Yuan Chang, Yan Sun, Sajal K. Das

机构 * School of Computer Science (National Pilot Software Engineering School)（计算机学院（国家级试点软件工程学院）） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； China Telecom Research Institute Beijing（中国电信研究院北京） ； Department of Computer Science, Missouri University of Science and Technology（计算机科学系，密苏里科技大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VAN-AD，通过归一化流模块和自适应分布映射模块改进视觉掩码自编码器，提升时间序列异常检测的泛化能力和局部感知能力。

Comments 15 pages, 7 figures

PatchIsland: Orchestration of LLM Agents for Continuous Vulnerability Repair

PatchIsland：用于持续漏洞修复的大语言模型代理编排

Wonyoung Kim, Seunggi Min, Minjae Gwon, Dowoo Baik, Haein Lee, Hyeon Heo, Minjae Lee, Min Woo Baek, Yonghwi Jin, Younggi Park, Yunjae Choi, Taesoo Kim, Sangdon Park, Insu Yun

专题命中 评测与基准 ：LLM(title,abstract)

AI总结 研究针对持续模糊测试中漏洞修复多为人工且现有AVR技术不适用于此的问题，提出PatchIsland系统，通过集成多种大语言模型代理及两阶段去重方法，实现高效漏洞修复，在内部评估和竞赛中都取得了较好的修复成果。

Symbal: Detecting Systematic Misalignments in Model-Generated Captions

Symbal：检测模型生成字幕中的系统性对齐错误

Maya Varma, Jean-Benoit Delbrouck, Sophie Ostmeier, Akshay Chaudhari, Curtis Langlotz

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型生成图像字幕时的系统性对齐错误检测问题，提出利用现成基础模型的结构化双阶段设置的Symbal方法，引入SymbalBench基准，Symbal在基准上表现出色，可辅助审核MLLM生成的字幕。

Comments ICML 2026

MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

MM-IssueLoc：用于评估多模态仓库级问题定位中视觉证据的可控基准

Shaoxiong Zhan, Shi Hu, Boyu Feng, Hai Lin, Andrew Gong, Zhengda Zhou, Jiaying Zhou, Yunyun Hou, Hao Su, Hai-Tao Zheng

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究针对仓库级问题定位多为文本任务，视觉证据作用不明的情况，引入MM-IssueLoc基准和评估协议，含多语言实例与标注等。评估LLM和检索系统，发现现有系统距可靠多模态定位有差距，该基准让视觉证据成评估变量，助于后续研究。

Can LLMs Build a MaxSAT Solver from Papers? The CoreForge Experience

大语言模型能否根据论文构建最大可满足性求解器？CoreForge 经验

Ruben Martins

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究利用大语言模型从论文构建无权重 MaxSAT 求解器，采用结合论文讨论、代码实现及审核修订的迭代流程，评估特定配置，发现虽未现错误答案，但性能低于手工设计求解器，总结了相关经验教训。

Traccia: An OpenTelemetry-Based Governance Platform for AI Systems

Traccia：一个基于OpenTelemetry的人工智能系统治理平台

Nutan Kumar Naik, Aditya Kumar Saroj, Vijay Prasad Poudel, Saurav Samantray, Abhishek Patel

机构 * National Institute of Technology Rourkela（鲁尔基国立技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型和人工智能驱动智能体发展带来的软件治理问题，提出基于OpenTelemetry构建多层次人工智能治理堆栈Traccia，通过添加遥测数据等解决对齐问题，自动创建合规证据包，为企业管理自主人工智能系统创建机器可读基础。

Comments 26 pages, 2 figures, 3 tables, Declaration of generative AI and AI-assisted technologies in the writing process, Declaration of competing interest

MSQA: A Natively Sourced Multilingual and Multicultural SimpleQA Benchmark

MSQA：一个原生来源的多语言多文化SimpleQA基准

Xianru Chen, Yukai Huang, Mingxiang Chen, Xinping Lei, Fangbing Deng, Jin Chen, Ge Zhang, Wenhao Huang, Jiaheng Liu

机构 * M-A-P ； ByteDance Seed（字节跳动Seed） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 提出MSQA基准，包含1064个原生问题覆盖11种语言和5个文化维度，评估18个LLM发现文化能力随预训练暴露程度下降，且推理时补救措施无效。

Comments Due to the company's data approval issue, we need to withdraw the article

Self-Aware Recursively Self-Improving Agents for Personal Singularity: A Goal-, Scope-, Tool-, and Benchmark-Driven Multi-Agent Architecture

如何实现递归式自我提升智能体与个人奇点：一种目标、范围、工具和基准驱动的多智能体架构

Chengshuai Yang

机构 * NextGen PlatformAI C Corp.（下一代平台人工智能C公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究大型语言模型智能体进步引发的问题，提出受治理多智能体架构实现递归式自我提升，以个人奇点为目标，详细介绍智能体各要素及架构组成，形式化多种机制并提供设计与路线图。

Comments 28 pages, 5 figures, 7 tables, and 5 algorithms. Position and systems-design paper