语言大模型 / LLM

Thinking Like a Scientist? A Structural Study of LLM-Generated Research Methods

像科学家一样思考？LLM生成研究方法的结构性研究

Francesca Carlon, Brecht Verbeken, Vincent Ginis, Andres Algaba

机构 * Data Analytics Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学数据分析实验室） ； imec-SMIT, Vrije Universiteit Brussel（布鲁塞尔自由大学imec-SMIT） ； School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过对比LLM在最小提示下生成的方法建议与论文实际方法，发现LLM在模型选择上存在显著偏差，且方法多样性大幅缩减。

Comments 46 pages, 13 figures, 18 tables

Charting the Growth of Social-Physical HRI (spHRI): A Systematic Review Pipeline Augmented by Small Language Models

绘制社会-物理人机交互（spHRI）的增长：由小型语言模型增强的系统综述流程

Mayumi Mohan, Ju-Hung Chen, Alexis E. Block

机构 * MPI for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 评测与基准 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对社会-物理人机交互领域术语碎片化和方法不一致的问题，本文评估了小型语言模型（<1.5B参数）在标题和摘要筛选中的辅助能力，发现其虽未达到人类水平，但能快速筛选并发现人类遗漏的论文，表明SLM可增强而非取代专家评审。

Comments 5 pages, 3 figures, 2 tables, Companion Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction

Semantic Early-Stopping for Iterative LLM Agent Loops

迭代式LLM智能体循环的语义早停

Sahil Shrivastava

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多智能体LLM循环中固定迭代次数终止的低效问题，提出基于语义相似度和质量评估的早停机制，理论证明终止确定性，实验表明无质量门控的语义早停在HotpotQA上节省38%操作token且性能持平。

Comments 7 pages, 5 figures, 4 tables. Open implementation, machine-checked theory, and reproducible harness: github.com/SahilShrivastava-Dev/semantic-halting-problem

Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents

知道太多的智能体：LLM智能体中隐私的数据中心调查

Nada Lahjouji, Ashwin Gerard Colaco

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 从数据中心视角调查LLM智能体隐私风险，分类数据源、隐私风险及治理机制，发现信息流控制可覆盖组合和跨会话推理泄露，但缺乏统一隐私策略的基准。

Comments 17 pages, 4 figures, 7 tables

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference

OI-Bench：用于评估大语言模型对指令干扰敏感性的选项注入基准

Yow-Fu Liou, Yu-Chien Tang, Yu-Hsiang Liu, An-Zi Yen

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出选项注入基准OI-Bench，通过在多选题界面中嵌入误导性指令，系统评估12个LLM对16种指令干扰的脆弱性，揭示模型存在显著漏洞。

Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication

大型语言模型能否可靠地编码定性人道主义数据？一项针对人类专家裁决的基准研究

Jerome Marston, Tino Kreutzer, Salomé Garnier, Ella Boone, Phuong N Pham, Patrick Vinck

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.LG

AI总结 本研究通过对比46个大型语言模型与人类专家在150份高保真合成人道主义转录本上的编码表现，发现多个LLM在结构化提示和推理配置下能达到与经验丰富人类编码员相当的可靠性，但聚合可靠性指标不足以指导部署，模型在识别间接表达的需求、类别外需求及保护相关问题方面存在差异。

Comments 34 pages, 4 tables, 3 Annexes

Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models

Know2Guess: 一种面向大型语言模型知识边界评估的污染感知多区域基准

Renwei Meng, Bowen Zhang, Jian Wang, Xican Wang, Haoyi Wu, Xuanyan Qiu, Shengan Yang

机构 * Anhui University（安徽大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一种污染感知多区域基准，通过冻结构建时标签测量从可回答知识到应弃权未知的转变，评估模型在回答与弃权间的可靠性。

Comments 16 pages, 3 figures

Signature filtering: a lightweight enhancement for statistical watermark detection in large language models

签名过滤：大型语言模型中统计水印检测的轻量级增强方法

Chih-Duo Hong, Yen-Pang Chen, Fang Yu

机构 * National Chengchi University（国立政治大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出签名过滤模块，通过移除干扰水印检测的签名令牌，在弱信号和低熵设置下将检测率从8-31%提升至78-99%，同时保持可控的假阳性率。

Comments update grant numbers

Beyond Surface Forms: A Comprehensive, Mechanism-Oriented Taxonomy of Indirect Linguistic Encoding for LLM-Based Coded Language Detection

超越表面形式：面向LLM的编码语言检测的全面、机制导向的间接语言编码分类法

Hamid Reza Firoozfar, Mohammadsadegh Abolhasani, Reza Mousavi, Paul Jen-Hwa Hu

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出一种机制导向的间接语言表达分类法，通过抽象编码操作而非沟通目标，在LLM提示中集成后，在TikTok和Bluesky数据集上检测准确率提升4.7%，F1提升5.4%。

Comments Submitted for review in ARR for EMNLP 2026

Necessary but Not Sufficient: Temperature Control and Reproducibility in LLM-as-Judge Safety Evaluations

必要但不充分：LLM作为评判者的安全评估中的温度控制与可重复性

Hiroki Tamba

机构 * Tamba Research Academy（Tamba研究学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究LLM评判者在安全评估中温度设置对结果可重复性的影响，发现温度未设置或设为0仍无法完全消除判决翻转，建议将评判者分歧作为首要健康指标。

Comments 7 pages, 2 tables

To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair

运行还是不运行：分析基于LLM的程序修复中代码执行的成本效益

Zhihao Lin, Junhua Zhu, Mingyi Zhou, Xin Wang, Zhensu Sun, Renyu Yang, David Lo, Li Li

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 通过分析SWE-bench上的代理轨迹和端到端修复尝试，发现代码执行在LLM程序修复中普遍使用但效益不均，限制执行可节省成本且不影响修复成功率。

Comments Accepted to the ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026). 23 pages

Continuous Behavioral Synthesis for Adaptive Health Dashboards: An LLM-Mediated Architecture Integrating Explicit Preference, Spatial Reorganization, and Attention Allocation Signals

自适应健康仪表盘的连续行为合成：一种集成显式偏好、空间重组和注意力分配信号的LLM中介架构

Tiziano Santilli, Mina Alipour, Mahyar T. Moghaddam

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种利用大语言模型作为行为合成引擎的架构，通过集成显式反馈、空间重组和注意力信号，实现从稀疏异构用户信号中即时生成自适应仪表盘布局。

Comments 33 pages, Accepted EICS2026 Patras, Greece

Toward Agentic SysAdmin: Rethinking System Administration with AI Agents

迈向智能系统管理：用AI智能体重新思考系统管理

Gianmaria Frigo, Davide Saladino, Alberto Castagnaro, Francesco Marchiori, Denis Donadel, Luca Pajola, Mauro Conti

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出NetLLMeval框架，通过实时网络仿真自动评估LLM在系统管理任务中的表现，发现求解器设计显著影响准确性，本地模型在合适配置下可媲美前沿大模型。

Comments Under submission

From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models

从结构到协同：多模态大语言模型中视觉-语言感知范式演进综述

Haoxiang Sun, Tao Wang, Li Yuan, Jian Zhao, Jiancheng Lv

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院电子与计算机工程学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University（中国电信与西北工业大学人工智能研究院（TeleAI）） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进，提出五阶段分类法，梳理各阶段代表性方法，并指出开放挑战与未来方向。

Simulating Eating Disorder Patients with LLMs: Evaluating Psychological Persona Stability in Multi-Turn Conversations

使用LLM模拟饮食障碍患者：评估多轮对话中的心理角色稳定性

Jennifer Haase, Jana Gonnermann-Müller, See Heng Yim, Nicolas Leins, Jan Mendling, Sebastian Pokutta

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过饮食障碍案例和双评估框架，发现LLM在模拟患者时过度稳定且不准确，系统性地高估严重程度12-30%，并存在“缺失中间态”问题。

Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

LLM智能体中针对提示注入的带外防御的自适应评估

Praneeth Narisetty, Shiva Nagendra Babu Kore, Uday Kumar Reddy Kattamanchi, Jayaram Kumarapu

机构 * LaunchSafe Research（LaunchSafe研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文组织带外防御（如CaMeL、Progent）为经典完整性保护与引用监视实例，并在AgentDojo上对Qwen2.5-7B代理进行自适应评估，结果显示Progent将攻击成功率从25.8%降至4.2%，手工自适应攻击未提升成功率。

Comments 12 pages, 5 figures, 4 tables

Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement

询问而非评判：用于可解释的LLM评估和自我改进的二元问题

Sangwoo Cho, Kushal Chawla, Pengshan Cai, Zefang Liu, Chenyang Zhu, Shi-Xiong Zhang, Sambit Sahu

机构 * Capital One, AI Foundations（Capital One人工智能基础） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出BINEVAL框架，将评估标准分解为原子二元问题，聚合为可解释的多维分数，在多项基准上匹配或超越强基线，并支持迭代提示优化。

Comments Acceepted to the Second Workshop on Compositional Learning at ICML 2026, Seoul, South Korea

DualEval: Joint Model-Item Calibration for Unified LLM Evaluation

DualEval: 联合模型-项目校准的统一LLM评估

Aaron J. Li, Hao Huang, Youngmin Park, Yitong Ma, Wei-Lin Chiang, Li Chen, Cho-Jui Hsieh, Bin Yu, Ion Stoica

机构 * University of California, Berkeley（加州大学伯克利分校） ； Arena ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出DualEval框架，通过联合模型-项目校准统一静态基准和竞技场式评估，生成可靠模型排名并支持基准压缩和异常检测。

Are LLMs Ready for Anti-Pattern Detection in Microservice Architectures?

LLM 是否准备好检测微服务架构中的反模式？

Marco De Luca, Domenico Amalfitano, Porfirio Tramontana, Anna Rita Fasolino

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究大型语言模型（LLM）通过提示分析微服务仓库静态制品来检测16种架构反模式的能力，与静态分析工具MARS对比，发现LLM在局部、异构或语义丰富的反模式上表现有竞争力，但在需要结构或跨服务依赖证据时受限，可作为补充工具。

Comments accepted at ICSME 2026

Application of Large Language Models in Automated Question Generation: A Case Study on ChatGLM's Structured Questions for National Teacher Certification Exams

大语言模型在自动问题生成中的应用：以ChatGLM生成国家教师资格考试结构化问题为例

Ling He, Yanxin Chen, Xiaoqiang Hu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究探索ChatGLM在自动生成国家教师资格考试结构化问题中的应用，通过提示工程生成模拟题并与真题对比，专家评估显示其合理性与实用性高，但多标准考量存在局限。

Comments We are withdrawing this version as the submission was made prior to the completion of full internal coordination among all co-authors. To ensure consistency and avoid any potential misinterpretation, we have decided to withdraw the manuscript and leave it archived as a preprint record only

LLM-Based Examination of Eligibility Criteria from Securities Prospectuses at the German Central Bank

基于大语言模型的德国央行证券招股说明书资格标准审查

Serhii Hamotskyi, Akash Kumar Gautam, Christian Hänig

机构 * Anhalt University of Applied Sciences（安哈尔特应用科学大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于大语言模型的生成式信息提取流程，将任务分解为提取、规范化和解释，用于审查证券招股说明书中的资格标准，在文档级资格判断上达到91%的精确率。

Journal ref Proceedings of the 7th Financial Narrative Processing Workshop (FNP 2026) at LREC 2026, pp. 1-10, 2026

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

跨模态对抗扩散：文本、视觉与视觉-语言模型的攻击、防御与评估融合综述

Abrar Alotaibi, Moataz Ahmed

机构 * Information and Computer Science Department, King Fahd University of Petroleum & Minerals（国王法赫德石油矿物大学信息与计算机科学系） ； College of Computer Science and Information Technology, Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学计算机科学与信息科技学院） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum & Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油矿物大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文整合了文本、图像分类器和视觉-语言模型上的对抗攻击与防御研究，提出统一分类法和评估框架，并识别了当前文献中的五个常见弱点。

NegAS: Negative Label Guided Attention and Scoring for Out-of-Distribution Object Detection with Vision-Language Models

NegAS: 基于负标签引导的注意力与评分用于视觉语言模型的分布外目标检测

Yingjie Zhang, Shuai Li, Peng Wang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出NegAS框架，利用负标签引导注意力（NegA）和基于sigmoid的OOD评分函数（NegS），解决VLM检测器中OOD区域利用不足和评分不兼容问题，显著提升OOD检测性能。

Comments Accept to ECCV 2026

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

语言模型组合何时有效？基于67个前沿模型的协同失败上限：路由、投票与多智能体混合

Josef Chen

机构 * KAIKAKU 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究多模型系统（路由、投票、级联等）的准确率上限，发现其增益受限于所有模型同时出错的比率β，而非常用的平均成对误差相关性ρ，并通过67个模型实验验证了β的显著低估。

What We are Missing in Multimodal LLM Evaluation?

我们在多模态大语言模型评估中缺失了什么？

Po-han Li, Shenghui Chen, Sandeep Chinchali, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文分析现有多模态大语言模型评估基准的不足，识别出时空连贯性、物理世界理解、多模态一致性和选择性注意等关键缺失，强调填补这些空白对衡量多模态智能真实进展的重要性。

Benchmarking Open-Weight Foundation Models for Global AI Technical Governance

开源基础模型在全球AI技术治理中的基准测试

Jason Hung

专题命中 评测与基准 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有研究在评估大语言模型地理偏差时的三个方法论局限，本研究使用四个开源前沿模型，基于全球AI数据集v2，通过五类响应分类和混合效应模型，评估模型在不同国家的准确性差异。

Comments 12 pages, 5 figures, 3 tables

A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models

预训练语言模型时代语义角色标注的系统综述

Huiyao Chen, Meishan Zhang, Jing Li, Lilja Øvrelid, Jan Hajič, Hao Fei, Min Zhang

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute (SLAI)（深圳南山区研究院） ； University of Oslo（奥斯陆大学） ； Charles University（查尔斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 提出四维分类法系统综述SRL研究，分析句法特征的作用条件，首次系统处理大语言模型时代的SRL，并扩展至多模态设置。

Comments 54 pages, 9 figures, 9 tables. Accepted at Artificial Intelligence Review

HELIOT: LLM-Based CDSS for Adverse Drug Reaction Management

HELIOT：基于LLM的临床决策支持系统用于不良药物反应管理

Gabriele De Vito, Filomena Ferrucci, Athanasios Angelakis

机构 * Software Engineering (SeSa) Lab University of Salerno（软件工程（SeSa）实验室，萨勒诺大学） ； Amsterdam UMC Locatie AMC Amsterdam, The Netherlands（阿姆斯特丹大学医学中心（AMC）阿姆斯特丹，荷兰） ； Digital Health（数字健康；方法学；阿姆斯特丹公共卫生研究所阿姆斯特丹，荷兰） ； Methodology（阿姆斯特丹大学数据科学中心阿姆斯特丹，荷兰） ； Amsterdam Public Health Research Institute Amsterdam, The Netherlands ； University of Amsterdam Data Science Center Amsterdam, The Netherlands 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HELIOT利用大语言模型处理非结构化临床数据，通过提取药物反应信息和学习患者用药耐受性，减少误报并提升不良药物事件预警的准确性与实用性。

Jailbreaking for the Average Jane: Choosing Optimal Jailbreaks via Bandit Algorithms for Automatically Enhanced Queries

普通人的越狱：通过多臂老虎机算法选择最优越狱以自动增强查询

Prarabdh Shukla, Ritik, Suhas Rao, Arpit Agarwal, Arjun Bhagoji

机构 * Centre for Machine Intelligence and Data Science, IIT Bombay（印度理工学院班加罗尔机器智能与数据科学中心） ； Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于多臂老虎机框架的越狱攻击策略，在线学习最优越狱方法，并构建包含11,279个恶意查询的安全基准FrankensteinBench，实验表明对15个开源LLM平均成功率高达97%。

How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

你的越狱评判有多可靠？自动ASR评分的校准与对抗鲁棒性

Yang Gao

机构 * Veyon Solutions 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 研究评估了LLM越狱攻击成功率（ASR）的自动评判器（安全分类器与LLM评判）的可靠性，发现两者存在相反缺陷，且易受攻击，建议报告评判器的精确率和召回率并校正ASR。

Comments 10 pages, 3 figures, 2 tables, Code: github.com/gy15901580825/judgeflip