语言大模型 / LLM

Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

模型记住它们违反的内容：多轮LLM构思中的约束遵守

Garvin Kruthof

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨多轮LLM构思中约束遵守问题，通过DriftBench基准发现迭代压力增加结构复杂性但降低约束遵守，模型在记忆与行为上存在脱节，约束违反率高达99%。

FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios

FinSafetyBench：评估LLM在现实金融场景中的安全性

Yutao Hou, Yihan Jiang, Yuhan Xie, Jian Yang, Liwen Zhang, Hailiang Huang, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Beihang University（北航） ； Southern University of Science and Technology（南方科技大学） ； MoE Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济学交叉学科研究重点实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出FinSafetyBench，一个双语红队基准，用于测试LLM对违反金融合规请求的拒绝能力，揭示了对抗性提示绕过合规保障的关键漏洞及中文环境下更严重的易受攻击性。

Comments Accepted by Findings of ACL2026

ReLay: Personalized LLM-Generated Plain-Language Summaries for Better Understanding, but at What Cost?

ReLay：为更好的理解而定制的LLM生成的通俗摘要，但代价是什么？

Joey Chan, Yikun Han, Jingyuan Chen, Samuel Fang, Lauren D. Gryboski, Alexandra Lee, Sheel Tanna, Qingqing Zhu, Zhiyong Lu, Lucy Lu Wang, Yue Guo

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Virginia（弗吉尼亚大学） ； University of Colorado Anschutz（科罗拉多大学安舒茨分校） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Chicago Pritzker School of Medicine（芝加哥大学普ritzker法学院） ； National Library of Medicine, National Institutes of Health（国家医学图书馆，国家卫生研究院） ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ReLay研究通过评估五种LLM在两种个性化方法中的表现，探讨了个性化通俗摘要对理解提升与安全性的平衡问题。

Social Bias in LLM-Generated Code: Benchmark and Mitigation

LLM生成代码中的社会偏见：基准测试与缓解

Fazle Rabbi, Lin Ling, Song Wang, Jinqiu Yang

机构 * Concordia University（康科德大学） ； Lassonde School of Engineering, York University（York大学工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究LLM生成代码中的社会偏见问题，通过SocialBias-Bench基准测试发现四种主流模型存在严重偏见，提出Fairness Monitor Agent (FMA)有效降低偏见并提升代码正确性。

ARMOR 2025: A Military-Aligned Benchmark for Evaluating Large Language Model Safety Beyond Civilian Contexts

ARMOR 2025：一种评估大语言模型安全性的军事对齐基准，超越民用情境

Sydney Johns, Heng Jin, Chaoyu Zhang, Y. Thomas Hou, Wenjing Lou

机构 * Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 本文提出ARMOR 2025基准，基于军事 doctrine 提出安全评估方法，通过12类分类和519个军事相关提示，评估21种商业LLM在军事应用中的安全对齐问题。

Exploring Applications of Transfer-State Large Language Models: Cognitive Profiling and Socratic AI Tutoring

探索迁移态大型语言模型的应用：认知画像与苏格拉底式AI辅导

Minori Noguchi

机构 * Hitachi High-Tech Corporation（日立高新技术公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 本文探讨迁移态LLM在认知画像和苏格拉底式AI辅导中的应用，通过初步调查和实验发现迁移态在辅导表现指标上显著优于非迁移态，提出迁移态作为操作性状态的实用价值。

Comments 29 pages, 5 figures, 7 tables, including appendices

ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

ExCyTIn-Bench：评估LLM代理在网络安全调查中的表现

Yiran Wu, Mauricio Velazco, Andrew Zhao, Manuel Raúl Meléndez Luján, Srisuma Movva, Yogesh K Roy, Quang Nguyen, Roberto Rodriguez, Qingyun Wu, Michael Albada, Julia Kiseleva, Anand Mudgerikar

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Microsoft Security AI Research（微软安全AI研究） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 ExCyTIn-Bench是首个评估LLM代理在网络安全调查任务中的基准，通过从调查图中生成的安全问题进行测试。该基准利用Azure租户中的SQL环境和Microsoft Sentinel日志构建威胁调查图，并生成问题以评估LLM代理的能力。

Comments Accepted By ICML 2026

Generating Statistical Charts with Validation-Driven LLM Workflows

通过验证驱动的LLM工作流生成统计图表

Pavlin G. Poličar, Andraž Pevcin, Blaž Zupan

机构 * University of Ljubljana Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出一种结构化的LLM工作流，通过验证输出来生成多样且易读的统计图表，解决可视化特有的失败模式，如可读性和语义不匹配。

Sentra-Guard: A Real-Time Multilingual Defense Against Adversarial LLM Prompts

Sentra-Guard：一种实时多语言对抗对抗性LLM提示的防御系统

Md. Mehedi Hasan, Sk Tanzir Mehedi, Ziaur Rahman, Rafid Mostafiz, Md. Abir Hossain

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Sentra-Guard通过混合架构和分类器-检索器融合模块，实时检测并缓解针对大语言模型的劫持和提示注入攻击，实现多语言鲁棒性与高检测率。

Comments 11 pages, 5 figures. Preprint version under review in the area of Artificial Intelligence (cs.AI)

TADI: Tool-Augmented Drilling Intelligence via Agentic LLM Orchestration over Heterogeneous Wellsite Data

TADI：通过异构钻井现场数据的代理LLM编排实现工具增强的钻井智能

Rong Lu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TADI通过代理LLM编排整合钻井数据，实现证据驱动的分析智能，展示了领域专用工具设计对分析质量的关键作用。

CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend

CUJBench：跨模态故障诊断的LLM-代理基准测试

Haoming Meng

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 CUJBench是首个结合浏览器可见故障证据与后端可观测性的跨模态故障诊断基准测试，通过LLM辅助生成管道降低标注成本，评估六种前沿模型发现跨模态综合是主要瓶颈。

Comments 10 pages, 1 figure; updated source code url

Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks

理解人与大语言模型的动态：关于大语言模型在编程任务中应用的文献综述

Deborah Etsenake, Meiyappan Nagappan

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文综述了大语言模型在编程任务中的应用，分析了用户与LLM的交互行为、LLM的优缺点以及影响人类和任务表现的因素，揭示了人与LLM交互的非确定性特性。

Comments Revised version: Corrected citation errors in the Learning Check subsection (Section RQ2), updated the RQ2 summary to more accurately reflect the mixed results in the data, and added clarifying notes on implementation structure as a moderating variable for learning outcomes. 16 pages, 8 tables, 2 figures

Bias in Large Language Models: Origin, Evaluation, and Mitigation

大型语言模型中的偏差：起源、评估与缓解

Yufei Guo, Muzhe Guo, Juntao Su, Zhou Yang, Mengqiu Zhu, Hongfei Li, Mengyang Qiu, Shuo Shuo Liu

机构 * Department of Statistics, George Washington University（乔治华盛顿大学统计学系） ； University of Connecticut（康奈尔大学） ； Saint Elizabeth University（圣艾利泽大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了大型语言模型中偏差的起源、评估方法及缓解策略，分析了内在与外在偏差在NLP任务中的表现，并讨论了伦理和法律影响，旨在推动公平和负责任的AI发展。

ML-Bench&Guard: Policy-Grounded Multilingual Safety Benchmark and Guardrail for Large Language Models

ML-Bench&Guard: 政策导向的多语言安全基准与大型语言模型的防护机制

Yunhan Zhao, Zhaorun Chen, Xingjun Ma, Yu-Gang Jiang, Bo Li

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Fudan University（复旦大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出ML-Bench和ML-Guard，通过区域法规构建多语言安全基准，并开发基于扩散模型的防护系统，实现文化与法律一致的多语言安全评估。

SC-Taxo: Hierarchical Taxonomy Generation under Semantic Consistency Constraints using Large Language Models

SC-Taxo：基于语义一致性约束的层次化分类生成方法

Shiqiang Cai, Nianhong Niu, Shizhu He, Kang Liu, Jun Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Science and Technology Beijing（北京科技大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出SC-Taxo框架，利用大语言模型和层次化优化机制，解决现有分类生成方法在结构一致性和语义对齐上的不足，提升分类体系的层次性和准确性。

Comments 12 pages, 5 figures, 2 tables

Beyond Suffixes: Token Position in GCG Adversarial Attacks on Large Language Models

超越后缀：在大语言模型对抗攻击中的标记位置

Hicham Eddoubi, Umar Faruk Abdullahi, Fadi Hassan

机构 * University of Cagliari（卡利里大学） ； Sapienza University of Rome（罗马大学） ； Huawei Technologies Finland Research Center（芬兰华为技术研究中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 研究探讨了在大语言模型对抗攻击中，标记位置对攻击成功率的影响，指出在Greedy Coordinate Gradient攻击中，优化攻击生成前缀而非后缀以及调整对抗标记位置对攻击效果有显著影响。

Comments 12 pages, 10 figures, presented at the "I Can't Believe It's Not Better" workshop at ICLR 2026

How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

前沿大语言模型如何适应神经多样性上下文：一种测量框架，用于系统提示响应中的表面变化与结构变化

Ishan Gupta, Pavlo Buryi

机构 * Harrisburg University of Science and Technology（哈里斯堡科学与技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NDBench基准，通过不同系统提示类型和神经多样性配置，研究前沿LLM在神经多样性上下文下的适应性变化，发现结构变化显著，但单一神经多样性角色声明无法有效抑制潜在有害倾向。

Comments 15 pages, 3 figures, 2 tables. Benchmark, code, and data available at https://github.com/ishansgupta/ndbench

SCAN: Structured Capability Assessment and Navigation for LLMs

SCAN：面向大语言模型的结构化能力评估与导航

Zongqi Wang, Tianle Gu, Chen Gong, Xin Tian, Siqi Bao, Yujiu Yang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； School of Cyber Engineering, Xidian University（西安电子科技大学电子工程学院） ； Baidu, Inc（百度公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出SCAN框架，通过细粒度评估实现对LLM能力的深入分析，揭示了同一类别下不同子能力的显著性能差异，强调了细粒度评估的重要性。

Comments Accepted by ACL 2026 Main

Game-Time: Evaluating Temporal Dynamics in Spoken Language Models

Game-Time：评估口语语言模型中的时间动态

Kai-Wei Chang, En-Pei Hu, Chun-Yi Kuan, Wenze Ren, Wei-Chih Chen, Guan-Ting Lin, Yu Tsao, Shao-Hua Sun, Hung-yi Lee, James Glass

机构 * Massachusetts Institute of Technology, USA（麻省理工学院） ； National Taiwan University（台湾国立台湾大学） ； Academia Sinica（台湾“ Academia Sinica”） ； NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立清华大学人工智能研究中心卓越研究中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Game-Time基准测试，用于评估口语语言模型在时间动态方面的能力，发现现有模型在时间约束下表现不佳，揭示了时间感知和全双工交互的不足。

Comments Accepted to ICASSP 2026

BanglaSocialBench: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

BanglaSocialBench: 一个评估大语言模型在孟加拉社会互动中社会语用和文化对齐的基准

Tanvir Ahmed Sijan, S. M Golam Rifat, Pankaj Chowdhury Partha, Md. Tanjeed Islam, Md. Musfique Anwar

机构 * Jahangirnagar University（贾亨吉尔纳加尔大学） ； Rajshahi University of Engineering & Technology（拉贾沙希工程与技术大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出BanglaSocialBench，通过情境依赖的语言使用评估孟加拉语的社会语用能力，发现当前LLM在文化对齐上存在系统性偏差。

Comments Accepted at ACL SRW 2026

Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants

构建、评判与优化：多智能体消费者助手持续改进的蓝图

Alejandro Breen Herrera, Aayush Sheth, Steven G. Xu, Zhucheng Zhan, Charles Wright, Marcus Yearwood, Hongtai Wei, Sudeep Das, Danny Nightingale, Meg Watson, Charles Pollnow

机构 * Metis ； DoorDash 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出评估和优化对话购物助手的实用蓝图，通过生产级AI杂货助手示例，介绍多维评估标准和校准的LLM评判流程，并提出两种互补的提示优化策略。

WildfireVLM: AI-powered Analysis for Early Wildfire Detection and Risk Assessment Using Satellite Imagery

WildfireVLM：基于卫星影像的AI分析用于早期野火检测与风险评估

Aydin Ayanzadeh, Prakhar Dixit, Sadia Kamal, Milton Halem

机构 * Department of Computer Science and Electrical Engineering（计算机科学与电气工程系） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 WildfireVLM结合卫星影像检测与语言驱动的风险评估，利用YOLOv12检测火区与烟雾，并通过多模态大语言模型生成风险评估和应急响应建议，验证其有效性并实现实时处理与长期追踪。

CaTS-Bench: Can Language Models Describe Time Series?

CaTS-Bench：语言模型能否描述时间序列？

Luca Zhou, Pratham Yashwante, Marshall Fisher, Alessio Sampieri, Zihao Zhou, Fabio Galasso, Rose Yu

机构 * Sapienza University of Rome（罗马大学） ； UC San Diego（圣地亚哥大学） ； ItalAI Labs（意大利AI实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CaTS-Bench，一个涵盖11个领域的时间序列推理基准，通过1746个人工重写描述进行评估，揭示语言模型在时间序列描述中的不足，并提出合成数据生成方法以提升性能。

Comments 9 pages, 6 figures, 4 tables in the main paper. Many more in the appendix

Negative Data Mining for Contrastive Learning in Dense Retrieval at IKEA.com

密集检索中对比学习的负样本挖掘

Eva Agapaki, Amritpal Singh Gill

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 本文提出基于结构化负样本策略和LLM评估方法提升IKEA产品检索，通过生成语义挑战性负样本和训练数据生成，提升检索性能，但发现在线用户参与度无显著差异。

SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning

SAHM：阿拉伯语金融与伊斯兰合规推理的基准

Rania Elbadry, Sarfraz Ahmad, Ahmed Heakl, Dani Bouch, Momina Ahsan, Muhra AlMahri, Marwa Elsaid khalil, Yuxia Wang, Salem Lahlou, Sophia Ananiadou, Veselin Stoyanov, Jimin Huang, Xueqing Peng, Preslav Nakov, Zhuohan Xie

机构 * MBZUAI ； INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT，索菲亚大学"圣克莱门特·欧赫里迪斯"） ； The University of Manchester（曼彻斯特大学） ； The Fin AI（Fin AI） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SAHM基准，涵盖七个任务，包含14380个专家验证实例，评估20个LLM发现阿拉伯语流畅性不等于金融推理能力，特别是在事件因果推理上存在显著差距。

Comments 29 page

Journal ref ACL 2026

Investigating Notable Metadata Practices in PyPI Libraries: An Empirical Study about Repository and Donation Platform URLs

对PyPI库中显著元数据实践的调查：关于仓库和捐赠平台网址的实证研究

Alexandros Tsakpinis, Nicolas Raube, Alexander Pretschner

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 本研究通过大规模定性调查数据，分析PyPI库中仓库和捐赠平台链接的缺失或过时问题，揭示其背后的原因，并评估基于LLM的主题建模方法的鲁棒性和质量。

Comments 20 pages, 4 tables, 1 figure

Empowering Heterogeneous Graph Foundation Models via Decoupled Relation Alignment

通过解耦关系对齐增强异质图基础模型

Ziyu Zheng, Yaming Yang, Zhe Wang, Ziyu Guan, Wei Zhao

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出DRSA方法，通过解耦特征语义与关系结构，解决异质图中跨类型特征偏移和领域内关系缺口问题，提升跨域和少样本知识迁移能力。

Revisiting CroPA: A Reproducibility Study and Enhancements for Cross-Prompt Adversarial Transferability in Vision-Language Models

重新审视CroPA：面向视觉-语言模型跨提示对抗转移性的可重复性研究与改进

Atharv Mittal, Agam Pandey, Amritanshu Tiwari, Sukrit Jindal, Swadesh Swain

机构 * Mehta Family School of Data Science and Artificial Intelligence（梅hta家族数据科学与人工智能学院） ； Indian Institute of Technology, Roorkee（印度理工学院罗奥克学院） ； Department of Civil Engineering（土木工程系） ； Department of Electronics and Communication（电子与通信系） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 本文重新审视CroPA，验证其跨提示转移性，并提出改进方法，包括新的初始化策略、跨图像迁移性研究及针对视觉编码器的损失函数，提升对抗有效性。

Comments Accepted to MLRC 2025

Journal ref Transactions on Machine Learning Research (TMLR), 2025. Available at OpenReview: https://openreview.net/forum?id=5L90cl0xtf

SynQuE: Estimating Synthetic Dataset Quality Without Annotations

SynQuE：无需标注即可估计合成数据集质量

Arthur Chen, Victor Zhong

机构 * David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出SynQuE问题，通过有限未标注真实数据对合成数据集进行排序，以提升实际任务性能。引入首个综合基准，提出LENS等代理指标，显著提升复杂任务性能。

Comments Our code and dataset are available here: https://github.com/r2llab/SynQuE

How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

语言模型如何处理分布外输入：一种双路径框架

Hamidreza Saghir

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：language model(title)；分类 cs.CL、cs.LG

AI总结 本文提出双路径框架以识别真实分布外信号，通过嵌入和处理轨迹分析不同OoD类型，展示嵌入路径在词汇区分上的优势，轨迹特征在隐含意图检测中的有效性。

Comments 30 pages, 3 figures, 30+ tables. Submitted to COLM 2026