语言大模型 / LLM

JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models

JailMeter：一种基于证据的大语言模型越狱攻击评估框架

Qingjia Huang, Jingyu Zhang, Jianguo Wu, Yakai Li, Weijuan Zhang, Yankai Rong, Junyi Yao, Shengzhi Zhang, Xiaoqi Jia

专题命中 评测与基准 ：SLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；small language model(abstract)

AI总结 针对大语言模型越狱攻击评估标准和方法不一致的问题，提出基于证据评估框架JailMeter，受信息瓶颈理论启发用双反馈优化过滤噪声，在JailMeter-Eva上评估准确率达97.27%，还提炼出JailMeter\textsubscript{SLM}降低计算成本。

Sound Probabilistic Safety Bounds for Large Language Models

大语言模型的可靠概率安全边界

Mahdi Nazeri, Anne-Kathrin Schmuck, Sadegh Soudjani, Alessandro Abate

机构 * University of Oxford（牛津大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； University of Birmingham（伯明翰大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究提出框架计算大语言模型生成有害输出概率的严格边界，利用克洛普 - 皮尔逊置信区间，通过潜在空间特征优先探索有害分支，能高效计算可靠下界，实验验证方法有效性，为模型评估和认证提供新途径。

Comments The Initial version of this manuscript has been available on OpenReview, see https://openreview.net/forum?id=papImkPLf5

Auditing Retrieval-Augmented LLM Hypotheses for Longitudinal Cell Painting Morphology

纵向细胞绘画形态学的检索增强大语言模型假设审计

Gilchan Park, Guang Zhao, Byung-Jun Yoon, Shinjae Yoo

机构 * Brookhaven National Laboratory（布鲁克海文国家实验室） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对纵向细胞绘画形态学，提出检索增强解释框架，结合多方面证据使LLM生成可审计假设，引入两个定量审计测试，通过实验验证其有效性，产生了可证伪的生物学假设，揭示低剂量率下的适应性表型。

Comments Accepted for publication at ACM BCB 2026. This is the author's version. The definitive Version of Record is available at [https://doi.org/10.1145/3807503.3819448](https://doi.org/10.1145/3807503.3819448)

Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results

基于强化学习的大语言模型从污染检索结果中选择性采用证据

Yanyu Chen, Yue Li, Yongyi Cui, Dongsheng Shi, Lichang Dai

机构 * East China Normal University（华东师范大学） ； Shandong University（山东大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对检索增强大语言模型面临的证据选择问题，引入SelectBench基准和训练集，用DAPO对Qwen3.5 - 4B后训练，在测试集上提升了严格成功率，减少了禁止内容采用，但增益有限，还指出抗注入性和统计稳健性是后续挑战。

LKValues: Aligning Large Language Models with Sri Lankan Societal Values

LKValues：使大语言模型与斯里兰卡社会价值观保持一致

Nethmi Muthugala, Supryadi, Surangika Ranathunga, Nisansa de Silva, Ruijie Tao, Ovindu Gunatunga, Pengyun Zhu, Shaowei Zhang, Jingting Zheng, Deyi Xiong

机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院TJUNLP实验室） ； School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院） ； Department of Computer Science & Engineering, University of Moratuwa（莫拉图瓦大学计算机科学与工程系） ； Johns Hopkins University（约翰霍普金斯大学） ； School of Computing, University of Colombo（科伦坡大学计算机学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究针对大语言模型价值对齐存在西方文化偏见问题，以斯里兰卡为例，提出LKValues资源套件，通过调查得出社会价值观，构建语料库和评估基准，经实验发现其能改善模型表现，为低资源国家价值对齐提供可复制流程。

Comments 37 pages, 10 figures, and 15 tables. Includes appendices. Datasets are available at the project repository

Same Game, Different Story: A Minimal Conservative Strategic Robustness Benchmark for Large Language Model Agents

相同博弈，不同故事：大语言模型智能体的最小保守战略稳健性基准

Seyed Pouyan Mousavi Davoudi, Alireza Amiri-Margavi, Amin Gholami Davodi, Hamidreza Hasani Balyani, Arshia Gharagozlou

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究大语言模型智能体在战略环境中的可靠性，通过“相同博弈，不同故事”基准，以收益不变框架变化下行动分布不变性定义稳健性，经二次分析已发表数据得出社会关系框架会改变模型行为，应分别评估稳健性与能力。

Comments 10 pages

D2VBench: Benchmarking Large Language Models with Value Dilemmas in Daily Scenarios

D2VBench：在日常场景中使用价值困境对大语言模型进行基准测试

Siyi Hao, Yidi Cao, Linhao Yu, Yuqi Ren, Deyi Xiong

机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院TJUNLP实验室） ； The International Joint Institute of Tianjin University（天津大学国际联合研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对大语言模型输出价值含义评估问题，提出D2VBench基准，通过多阶段协作构建含10000个日常困境实例的数据集，采用混合评估范式，对八个主流模型全面评估，结果显示该基准可靠性和鲁棒性高，能反映模型价值一致性。

Comments 22 pages,11 figures

Stateful Guardrails for Multi-Turn LLM Systems: A Conversational Risk Accumulation Framework

多轮大语言模型系统的有状态防护栏：一个对话风险累积框架

Sanjay Mishra, Divya Chukkapalli, Ganesh R. Naik

机构 * College of Medicine and Public Health, Flinders University（弗林德斯大学医学与公共卫生学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究多轮大语言模型系统的对话风险累积问题，提出会话层CRA框架，跟踪三个轨迹信号，提供评分方法，发布多个基准测试集及评估协议，重点在于分布内会话评分，为大语言模型安全防护提供新方法。

Comments 45 pages, 10 figures, 20 tables

MV-Bench: Benchmarking Multimodal Large Language Models for Coordinated Multi-View Interface Construction

MV-Bench：用于协同多视图界面构建的多模态大语言模型基准测试

Yue Zhao, Hongxu Liu, Feiyu Wang, Xiaoyu Yang, Tong Ge, Zhen Yang, Chao Wang, Qiong Zeng

机构 * Shandong Second Medical University（山东第二医科大学） ； Shandong University（山东大学） ； Bairong Inc.（百融云创科技股份有限公司） ； Ke Holdings Inc.（贝壳控股有限公司） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； Shandong Provincial Key Laboratory of Computing-Network Integration, Shandong University（山东大学计算网络融合技术山东省重点实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对多模态大语言模型在协同多视图界面构建评估不足的问题，引入MV-Bench基准，通过多阶段管道转换规范为界面，评估五个模型，发现当前MLLMs虽能再现视觉外观，但在数据语义和交互逻辑生成上有限，迭代改进效果不佳。

Comments Submitted to IEEE VIS 2026

Understanding the Impact of Linguistic Realization Choices on LLM Stance with Causal Tracing

通过因果追踪理解语言实现选择对大语言模型立场的影响

Langchen Huang, Sebastian Padó, Franziska Weeber

机构 * Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究语言结构对大语言模型立场的影响，以政治立场判断为案例，扩展数据集得六种重写类型，通过对四个模型实验及激活修补发现，中晚期解码器层尤其是最终提示位置的块输出，对恢复原立场分布有最强信号。

Comments KONVENS 2026

Information Discernment in Large Language Models

大语言模型中的信息辨别

Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

机构 * University of Michigan（密歇根大学） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在与外部知识源结合时的信息辨别问题，提出Learn2Discern框架及基准，通过用户研究和大量模型试验发现模型在来源和真相辨别上存在问题，识别出简单干预措施，发布数据集和调查作为测试平台。

Context Matters: Improving the Practical Reliability of LLM-Based Unit Test Generation

上下文很重要：提高基于大语言模型的单元测试生成的实际可靠性

Junjie Chen, Ziqi Wang, Lin Yang, Chen Yang, Xiao Chu, Jianyi Zhou, Guangtai Liang, Qianxiang Wang, Dong Wang

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的单元测试生成在实际应用中的问题，提出上下文感知工作流程CATGen，通过明确依赖、稳定框架、静态分析等改进设计，经评估在实际项目和基准测试中提升编译成功率与覆盖率，减少生成时间和消耗。

Comments 23 pages, 5 figures, 7 tables

surprisal is Not a Theory

惊奇值并非一种理论

Andrés Buxó-Lugo, Aniello De Santo, Morgan Grobol, Ryan J. Hubbard, Cassandra L. Jacobs

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究指出惊奇值理论虽被视为计算层面解释，但大语言模型的发展未免除建模者相关表征决策，不加批判使用LLM - 惊奇值会模糊模型承诺，通过分析表明算法和架构选择影响语言模型概率计算，建议相关研究者重新评估概率互换做法。

The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models

可掩码性指数：预测预训练语言模型中的任务目标对齐

Ahmad Pouramini, Mahsa Afsharzadeh

机构 * Sirjan University of Technology（锡尔詹理工大学） ； Department of Computer Engineering（计算机工程系） 纠错

专题命中 评测与基准 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出可掩码性指数（MI），用于评估知识关系适合的提示方式，通过掩码与未掩码模板的DepthRank分数差异计算。在ATOMIC2020基准上评估发现MI与下游生成性能正相关，有助于选择提示模板和策略提取预训练语言模型的关系知识。

Hybrid LLM-Guided Search for Quantum Reservoir Architecture Design

用于量子储层架构设计的混合大语言模型引导搜索

Krishna Bhatia, Gautami Sanjay Naik

机构 * QuantumAI Lab, Fractal Analytics India（量子AI实验室，Fractal Analytics印度） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究量子储层计算架构设计问题，提出基于模拟器的基准测试\method，比较五种策略，其中\hybrid策略表现出色，在多任务中优于随机搜索，证明生成模型嵌入混合搜索循环可作高级控制器。

Comments 4 pages, 2 figures, 3 tables

D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models

D3VL：利用语言模型从3D时间序列数据和视频中理解驾驶场景

Heesang Han, A. Lynn Abbott, Abhijit Sarkar

机构 * Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学布拉德利电气与计算机工程系） ； Virginia Tech Transportation Institute（弗吉尼亚理工大学交通研究所） ； Sanghani Center for Artificial Intelligence and Data Analytics（桑哈尼人工智能与数据分析中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文针对自动驾驶中多模态大语言模型，提出D3VL框架，整合2D和3D时间序列数据，回答交通场景相关问题，在KITTI问答数据集上性能提升11%，并引入Waymo QA数据集扩展以评估模型在多样驾驶条件下处理3D和时间序列数据的能力。

Comments Accepted to IEEE IV 2026

Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation (long version)

减少复杂问答中的幻觉：使用基于简单图的检索增强生成（长版）

Christopher J. Wedge, Joshua Stutter, Danny Dixon, Jacek Cała

机构 * National Innovation Centre for Data（数据创新研究中心） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种轻量级图结构支持的检索增强生成系统，通过结合向量搜索和图查询工具，在复杂问答任务中将幻觉答案数量减半，并显著提升事实正确性的精确率和召回率。

Comments 25 pages; expanded limitations section, corrected typos throughout and missing values in appendix table 1

Towards Automated Formal Verification of zkEVMs Using LLM-Guided Constraint Synthesis

使用大语言模型引导的约束合成实现zkEVM的自动化形式验证

Shichen Huang, Zhenghe Jiang, Yi Jiang, Ling-I Wu, Jingyang Li, Guoqiang Li

专题命中 评测与基准 ：LLM(title,abstract)；prompting(abstract)

AI总结 研究针对zkEVM因实现错误可能破坏加密保证的问题，提出VeriSynth框架，通过大语言模型引导从Rust代码合成验证模型，采用混合范式及集成多种技术处理状态转换，在验证基准上错误检测率超90%，远超基线。

Comments 11 pages

Do Data Agents Need Semantic Metadata? A Comparative Study in Agentic Data Retrieval

智能体需要语义元数据吗？智能体数据检索的比较研究

Shiyu Chen, Tarfah Alrashed, Alon Halevy, Natasha Noy

机构 * Google（谷歌） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过对比基线智能体（搜索开放网络）与语义智能体（利用schema.org元数据）在数据检索中的表现，发现语义元数据在检索可操作数据时精度更高（整体精度高65.7%），而基线智能体覆盖更广但存在“最后一英里效用”失败。

ENTRAP-VL: A Taxonomic Probe for Dual Contextual Entrainment in Vision-Language Models

ENTRAP-VL：视觉语言模型中双上下文夹带的分类探测器

Karan Goyal, Afreen Hossain, Debojyoti Das, Vishal Bhutani

机构 * IIIT Delhi（德里信息技术学院） ； Dr. Ambedkar Institute of Technology（阿姆贝德卡尔技术学院） ； Heritage Institute of Technology（遗产技术学院） ； PwC（普华永道） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉语言模型中上下文夹带现象，提出需构建分类结构化双模态工具。引入ENTRAP-VL数据集，含1500个项目，跨八类，分文本和视觉夹带流，提供工具、分类法及评估协议，助力社区严格研究该现象。

Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents

作为替罪羊的护栏：审计工具增强型大语言模型智能体中不忠实的安全拒绝行为

Aarushi Singh

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究工具增强型大语言模型智能体安全拒绝行为审计问题，引入轻量级黑盒审计框架，将智能体响应分类。实验发现伪造行为占主导，不忠实安全拒绝行为在基线时少，增强安全语言会显著增加该行为，还提出检测方法及治理影响。

Comments 10 pages, 3 figures. Accepted at the ACM KDD 2026 Workshop on Evaluation and Trustworthiness of Agentic AI

Trend strength predicts when generative foundation models win: a power-controlled benchmark, a mechanism, and an actionable selection rule

趋势强度预测生成式基础模型何时获胜：功率控制基准、机制及可操作的选择规则

Ahmed Cherif

机构 * National School of Computer Sciences (ENSI), University of Manouba, Manouba, Tunisia（突尼斯曼努巴大学计算机科学国家学院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究预训练生成式基础模型，通过功率控制研究、受控合成实验等得出结果，表明其优势与趋势强度有关，趋势强度可作为先验指标指导基础模型部署，还记录了校准不足。

Comments 12 pages, 6 figures. Code and per-forecast data released

OLEDLM: A Unified Language Model for OLED Molecular Design

OLEDLM：用于OLED分子设计的统一语言模型

Fukang Wen, Yuchong Tang, Jingyuan Li, Beichen Wang, Yixuan Jiang, Xiaoyi Jiang, Yaxuan Liu, Shunyu Wang, Zuoqiang Shi, Yi Zhu, Yanan Zhu, Pipi Hu

机构 * Tsinghua University（清华大学） ； Beijing Institute of Mathematical Sciences and Applications（北京应用数学科学研究院） ； Wuhan University（武汉大学） ； Shenzhen MSU-BIT University（深圳莫斯科国立大学与北京理工大学联合大学） ； MathonAI Team（MathonAI团队） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 研究针对OLED分子设计面临的挑战，提出基于因果语言模型的逆分子设计框架，采用多阶段策略，经基础模型建立、属性预测器微调、强化学习等，最终能有效探索OLED化学空间，生成新候选物。

Predictive single cell foundation model for gene regulation and aging with privacy-preserving tabular learning

用于基因调控和衰老的具有隐私保护表格学习的预测性单细胞基础模型

Jiayuan Ding, Jianhui Lin, Ziyang Miao, Nils Mechtel, Shiyu Jiang, Yixin Wang, Zhaoyu Fang, Jorge D. Martin-Rufino, Chen Weng, Reuben Saunders, Weize Xu, Jonathan S. Weissman, Min Li, Jiliang Tang, Wei Ouyang, Yuancheng Ryan Lu, Xiaojie Qiu

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对单细胞数据独特表格结构及隐私问题，提出用联邦学习设计的Tabula模型，开发Chiron平台。该模型在下游基准测试表现出色，揭示调控逻辑，提名年轻化因子，推动单细胞基础建模发展，迈向隐私保护虚拟细胞。

Comments 98 pages, 4 main figures, and 15 supplementary figures

Air Quality Arena: A Large-Scale Multi-Region Ground Monitoring Dataset and Benchmark for Air Quality Forecasting with Time-Series Foundation Models

空气质量竞技场：一个大规模多区域地面监测数据集以及基于时间序列基础模型的空气质量预测基准

Rishi Bharadwaj, Manik Gupta, Pandarasamy Arjunan

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对现有空气质量预测基准不足，提出空气质量竞技场（AQA），它是含多国多污染物的数据集及基准。通过在11个模型和基线测试，表明时间序列基础模型是有效零样本预测器，表现最佳的模型采用跨模态架构，AQA已公开发布。

Comments 20 pages

Economic Evaluations of Language Models

语言模型的经济评估

Alexander Wan, Stephane Hatgis-Kessell, Tomás Aguirre, Percy Liang, Rishi Bommasani

机构 * Stanford University（斯坦福大学） ； University of São Paulo（圣保罗大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 研究语言模型在经济价值任务上的表现，通过EconEvals开源套件评估，结合真实用户查询与合成数据，成本低且覆盖度好，还引入暴露度量估计时间节省情况，发现当前模型有潜力但存在使用滞后及隐私等瓶颈，引入基础设施推断其对劳动力市场的影响。

Geometry-Guided Constraint Learning for LLM Safety Classification

用于大语言模型安全分类的几何引导约束学习

Fumiaki Uehara, Koo Imai, Masato Tsutsumi, Keigo Kansa, Sora Usui, Yuki Kobiyama

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全分类，利用稀疏自动编码器特征提取解决安全多面体中约束数量调整问题，在Qwen3.5 - 9B上对部分类别K = 2最优，准确率达96 - 99%，基于几何观点引入锥约束并经三阶段训练稳定。

NEXUS: Structured Runtime Safety for Tool-Using LLM Agents

NEXUS：工具使用型大语言模型智能体的结构化运行时安全

Elias Hossain, Md Mehedi Hasan Nipu, Tasfia Nuzhat Ornee, Rajib Rana, Niloofar Yousefi

机构 * University of Central Florida（中佛罗里达大学） ； North South University（南北大学） ； University of Southern Queensland（南昆士兰大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究工具使用型大语言模型智能体运行时安全问题，提出NEXUS结构化计划安全监控器，结合多种方法进行分级升级。在多个基准测试中表现出色，如合成基准测试F1分数达0.949等，还具有低延迟、低开销特点，相关成果已公开。

On the Systematic Challenges of Culturally Loaded Machine Translation: Dream of the Red Chamber as the Cultural Lens

论文化负载机器翻译的系统性挑战：以《红楼梦》为文化视角

Yiming Wang, Jiayuan Di

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系） ； School of Foreign Languages, East China University of Science and Technology（华东理工大学外国语学院） ； Mejiro University（目白大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究以《红楼梦》构建数据集，系统探究基于大语言模型的机器翻译系统中文化负载翻译的挑战，揭示任务、人工评估及自动评估方面的问题，为文化导向的翻译研究提供见解。

DARWIN: Evolving Jailbreak Adversary and Guardrail for LLM Safety Evaluation and Protection

达尔文：为大语言模型安全评估与保护演化越狱对手及防护措施

Weiwei Qi, Zefeng Wu, Zhilin Guo, Tianhang Zheng, Chaochao Lu, Liang He, Zhan Qin, Kui Ren

专题命中 评测与基准 ：LLM(title,abstract)

AI总结 针对现有大语言模型安全评估与防御方法的静态局限，提出达尔文演化攻击-防御框架，含通过策略发现等扩展能力的达尔文攻击及从新对抗样本中迭代学习的达尔文防护，在攻击成功率和防御召回率上表现出色。