语言大模型 / LLM

Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation

编码器足够吗？用于LLM对抗性评估的编码器与解码器安全评判器的系统比较

Han Jeon, Shiv Medler, Joseph Voyles, Matt Wood

机构 * PricewaterhouseCoopers（普华永道） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 系统比较ModernBERT系列编码器分类器与基于LLM的解码器评判器在识别有害LLM输出上的性能，发现编码器可在保持低延迟和低成本的同时接近LLM评判器的效果。

Comments 13 pages, 5 figures, Accepted into ICANN2026

CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes

CrypFormBench：评估大型语言模型在密码方案形式化分析中的能力基准

Zhaoxuan Li, Qionglu Zhang, Hengyuan Liu, Xiaoyan Gu, Xianhui Lu, Hongbo Liu, Bingzheng Wang, Haihui Fan, Ziming Zhao, Rui Zhang, Li Zhou

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 提出CrypFormBench基准，涵盖符号与计算安全，评估LLM在密码方案形式化分析中的五项核心能力，发现模型在生成、转换和修正方面表现有限。

Comments 23 pages, 17 figures, FSE 2026

BrainAgent: A Large Language Model-Driven Multi-Agent Framework for Autonomous Brain Signal Understanding

BrainAgent：一种大语言模型驱动的多智能体框架，用于自主脑信号理解

Yangxuan Zhou, Sha Zhao, Jiquan Wang, Shijian Li, Gang Pan

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出LLM驱动的多智能体框架BrainAgent，通过分层架构将自然语言意图转化为可执行的处理流水线，实现脑信号分析的自动化与民主化。

Comments 22 pages, 11 figures

RAS: Measuring LLM Safety Through Refusal Alignment

RAS: 通过拒绝对齐衡量LLM安全性

Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University ； Hon Hai Research Institute 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出白盒评估方法SafeVec，通过内部表示而非生成答案衡量LLM安全性，计算拒绝对齐分数RAS，实现快速、校准的安全评分。

Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

有益还是有害？通过人类研究评估LLM辅助的漏洞修补

Giulian Biolo, Michael Tezza, Yuanjun Gong, Fabio Massacci

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过人类实验研究LLM辅助漏洞修补的效果，发现其可能加速修补但增加生成不安全代码的风险。

Comments 7 pages, 6 figures

Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge

我是更偏向逐点还是成对？揭示基于评分标准的LLM作为评判者的位置偏差

Yuzheng Xu, Tosho Hirasawa, Tadashi Kozuno, Yoshitaka Ushiku

机构 * OMRON SINIC X ； NexaScience 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究基于评分标准的LLM评估中的位置偏差，发现其类似多项选择，模型倾向于选择特定位置的选项，偏差方向因模型而异，且评分标准顺序也会影响结果。

Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing

解耦侦察与利用：测量基于LLM的Web渗透测试的能力边界

Liwei Yu, Shuo Li, Ming Zhou, Ge Chu, Yan Guo

机构 * University of Science and Technology of China（中国科学技术大学） ； Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州先进研究院） ； Nanjing University of Science and Technology（南京理工大学） ； Research Institute, Runjian Co., Ltd（润杰有限公司研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出解耦评估框架分离侦察与利用阶段，发现LLM代理在准确漏洞上下文下功能成功率可达90.0%，但自主侦察召回率仅约50.0%，揭示了能力差距。

Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines

评判评判者：LLM-as-a-Judge pipelines中偏见缓解策略的系统评估

Sadman Kabir Soumik

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 本文系统评估了LLM-as-a-Judge pipelines中九种偏见缓解策略，发现风格偏见是最主要的偏见类型，且所有模型在扩展对上偏好简洁性，但截断控制能区分质量和长度，表明质量敏感的评估而非单纯长度偏见。

Comments 22 pages, 4 figures. Published in Transactions on Machine Learning Research (2026)

Journal ref Transactions on Machine Learning Research (2026)

LLM Evolution as an Industry-Scale Ecosystem: A Lifecycle Perspective on Continual Learning

LLM演化作为行业规模生态系统：持续学习的生命周期视角

Hao Jiang, Enneng Yang, Guojie Zhu, Yibin Chen, Yunkun Xu, Zifu Kou, Jiayi Li, Chong Chen, Zhao Cao, Li Shen

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Renmin University of China（中国人民大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 从生态系统视角重新定义工业级LLM持续学习为闭环更新与发布问题，识别三大挑战，提出五项生命周期设计原则，并评估其成熟度与部署蓝图。

FlowPipe: LLM-Enhanced Conditional Generative Flow Networks for Data Preparation Pipeline Construction

FlowPipe: 基于条件生成流网络的LLM增强数据准备流水线构建

Kunyu Ni, Lei Cao, Jie He, Xiaotong Zhang, Jianfeng Jin, Junyu Dong, Yanwei Yu

机构 * Ocean University of China（中国海洋大学） ； University of Arizona（亚利桑那大学） ； University of Science and Technology Beijing（北京科技大学） ； Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出FlowPipe框架，利用条件生成流网络（C-GFlowNets）和LLM语义调制，解决数据准备流水线自动构建中的组合优化和稀疏搜索问题，在74个数据集上平均准确率提升11.96%，训练收敛速度提升12.5倍。

Comments Accepted by SIGMOD 2027

An Approach for a Supporting Multi-LLM System for Automated Certification Based on the German IT-Grundschutz

基于德国IT-Grundschutz的自动化认证的多LLM支持系统方法

Lea Roxanne Muth, Marian Margraf

机构 * Department of Mathematics and Computer Science（数学与计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种多LLM系统结合混合RAG的方法，用于半自动化BSI IT-Grundschutz认证，以提高效率、降低成本并应对NIS2指令带来的认证需求增长。

Comments Accepted for publication at the 2025 IEEE International Conference on Cyber Security and Resilience (IEEE CSR), Chania, Crete, Greece, August 4-6, 2025. 8 pages, 2 figures

Epistemic Bias Injection: Manipulating LLM Opinion via Selective Context Retrieval

认知偏见注入：通过选择性上下文检索操纵LLM观点

Hao Wu, Prateek Saxena

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究通过检索增强生成（RAG）数据库注入事实正确但认知偏见的段落，以操纵LLM输出立场，并提出基于几何度量的攻击与防御方法BiasDef。

SafeGen: LLM-Driven Assertion Generation and Fault Criticality Evaluation for Functional Safety

SafeGen: 面向功能安全的LLM驱动断言生成与故障关键性评估

Xuanyi Tan, Arjun Chaudhuri, Rubin Parekhji, Krishnendu Chakrabarty

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SafeGen框架，利用大语言模型和超知识图谱从设计文档提取规范并生成功能安全断言，结合门级到RTL故障映射与形式验证实现故障关键性语义分级，在FOC系统中验证了优于传统方法。

Comments Accepted by DAC 2026

Hengqin-RA-v1: Advanced Large Language Model for Diagnosis and Treatment of Rheumatoid Arthritis with Dataset based Traditional Chinese Medicine

Hengqin-RA-v1: 针对类风湿性关节炎诊断与治疗的先进大语言模型基于传统中医数据集

Yishen Liu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Hengqin-RA-v1，专为中医诊断和治疗类风湿性关节炎设计，结合古籍和现代文献构建的RA数据集，实验显示其性能超越现有模型，甚至在某些情况下超越中医专家。

Comments arXiv admin note: This paper has been withdrawn by arXiv due to unverifiable authorship and affiliation

LLM Performance on a Real, Double-Marked GCSE Benchmark

LLM在真实双评GCSE基准测试中的表现

Malachy Fox, Kavi Samra, Paul Jung

机构 * Medly AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究引入包含32,534份双评真实学生GCSE模拟考试回答的数据集，测试大型语言模型与考官评分的一致性，发现顶级模型比考官之间更一致，为自动化评分提供经济有效的方案。

Closed-Loop Graph Algorithm Execution with Small Language Models: Step Accuracy and Rollout Reliability

使用小型语言模型的闭环图算法执行：步骤准确性与推出可靠性

Michal Podstawski

机构 * NASK National Research Institute（NASK国家研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.LG

AI总结 研究小型语言模型在闭环中执行图算法的能力，发现结构算法可适应可靠，但加权算法对误差累积敏感，强预测不保证可靠执行。

IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages

IndicContextEval：评估8种印度语言音频大语言模型上下文利用能力的基准

Sakshi Joshi, Dhruv Subhash Rathi, Sanskar Singh, Eldho Ittan George, R J Hari, Kaushal Bhogale, Mitesh M. Khapra

机构 * AI4Bharat, Indian Institute of Technology Madras, India（AI4Bharat，印度理工学院马德拉斯分校） ； Sarvam AI, India（Sarvam AI，印度） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；pretraining(abstract)；prompting(abstract)

AI总结 提出IndicContextEval基准，包含8种印度语言555位说话人的56小时自然语音，通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。

Comments Accepted at Interspeech 2026

LLM4MTLs: Automated Generation and Empirical Evaluation of Model Transformation Languages

LLM4MTLs：模型转换语言的自动生成与实证评估

Bowen Jiang, Nathan Hagel, Haowei Cheng, Benedikt Jutz, Arne Lange, Weixing Zhang, Rahul Sharma, Ralf Reussner, Anne Koziolek

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出LLM4MTLs工作流，通过少样本提示、语法提示和辅助方法组合，自动生成并评估LLM编写的模型转换代码，发现少样本提示能提升语法质量但语义改进有限。

A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

多语言语言模型毒性检测与缓解策略综述

Soham Dan, Himanshu Beniwal, Thomas Hartvigsen

机构 * Scale AI ； Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 综述多语言大模型的毒性检测与缓解方法，包括威胁模型、检测方法（跨语言编码器、翻译流水线等）和缓解策略（数据过滤、偏好调优等），指出语言覆盖不均、文化依赖等挑战。

Comments Accepted to the Findings of ACL, 2026

Journal ref Findings of ACL, 2026

Agentic Knowledge Tracing: A Multi-Agent LLM Architecture for Stealth Assessment of Financial Literacy in Serious Games

Agentic知识追踪：用于严肃游戏中金融素养隐形评估的多智能体大语言模型架构

Gabriel Santos, Rita Julia, Marcelo Nascimento

机构 * Federal University of Uberlândia Computer Science Faculty（伯南布哥联邦大学计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出多智能体大语言模型架构Agentic BKT，通过四阶段流程从严肃游戏事件中隐形评估金融素养，实验表明其预测效度显著优于单智能体基线。

Comments 8 pages, 5 figures, IEEE CoG 2026

Evaluating LLMs on Real-World Software Performance Optimization

评估大语言模型在真实软件性能优化中的表现

Ezgi Sarıkayak, Wenchao Gu, Hesham Ghonim, Chunyang Chen

机构 * Siemens AG（西门子公司） ； Technical University of Munich（慕尼黑技术大学） ； Heilbronn, Germany（德国海德堡） ； Munich, Germany（德国慕尼黑） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有基准过度简化性能优化的问题，提出基于102个专家优化的仓库级基准SWE-Pro，评估LLM在运行时、峰值内存和时间加权内存使用上的表现，发现LLM优化效果显著弱于专家。

MacroLens: A Multi-Task Benchmark for Contextual Financial Reasoning under Macroeconomic Scenarios

MacroLens：宏观经济情景下的多任务上下文金融推理基准

Patara Trirat, Jin Myung Kwak, Jay Heo, Heejun Lee, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 针对金融决策中价格、基本面、宏观和文本四信号联合评估的缺失，构建了涵盖4426只美股、七个任务、1130个宏观事件的基准，评估19种方法，揭示上下文特征的重要性。

Comments 25 pages, 3 figures

Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets

计算机使用代理的不确定性量化：跨视觉语言模型和GUI基础数据集的基准测试

Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Intel Labs（英特尔实验室） ； Capital One AI Labs（Capital One AI实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出跨机制基准Argus，评估27种后验不确定性量化方法在4个VLM代理和4个数据集上的表现，发现UQ排名在固定模型内跨数据集稳定，但跨模型类别和接口时下降，隐藏状态和密度方法最稳定。

From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models

从声音到场景：评估大型音频语言模型中上下文感知听觉场景理解的基准

Pengfei Zhang, Hoang H Nguyen, Kazi Shaharair Sharif, Yutong Song, Wenjun Huang, Henry Peng Zou, Pinxin Liu, Honghui Xu, Amir M. Rahmani

机构 * University of California Irvine（加州大学尔湾分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Kennesaw State University（肯尼索州立大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 提出CASU基准，通过构建半合成音频流和设计四项任务，评估大型音频语言模型整合语音、事件和背景环境进行上下文感知听觉场景理解的能力。

FinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming

FFinRED：面向金融大语言模型红队测试的专家引导基准生成与评估框架

Chaeyun Kim, Daeyoung Park, Junghwan Kim, Jinyoung Jeong, Eunji Song, Yongtaek Lim, Minwoo Kim

机构 * DATUMO INC.（DATUMO公司） ； Korea Advanced Institute of Science and Technology (KAIST)（韩国先进科学研究院） ； Financial Security Institute (FSI)（金融安全研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 提出FinRED框架，通过专家引导的两级分类法将全球金融标准映射为威胁，并利用真实金融文档生成上下文丰富的红队行为提示，结合专家验证的评估标准，有效降低关键假阴性。

RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments

RevengeBench: 从行为实验中逆向工程代码空间策略

Babak Rahmani, Sebastian Dziadzio, Joschka Strüber, Sergio Hernández-Gutiérrez, Matthias Bethge

机构 * Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 提出RevengeBench基准，通过行为轨迹和可控实验逆向工程LLM生成的策略代码，验证恢复质量在34-72%之间，并能提升下游对战胜率。

Comments 12 pages, 5 figures, 22 appendix pages

AI translation of literary texts is "fine", but readers still prefer human translations

AI 翻译文学作品“还行”，但读者仍偏好人工翻译

Yves Ferstler, Adam Podoxin, Ty Brassington, Roman Grundkiewicz, Maite Taboada, Marzena Karpinska

机构 * Simon Fraser University（西蒙菲莎大学） ； Université du Québec à Montréal（魁北克大学蒙特利尔分校） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过15位读者对15部法、波、日小说的人工翻译与AI翻译的比较实验，发现AI翻译虽可接受，但读者更偏好人工翻译的流畅性、清晰度和沉浸感，且无法可靠区分两者。

Comments 58 pages, including appendices

GUI agent: Guided Exploration of User-Sensitive Screens

GUI代理：用户敏感屏幕的引导探索

Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

机构 * Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心（慕尼黑）） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一种探索代理，通过系统性地探索查询空间，识别在GUI环境中执行后会导致用户敏感状态的查询，以提升LLM代理的安全性和可靠性。

STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity

STEB：用于评估超越翻译保真度的语音到语音翻译表现力基准

Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出STEB基准，通过描述-总结框架评估语音到语音翻译在情感、场景风格和非语言发声方面的表现力，发现现有系统在语义保真度上表现良好但表现力保留不足。

C3-Bench: A Context-Aware Change Captioning Benchmark

C3-Bench：一种上下文感知的变化描述基准

Jae-Woo Kim, Hyeongbeom Kim, Ue-Hwan Kim

机构 * Gwangju Institute of Science and Technology（光州科学技术院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出C3-Bench基准，包含51种真实变化场景的4996对图像，并首次引入LLM-as-Judge评估框架，揭示现有模型在非训练分布场景下的系统性盲点。

Comments ECCV 2026 Camera-ready version