语言大模型 / LLM

Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

可能还是确定？评估临床文本中诊断不确定性保留的基准

Hongbo Du, Zixin Lu, Jiaming Qu

机构 * Trine University（特里尼大学） ； University of Michigan（密歇根大学） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 构建包含9184个不确定性标注的基准，评估LLM在临床文本中保留诊断不确定性的能力，发现LLM保留原始不确定性线索不足一半，且难以区分相邻级别。

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

评估开源大语言模型在CTI报告上的多标签ATT&CK技术分类

Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

机构 * The University of Dhaka（达卡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对开源LLM在复杂非结构化CTI报告上的ATT&CK分类性能未被评估的问题，构建了2076句人工标注数据集，评估7个开源LLM，最高F1为0.22，表明当前模型不足以用于生产。

Agentic AI-based Framework for Mitigating Premature Diagnostic Handoff and Silent Hallucination in Healthcare Applications

基于Agentic AI的框架：缓解医疗应用中的过早诊断交接和无声幻觉

Divyansh Srivastava, Shreya Ghosh, Anshul Verma, Rajkumar Buyya

机构 * Distributed Systems (qCLOUDS) Lab, School of Computing ； Information Systems, The University of Melbourne, Australia ； 2Department of Computer Science ； Engineering, School of Electrical ； Computer Sciences (SECS), Indian Institute of Technology Bhubaneswar, India ； 3Department of Computer Science Banaras Hindu University, Varanasi, India 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出多智能体框架，通过确定性编排约束和两个安全机制（神经符号状态跟踪门和语义熵不确定性量化门）解决LLM在医疗对话中的过早诊断交接和无声幻觉问题，诊断精度提升11.3个百分点。

Cluster-Aware Dual-Level Test Specification Generation for Large-Scale Automotive Software Requirements

面向大规模汽车软件需求的集群感知双层测试规格生成

Hazem Ayman, Menna Sedik, Kareem Mostafa, Mahmoud Soliman, Samer Saber, Ibrahim Habib

机构 * CairoMotive Cairo, Egypt（开罗动力埃及） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种“先聚类后总结”流水线，通过嵌入、降维、聚类、多级摘要和双层测试生成，解决大规模需求下LLM处理依赖缺失和上下文窗口限制问题，提升集成测试覆盖率并高效扩展。

Data-Centric Benchmarking of Exploit Generation in LLMs: Understanding the Impact of Fine-Tuning

数据为中心的LLM漏洞利用生成基准测试：理解微调的影响

Yiwei Chen, Lichi Li, Kai Cheung, Vinny Parla, Ganesh Sundaram

机构 * Cisco Systems, Inc.（思科系统公司） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 采用数据驱动方法，构建高质量数据集并设计评估框架，对17个大语言模型进行零样本漏洞利用生成能力基准测试，发现8B开源模型经微调后性能提升超42.5%，接近部分商业模型。

Comments Technical Report

ReportQA: QA-Based Radiology Report Evaluation

ReportQA: 基于问答的放射学报告评估

Yiming Shi, Shaoshuai Yang, Xi Chen, Haolin Li, Hengyu Zhang, Che Jiang, Kaiwen Wang, Xun Zhu, Dong Xie, Fei Wang, Dejing Dou, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； Beijing Electronic Digital & Intelligence（北京电子数字与智能） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ReportQA框架，利用知识树和LLM从报告中提取结构化信息生成QA对，以问答准确率作为评估指标，比现有指标更符合放射科医生判断。

SemPiper: Interactive Code Synthesis for Semantic Operators in Machine Learning Pipelines

SemPiper：机器学习流水线中语义算子的交互式代码合成

Olga Ovcharenko, Luciano Duarte, Sebastian Schelter

机构 * BIFOLD & TU Berlin（BIFOLD 与柏林工业大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出SemPipes编程模型，通过声明式语义算子和LLM合成专用实现，结合Python代码，实现可控、可优化的ML流水线开发。

Comments Accepted at VLDB 2026 (Demonstrations track)

FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories

FactoryLLM：用于评估智能工厂中大语言模型的安全开源AI实验场

Yash Pulse, Yong-Bin Kang, Abhik Banerjee, Abdur Forkan, Prem Prakash Jayaraman

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FactoryLLM，一个安全开源的AI实验场，通过多机器文档分析评估基于RAG的大语言模型，采用RAGAS和NVIDIA LLM-as-a-Judge双评估机制，案例验证了跨机器文档推理的有效性。

Comments 6 pages, 3 figures, IEEE INDIN 2026

RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

RogueAI: 一种用于检测对话中授权AI欺骗的逆向图灵测试

Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi

机构 * AILab, MIGe, University of Trieste（的里雅斯特大学） ； Computational Statistics and Machine Learning, Istituto Italiano di Tecnologia（意大利理工学院） ； DIA, University of Trieste（的里雅斯特大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出RogueAI，一种通过玩家与两个LLM代理的对话游戏来检测授权欺骗的逆向图灵测试，并引入AutoRogueAI扩展。实验发现简单启发式方法准确率75.6%，而人类仅56.6%，表明人类忽略关键信号。

Prefill Awareness in Large Language Models

大型语言模型中的预填充感知

Andy Wang, Parv Mahajan, David Demitri Africa, Alexandra Souly, Jordan Taylor, Robert Kirk

机构 * Constellation University of Wisconsin-Madison（威斯康星大学麦迪逊分校星座研究所） ； Constellation Georgia Institute of Technology（佐治亚理工学院星座研究所） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 研究大型语言模型能否识别并响应其助手消息被预填充或篡改，发现前沿模型具有显著预填充感知能力，可能影响安全评估方法。

Comments Submitted to NeurIPS 2026

Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs

我们的模型建立在哪些模型之上？审计现代LLM中的隐形依赖

Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

机构 * University of California, Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 本文提出ModSleuth系统，通过递归重建LLM依赖图，揭示多跳许可义务、训练-评估耦合等隐藏依赖问题，并发布工具和依赖图以支持透明分析。

MSUE: Multi-Modal Soccer Understanding Expert

MSUE：多模态足球理解专家

Litao Li, Yibo Yu, Yufeng Hu, Zhuo Yang, Jiali Wen, Yixin Chen, Yixi Zhou

机构 * South China University of Technology（华南理工大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MSUE多专家问答架构，结合VLM数据合成管道与LLM动态调度文本、图像、视频专家，在SoccerNet VQA挑战中达到0.95准确率，获第三名。

Comments 6 pages, 1 figures

ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity

ABC-Bench：生物安全的主体生物能力基准

Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe

机构 * Andrew Bo Liu（安德鲁·刘） ； Samira Nedungadi（萨米拉·纳杜加迪） ； Bryce Cai（布莱斯·凯） ； Alex Kleinman（亚历克斯·克莱因曼） ； Harmon Bhasin（哈蒙·巴辛） ； Seth Donoughe（塞斯·多诺赫） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ABC-Bench基准，评估LLM主体在生物安全相关任务上的能力，包括液体处理机器人编程、DNA片段设计和合成筛选规避，所有测试主体均优于人类专家基线。

Comments 18 pages. To be published in ICML 2026

Benchmarking and Exploring the Capabilities of LLMs for Attack Investigations

基准测试与探索LLM在攻击调查中的能力

Aniket Anand, Yiwei Hou, Daniel Fields, Alex Kantchelian, David Tao, Kurt Thomas, Grant Ho

机构 * University of Chicago（芝加哥大学） ； University of California, Berkeley（加州大学伯克利分校） ； Google（谷歌） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 提出AuditBench基准数据集，评估LLM在安全审计日志分析中的性能，涵盖四种常见调查任务，揭示模型在不同设计选择下的表现差异与错误类型。

IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts

IDP-Bench：评估大语言模型在相互依赖隐私上下文中保护个人信息能力的基准

Ayana Hussain, Soumya Sharma, Golnoosh Farnadi, Nicholas Vincent, Héber Hwang Arcolezi, Ulrich Aïvodji

机构 * Simon Fraser University（西蒙弗雷泽大学） ； McGill University（麦吉尔大学） ； Mila（Mila研究所） ； ÉTS 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出IDP-Bench，首个基于情境完整性框架的LLM相互依赖隐私基准，评估8个开源模型在三个推理层次上的表现，发现模型在识别CI参数和IDP特定参数方面存在弱点。

Mind the Gap: Bridging Behavioral Silos with LLMs in Multi-Vertical Recommendations

注意差距：用LLM弥合多垂直领域推荐中的行为孤岛

Nimesh Sinha, Raghav Saboo, Martin Wang, Sudeep Das

机构 * DoorDash Inc.（DoorDash公司） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用LLM从数据丰富垂直领域（如餐厅）向稀疏领域（如杂货）迁移知识的框架，通过分层RAG生成多级特征，集成到MTL排序模型，显著提升新兴业务个性化与参与度。

ProTAGAD: A Foundation Model for TAG Anomaly Detection with Decoupled Topological and Textual Prototypes

ProTAGAD：一种用于文本属性图异常检测的基础模型，具有解耦的拓扑和文本原型

Ziyan Wang, Liwen Wu, Cheng Xie, Song Gao, Zhenli He, Xin Jin

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ProTAGAD基础模型，通过解耦拓扑与文本原型构建双原型库，缓解传统方法的异常边界模糊问题，在14个基准数据集的跨域场景中实现最先进TAG异常检测性能。

CorePath: A Breast-Specialized Pathology Foundation Model for Core Needle Biopsy Diagnosis and Risk-Controlled Report Generation

CorePath：用于核心针活检诊断和风险可控报告生成的乳腺专用病理基础模型

Ting Yin, Danning Li, Chen Shu, Xiaoxia Yao, Boyu Fu, Yujing Chang, Tianyu Shi, Mengna Feng, Jie Chen, Jing Fu, Xiuli Xiao, Tianlin Li, Mumin Shao, Jiaxin Bi, Wenchuan Zhang, Xiaoyan Wu, Xiao Han, Zhang Zhang, Yuhao Yi, Hong Bu

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究开发乳腺专用病理基础模型CorePath，经7901对数据微调后，在多队列及基准上的CNB诊断任务中性能优于现有模型，结合风险控制模块实现低幻觉的可靠报告生成。

Comments The code will be made publicly available upon publication

To Add Is Machine, To Delete Is Human: Measuring and Mitigating Deletion Avoidance in LLM Code Editing

添加是机器，删除是人类：测量和缓解大语言模型代码编辑中的删除回避问题

Amir M. Ebrahimi, Mohammed Mehedi Hasan, Aaditya Bhatia, Gopi Krishnan Rajbahadur, Ahmed E. Hassan

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究针对大语言模型代码编辑中的删除回避问题，通过SWE-bench Verified等基准测量其表现，发现后期训练中加入删除相关训练可缓解该问题并提升代码编辑性能。

Beyond Scale and Generation: Understanding Language Model-based Entity Matching

超越规模和生成：理解基于语言模型的实体匹配

Zeyu Zhang, Xue Li, Iacer Calixto, Paul Groth, Sebastian Schelter

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究基于语言模型的实体匹配，通过控制因子研究Qwen3家族的多种架构、变体和大小，评估跨数据集可迁移性与计算成本，明确模型变体对双编码器的关键作用，以及不同匹配器架构性能差异因素，推动相关研究与基准设计发展。

Comments 12 pages, 6 figures, 7 tables. Preprint. Under review

Gubernaut: A Deterministic Homeostatic Controller for Affect-Regulated LLM Agents, Validated Across Independent Model Families

Gubernaut：用于情感调节的大语言模型代理的确定性稳态控制器，在独立模型家族中得到验证

Dushyant Sharma

机构 * Gubernaut Research（Gubernaut研究） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型代理的故障模式，提出Gubernaut认知控制器，通过在四个前沿模型上预注册的评估协议验证，该控制器能使模型更平静，有恢复特征等机制，附带可重判记录及预注册故障模式。

Comments 26 pages, 7 figures, 3 tables. Data, transcripts, and analysis scripts: https://github.com/thegubernaut/Gubernaut_Validation Project page: https://gubernaut.com (archived at https://doi.org/10.5281/zenodo.21303518)

The Illusion of Secure LLM Code: Closing the Security Gap via Iterative Reprompting

安全大语言模型代码的幻觉：通过迭代重新提示缩小安全差距

Ishpuneet Singh, Shreyas Mahajan, Gurjot Singh, Maninder Singh

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究大语言模型集成到软件开发中自主生成安全认证代码的能力，通过双模式评估框架结合四种提示策略评估五个AI编码助手，发现当前助手不能默认生成安全应用，企业部署需转向持续、标准驱动的验证管道。

The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models

可掩码性指数：预测预训练语言模型中的任务目标对齐

Ahmad Pouramini, Mahsa Afsharzadeh

机构 * Sirjan University of Technology（锡尔詹理工大学） ； Department of Computer Engineering（计算机工程系） 纠错

专题命中 评测与基准 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出可掩码性指数（MI），用于评估知识关系适合的提示方式，通过掩码与未掩码模板的DepthRank分数差异计算。在ATOMIC2020基准上评估发现MI与下游生成性能正相关，有助于选择提示模板和策略提取预训练语言模型的关系知识。

HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers

HALLMARK：诊断大语言模型引用验证器中的三种失败模式

Patrik Reizinger, Wieland Brendel

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型引用验证器的失败模式，通过HALLMARK基准测试评估多种验证器，发现误报率决定验证器是否可部署，并具体指出三种失败模式，强调误报率是部署瓶颈，未检测到的伪造对科学记录代价更高。

Comments 59 pages, 7 figures, 40 tables. Benchmark and code: https://github.com/rpatrik96/hallmark (v1.2.0); verification tool: https://github.com/rpatrik96/bibtexupdater (v1.5.0)

Harness Engineering for LLM-Driven GPU Kernel Generation

用于大语言模型驱动的GPU内核生成的工具工程

Yue Shui, Chenyu Ma, Hangfei Xu, Shengzhao Wen, Yanpeng Wang

机构 * Baidu, Inc.（百度公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 在MLSys 2026 FlashInfer竞赛中，针对NVIDIA Blackwell B200 GPU，提出以工具为中心的大语言模型驱动的GPU内核优化系统，分离评估工具与优化控制器，利用Codex等生成候选内核，实验显示优化后平均延迟加速显著，且代理辅助内核效果更佳。

Comments 24 pages, 6 figures. Extended technical report on our submission to the MLSys 2026 FlashInfer AI Kernel Generation Contest. Code: https://github.com/syhya/mlsys26-flashinfer-contest

RAIL Guard: Closing the Evaluation-to-Remediation Gap in Responsible AI for LLM Agents

RAIL Guard：弥合大语言模型智能体负责任人工智能中评估与修复的差距

Sumit Verma, Pritam Prasun, Pritish Kumar

机构 * Responsible AI Labs（负责任人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型智能体评估与修复差距问题，提出RAIL Guard闭环负责任人工智能管道，在多维度评估输出并迭代修复。实验表明其闭环修复收敛率高，能减少不安全执行，还区分了可修复与结构维度问题，系统开源。

Comments 15 pages, 10 figures, 4 tables. Code: https://github.com/Responsible-AI-Labs/rail-score-sdk (Python). Benchmark: https://huggingface.co/datasets/responsible-ai-labs/rail-guard-benchmark

Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs

只需持续提示：评估视觉语言模型中的重复苏格拉底式提示

Shayda Moezzi, Bishoy Galoaa, Lorena Genua, Taskin Padir, Sarah Ostadabbas

机构 * Northeastern University（东北大学） 纠错

专题命中 评测与基准 ：prompting(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉语言模型在反复提示下的稳定性，引入JKP多轮评估框架，用三种策略对模型提问，在STAR基准子集上评估GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B，发现重复提示利弊兼具且因模型而异，揭示了模型压力反应概况。

NRITYAM: Language Models Meet Art and Heritage of Dance

NRITYAM：语言模型遇见舞蹈的艺术与遗产

Punit Kumar Singh, Niladri Ghosh, Advait Joshiınst, Shailee Choudhary, Michael Färber, Haiqin Yang

机构 * Shenzhen Technology University（深圳技术大学） ； New Delhi Institute of Management（新德里管理学院） ； Technische Universität Dresden（德累斯顿工业大学） ； Ramakrishna Mission Vivekananda Educational and Research Institute（罗摩克里希纳传道会维韦卡南达教育与研究学院） ； Indian Institute of Technology（印度理工学院） ； Swami Vivekananda Institute of Technology（斯瓦米·维韦卡南达技术学院） ； GuangDong Engineering Technology Research Center of Edge Intelligence（广东省边缘智能工程技术研究中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出NRITYAM基准，包含9,260个跨12语言的文化问答对，评估语言模型对全球舞蹈传统的文化理解能力，涵盖多种模型类型。

Comments 18 pages, 12 figures, in ECML_PKDD'26

Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources

动态声源的时空音频语言建模

Oh Hyun-Bin, Kazuki Shimada, Yuhta Takida, Kim Sung-Bin, Toshimitsu Uesaka, Takashi Shibuya, Kyeongyoon Lee, Tae-Hyun Oh, Yuki Mitsufuji

机构 * POSTECH（浦项科技大学） ； Sony AI（索尼AI） ； Sony Group Corporation（索尼集团） ； Sungkyunkwan University（成均馆大学） ； KAIST（韩国科学技术院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出ST-AudioLM模型，通过时空音频编码器联合学习事件语义与源轨迹，在ST-AudioQA基准上提升动态声源问答的语义-定位权衡。

Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering

通过激活引导克服全双工口语语言模型中的状态惯性

Cheng-Kuang Chang, Kai-Wei Chang, Alexander H. Liu, James Glass

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对全双工口语模型在用户打断时响应延迟的问题，提出基于感知向量的激活引导方法，无需微调即可显著提升中断理解能力。