语言大模型 / LLM

AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows

AIPatient Arena：基于电子健康记录的大语言模型在端到端临床咨询工作流中的评估

Jiahui Niu, Huizi Yu, Wenkong Wang, Guangxin Dai, Jingxian He, Xiang Li, Zhiying Liang, Xinxin Lin, Kent CY So, Bryan YP Yan, Yun Kwok Wing, Yanqiu Xing, Xin Ma, Lizhou Fan

机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） ； Key Laboratory of Machine Intelligence and System Control, Shandong University（机器智能与系统控制重点实验室，山东大学） ； Department of Medicine and Therapeutics, The Chinese University of Hong Kong（医学与治疗学系，香港中文大学） ； Department of Geriatric Medicine, Qilu Hospital of Shandong University（老年医学科，山东大学齐鲁医院） ； Department of Psychiatry, The Chinese University of Hong Kong（精神病学系，香港中文大学） ； Li Chiu Kong Family Sleep Assessment Unit, Department of Psychiatry, Faculty of Medicine, The Chinese University of Hong Kong（李秋虹家庭睡眠评估单元，精神病学系，医学院，香港中文大学） ； Li Ka Shing Institute of Health Sciences, Faculty of Medicine, The Chinese University of Hong Kong（李嘉诚健康科学研究院，医学院，香港中文大学） ； Gerald Choa Neuroscience Institute, Department of Medicine and Therapeutics, The Chinese University of Hong Kong（Gerald Choa 神经科学研究所，医学与治疗学系，香港中文大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出AIPatient Arena框架，通过电子健康记录构建患者知识图谱，在多轮医患交互中评估大语言模型的八项临床能力，发现模型在信息覆盖、诊断推理等方面存在不足，强调过程评估的重要性。

Comments 49 pages, 12 figues, 11 tables

Creative Collision: Directorial Persona Steering and Competition in Large Language Models

创意碰撞：大型语言模型中的导演人格引导与竞争

Subramanyam Sahoo, Justin Shenk

机构 * AI Safety Camp（AI安全训练营） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究通过叠加两种语义相反的导演人格向量（斯皮尔伯格与斯科塞斯）来引导语言模型生成，发现斯皮尔伯格向量主导道德倾向，中间点提升连贯性，且两者在特定层共享道德基调基底。

Comments Accepted at ICML 2026 Workshop on Human-AI Co-Creativity

Auditing Proprietary Alignment in Large Language Models: A Comparative Framework Without a Ground-Truth Standard

审计大型语言模型中的专有对齐：一种无需真实标准的比较框架

Alireza Arbabi, Florian Kerschbaum

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种统计框架，通过比较目标模型与基线模型在共享语义空间中的响应偏差，检测黑盒语言模型中的专有对齐行为，无需真实标准即可实现外部审计。

Adversarial Robustness of Activation Steering in Large Language Models

大型语言模型中激活引导的对抗鲁棒性

Kien Le, Thai Le

机构 * Independent Researcher（独立研究员） ； Indiana University（印第安纳大学） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究激活引导在对抗性文本扰动下的鲁棒性，发现所有方法、模型和设置中方向鲁棒性下降高达64%，置信度崩溃，层选择脆弱，揭示其结构性脆弱性。

Comments 9 pages, 2 figures

Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay

无真实值的信用：针对执行重放的大语言模型智能体的步骤级信用分配审计

Haiyue Zhang

机构 * University of Southern California（南加州大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对LLM智能体，在ALFWorld环境中审计步骤级信用分配，发现现有信用信号无法识别关键步骤，提出需匹配有效样本量比较信用规则。

Comments 49 pages, 7 figures. Pre-registered; frozen analysis plans and prompts included in the appendices. Under review

VeriFin: A Neurosymbolic Framework for Verifying LLM-Generated Financial Claims

VeriFin：用于验证大语言模型生成的财务声明的神经符号框架

Bethel Hall, Sachi Shome, William Eiers

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对LLM生成财务声明易出错的问题，提出神经符号框架VeriFin，基于XBRL事实与Z3验证，在XBRLFiling和FinanceBench基准上实现零错误接受，还可通过求解器反馈提升修复效果。

Comments 9 pages

CLIP-CC-Bench: Evaluating Paragraph-Level Video Descriptions in Video-Language Models

CLIP-CC-Bench：评估视频语言模型中的段落级视频描述

Mukhtiar Ali, Harsh Dubey, Sugam Mishra, Chulwoo Pack

机构 * South Dakota State University（南达科他州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)

AI总结 CLIP-CC-Bench是针对视频语言模型的长篇段落级视频描述评估套件，采用多LLM嵌入模型集成与粗细粒度语义匹配方法，评估17种模型填补了现有短片段基准的空白。

Comments Accepted and presented at EvalMG 2026, the Second Workshop on Evaluation for Multimodal Generation, co-located with ACM SIGIR 2026

CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation

CalibratedRubric：面向开放式大语言模型评估的任务自适应评分规则库

Mengting Chen, Yanshu Sun, Wanting Liang, Beidi Luan, Rui Sun, Dezhi Chen, Jing Li, Zuo Bai

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 CalibratedRubric是结合特定类型评分、贝叶斯过滤与IRT的任务自适应框架，可提升开放式LLM评估的人工-黄金标准一致性与排序保真度，减少所需评分规则数量。

Expectation Alignment of Language Models for Real-World User Expectations

语言模型与现实世界用户期望的期望对齐

Miaomiao Li, Yang Wang, Bin Liang, Shudong Liu, Zhiwei Zhang, Kam-Fai Wong

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究LLMs是否满足用户期望，提出提取期望程序并引入ExpectBench基准，分析发现LLMs存在问题，进而提出LENS框架，可让模型内化期望以生成更契合的响应，凸显明确建模用户期望对实现现实人机对齐的重要性。

Comments Accepted by ICML 2026

The Effect of Multi-Lingual and Keyword Adversarial Injection on LLM Relevance Judgment

多语言和关键词对抗性注入对大语言模型相关性判断的影响

Nguyen Khoi Vo, Duy Duong Tuong, Oleg Zendel, Mark Sanderson

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究跨语言提示注入攻击对基于大语言模型的相关性判断的影响，利用TREC数据集和开放权重模型在多语言环境下研究不同注入策略，发现多语言查询注入有效且能绕过现有防御，凸显当前防御差距，强调需更强大评估框架。

Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability

望远镜：通过测量令牌重复概率改进大语言模型生成内容的零样本检测

Christopher Nassif, Josh F. Cooper

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究区分大语言模型生成文本与人类写作的难题，提出用望远镜困惑度衡量模型令牌重复，揭示该特征在预训练早期出现，能有效进行零样本检测，性能优于其他方法。

Comments 50 pages, ICML, 20 figures, Equal contribution

Leveraging LLM-Based Agentic Systems to Generate Quantum Applications for Test Optimization

利用基于LLM的代理系统生成量子应用以优化测试

Ming Tao, Yuechen Li, Tao Yue, Man Zhang, Aitor Arrieta Marcos

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出QPipe，一种基于大语言模型的多代理架构，自动将自然语言需求转化为可执行的量子应用工作流，在测试优化问题上实现高编译率和执行率。

DysLexLens: A Low-Resource LLM Framework for Analysing Dyslexic Learners Insights from Online Forums

DysLexLens：面向低资源场景的LLM框架，用于分析在线论坛中阅读障碍学习者的见解

Dana Rezazadegan, Atie Kia, Phongpadid Nandavong, Dominique Carlon, Jeremy Nguyen, Abhik Banerjee, James Marshall, Anthony McCosker, Yong-Bin Kang

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DysLexLens框架，通过字典过滤、知识图谱推理和评估机制，从低资源论坛数据中分析阅读障碍学习者对AI工具的使用体验。

Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

LLM智能体中针对提示注入的带外防御的自适应评估

Praneeth Narisetty, Shiva Nagendra Babu Kore, Uday Kumar Reddy Kattamanchi, Jayaram Kumarapu

机构 * LaunchSafe Research（LaunchSafe研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文组织带外防御（如CaMeL、Progent）为经典完整性保护与引用监视实例，并在AgentDojo上对Qwen2.5-7B代理进行自适应评估，结果显示Progent将攻击成功率从25.8%降至4.2%，手工自适应攻击未提升成功率。

Comments 12 pages, 5 figures, 4 tables

LLM Performance on a Real, Double-Marked GCSE Benchmark

LLM在真实双评GCSE基准测试中的表现

Malachy Fox, Kavi Samra, Paul Jung

机构 * Medly AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究引入包含32,534份双评真实学生GCSE模拟考试回答的数据集，测试大型语言模型与考官评分的一致性，发现顶级模型比考官之间更一致，为自动化评分提供经济有效的方案。

PLRTune: Importance Pre-Sampling and LLM-Guided Reinforcement Learning for Automatic Database Tuning

PLRTune：基于重要性预采样和LLM引导的强化学习自动数据库调优

Xinyue Yang, Chen Zheng, Yaoyang Hou, Renhao Zhang, Yinyan Zhang, Heng Zhang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PLRTune系统，通过重要性预采样识别关键旋钮子集，结合执行引导的提示精炼和TD3强化学习，在MySQL和PostgreSQL上平均性能提升9.50%，调优速度提升9.03倍。

PoQ-Judge: A Multi-Architecture Evaluation Framework for Cost-Aware Proof-of-Quality in Decentralized LLM Inference

PoQ-Judge：去中心化LLM推理中成本感知的证明质量的多架构评估框架

Arther Tian, Alex Ding, Frank Chen, Simon Wu, Aaron Chan

机构 * DGrid AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PoQ-Judge框架，训练专用裁判模型对查询-输出对进行无参考评分，研究三种架构，最佳模型在Pearson相关性上达到0.747，级联评估降低72.7%成本。

A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming

LLM生成反馈干预在入门编程中的课堂研究

Hasnain Heickal, Andrew Lan

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过随机对照实验，比较自然语言提示、AI生成测试用例和无反馈三种条件，发现自然语言反馈显著提高完成率和收敛速度，而测试用例反馈效果取决于其有效性。

Comments Accepted at IRAISE 2026 (Festival of Learning)

TRACE: Trajectory Reasoning through Adaptive Cross-Step Evidence Aggregation for LLM Agents

TRACE: 通过自适应跨步骤证据聚合的LLM智能体轨迹推理

Vijitha Mittapalli, Shreyaa Jayant Dani, Satya Srujana Pilli, Snigdha Ansu, Mohammadreza Teymoorianfard, Franck Dernoncourt, Hongjie Chen, Yu Wang, Ryan A. Rossi, Nesreen K. Ahmed

机构 * University of Massachusetts at Amherst（马萨诸塞大学阿默斯特分校） ； Adobe Research（Adobe研究） ； Dolby Labs（杜比实验室） ； University of Oregon（俄勒冈大学） ； Cisco（思科） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出TRACE框架，通过TIJ循环识别高信号区域、累积跨步骤证据并合成轨迹级判决，在SHADE-Arena的十个任务域上F1达0.713，召回率0.844，尤其擅长长距离证据链接。

ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models

ConceptGuard：评估大语言模型中上下文敏感的遗忘能力

Sahil Kale, Ian Harris

机构 * Pune Institute of Computer Technology（浦那计算机技术学院） ； University of California, Irvine（加州大学欧文分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究针对大语言模型遗忘能力评估的缺陷，提出ConceptGuard基准，聚焦两用概念，发现现有遗忘技术存在性能缺陷，为实用安全的遗忘方法提供思路。

Comments Submitted to NeurIPS E&D Track 2026; 17 pages, 9 figures

When Text and Numbers Disagree: Evidence Arbitration in Large Language Models

当文本与数字不一致时：大型语言模型中的证据仲裁

Mattia Carletti, Edward Phillips, Fredrik K. Gustafsson, Patitapaban Palo, Lei Clifton, Danielle Belgrave, Xiao Gu, David A. Clifton

机构 * University of Oxford（牛津大学） ； GlaxoSmithKline（葛兰素史克） ； Oxford Suzhou Centre for Advanced Research（牛津大学苏州高等研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究构建合成基准探究LLMs在文本与数字证据冲突时的仲裁行为，发现其存在系统性偏好，常依赖启发式策略，凸显工具增强决策系统的失效模式。

HealMed: Multilingual Evaluation of Large Language Models in Medicine

HealMed：面向医学领域的大语言模型多语言评估

Yingjian Chen, Fan Gao, Sherry T. Tong, Haoyu Zhang, Aosong Feng, Kevin W. Jin, Xing Wu, Jinghui Lu, Abdul Samad, Akbar Faruqi, Cesar Caraballo, Cibele Brandão, Dhruva, Gupta, Eunji Jeon, Gabriel Madera-Santiago, Geon Lee, Hugo Toshio Itikawa, Insook Cho, Isabelli Martins, Isarar Siddique, Israr Ahmed, Jihyo Kwak, Kanyakorn Veerakanjana, Luis Guilherme Cardoso, Minjin Kim, Piyalitt Ittichaiwong, Renee Dua, Santiago Gudiño-Rosales, Xiujie Chen, Zeo Lapalus, Zixin Xu, Michihiro Yasunaga, Rex Ying, Heuiseok Lim, Jaewoo Kang, Chanjun Park, Hang Jiang, Ethan Goh, Hyunjae Kim, Edison Marrese-Taylor, Yusuke Iwasawa, Yutaka Matsuo, Qingyu Chen, Irene Li

机构 * HealMed Research Team（HealMed研究团队） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本研究推出医学领域大语言模型多语言评估基准HealMed，经多国专家历时两年开发，实验发现低资源语言性能下降明显，专有模型更稳定，医学专业知识不保证多语言鲁棒性，翻译质量影响评估结果。

The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models

大语言模型在文化禁忌安全方面的“知识-行为差距”

Ying He, Sihang Jiang, Xingzhou Chen, Zhouhong Gu, Yiwei Gu, Minggui He, Shimin Tao, Hongxia Ma, Yanghua Xiao

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院） ； Huawei（华为） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对大语言模型文化禁忌安全评估的现有基准存在不足，本文推出首个公开基准CulShield，发现先进LLMs存在“知识-行为差距”，且语言语境变化会影响其文化禁忌安全。

Constructing Dynamic Master Logic Models as Knowledge Graphs for Complex System Diagnostics Using Retrieval-Augmented Large Language Models

构建动态主逻辑模型作为知识图谱，用于使用检索增强大语言模型的复杂系统诊断

Saman Marandi, Yu-Shu Hu, Mohammad Modarres

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究提出基于检索增强大语言模型的KG-DML框架，实现了复杂系统动态主逻辑模型的自动化构建，经低压冷却剂注入系统验证，可转化技术文档为可执行功能模型用于诊断分析。

Comments 36 Pages, 8 Figures

Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

安全对齐的定位：MLP层与网络中间块编码大语言模型的拒绝行为

Mingyu Zong, Sampad Mohanty, Bhaskar Krishnamachari

机构 * University of Southern California（南加州大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究通过移植不同粒度的模型权重实验，发现大语言模型的安全拒绝行为主要编码在MLP层，且集中于网络中间块，其构成具有非加性，存在基准依赖的精度-覆盖权衡。

FitAQA: A Benchmark of Fitness Action Quality Assessment for Multimodal Large Language Models

FitAQA：面向多模态大语言模型的健身动作质量评估基准

Kaili Zheng, Kaiwen Wang, Xun Zhu, Qingyuan Yang, Chenyi Guo, Ji Wu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究推出FitAQA基准，含2219个视频等数据，设计三项评估任务，发现当前MLLMs评估健身动作质量及定位错误存在瓶颈，视觉感知是关键瓶颈，相关数据和代码将公开。

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

当下与过往时间：针对时间演进的文档理解的大语言模型基准测试

Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

机构 * BRAC University（BRAC大学） ； United International University（联合国际大学） ； North South University（北南大学） ； Spectrum Software & Consulting Ltd.（斯佩克特软件咨询有限公司） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对时间演进的文档理解构建了TIDE基准，评估9种LLMs在版本解析任务上的表现，发现模型在检测错误版本时表现较差，倾向于选择参数化答案而非权威文本。

Performance of large language models in the optical diagnosis of colorectal polyps

大型语言模型在结直肠息肉光学诊断中的性能

Joshua C. Vences, William T. Tran, Nikko Gimpaya, Catharine M. Walsh, Rishad J. Khan, Robert Bechara, Asher C. Wiggins, Celine N. Rousan, Kaitlyn V. G. L. Morgado, Angie Ibrahim, Kevin H. M. Kuo, Daniel von Renteln, Alexander Hann, Dennis L. Shung, Michael A. Scaffidi, Charles Ménard, Joshua Landy, Samir C. Grover

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究评估Claude Opus 4等5款大型语言模型对结直肠息肉的光学诊断性能，发现其区分息肉亚型的准确率接近专家共识，但灵敏度与特异度未达ESGE标准，需进一步研究方可临床应用。

Comments 22 pages, 1 figure, 5 tables

Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents

Gated-BEPO：用于大语言模型智能体的置信门控贝尔曼信用分配

Hongxi Yan, Ziyue Huang, Shichao Fan, Qingjie Liu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究针对大语言模型智能体长视域训练的信用分配问题，提出Gated-BEPO方法，通过经验rollout图推导步骤级信用并结合置信门自适应融合回合与步骤级信用，在多任务基准上取得性能提升。

IslamicTurathBench: A Multi-Task, Multi-Discipline Benchmark for Evaluating Large Language Models on the Islamic Scholarly Tradition (turath)

IslamicTurathBench：用于评估大型语言模型在伊斯兰学术传统（turath）上性能的多任务、多学科基准

Shahd Gaben, Heba Sbahi, Samer Rashwani, Abdessalam Bouchekif, Mutaz Al-Khatib, Emad Mohamed, Somaya Eltanbouly, Mohammed Ghaly

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究推出用于评估大型语言模型伊斯兰学术性能的多任务基准 ISTB，含3465个问答条目，支持多维度可复现评估，填补了该领域高质量标注资源的空白。

Comments Includes supplementary materials. Submitted to the Journal of Scientific Data. Data and code are publicly available