语言大模型 / LLM

ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models

ArtECulture：评测多模态大语言模型中的文化条件视觉情感理解

Xiaolin Chen, Xuemeng Song, Wenhao Shi, Xianjing Han, Mong-Li Lee, Wynne Hsu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对现有视觉情感理解方法忽略文化差异的问题，提出ArtECulture基准与检索增强型文化条件情感理解框架，评估多模态大语言模型在该任务上的表现并验证框架的提升效果。

Reachability Is Not Realization: Tracing the Sources of LLM Benchmark Gains

可达性并非可实现性：追溯大语言模型基准测试增益的来源

Yanchao Li, Wanhao Liu, Jiaqing Xie, Ben Gao, Yanbo Wang, Tianfan Fu, Yuqiang Li

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM基准测试增益，建立问题级审计方法，发现可实现性与可达性常不同步，提出能力扩展声明需报告匹配条件下的可实现性能与可达性。

Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation

基于多智能体评估的角色扮演语言智能体的对抗性压力测试

Saqib Shouqi, Abdullah Nazly, Januki Wanniarachchi, Ravisha De Alwis

专题命中 评测与基准 ：language agent(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出模块化多智能体平台，通过多轮对话对角色扮演语言智能体开展对抗性压力测试，揭示单策略测试无法发现的故障模式，相关成果作为开源平台发布以支持AI安全。

Comments 8 pages, 1 figure, 7 tables; accepted and presented at ADScAI Conference 2026, University of Moratuwa, Sri Lanka

LDU-Bench: Multimodal LLM Evaluation for Lithography Defect Understanding under Layout-Varying Circuit Backgrounds

LDU-Bench：面向不同布局电路背景下光刻缺陷理解的多模态大语言模型评估基准

Huanglong Ji, Botong Zhao, Shujing Lv, Yue Lv

专题命中 评测与基准 ：LLM(title)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本文提出LDU-Bench这一多模态基准，将光刻审查工作流程分解为四项任务，评估发现现有多模态大语言模型的缺陷分类能力无法稳定迁移至下游审查阶段，为工业MLLM评估提供了统一平台。

Comments 12 pages, 3 figures, and 5 tables, including appendices

PRWeaver: Evaluating LLM-Based Code Auditors against Long-Horizon Malicious Pull Requests

PRWeaver：针对基于大语言模型的代码审计工具对抗长周期恶意拉取请求的评估

Yuekun Wang, Mingfei Cheng, Xiaofei Xie

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出PRWeaver基准，评估基于LLM的代码审计工具对长周期恶意PR的可靠性，发现特定评审策略会降低检测率，为优化代码审计工具提供了依据。

$S^3$: Improving Agent Safety through Multi-Stage Defense

$S^3$：通过多阶段防御提升智能体安全性

Zibo Xiao, Haoyu Wang, Jun Sun

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对LLM智能体工作流的跨阶段安全风险问题，提出多阶段防御框架$S^3$，引入阶段特定安全技能，构建MSRB基准，实验显示其安全有效性和效用保留均优于现有基线。

CorePath: A Breast-Specialized Pathology Foundation Model for Core Needle Biopsy Diagnosis and Risk-Controlled Report Generation

CorePath：用于核心针活检诊断和风险可控报告生成的乳腺专用病理基础模型

Ting Yin, Danning Li, Chen Shu, Xiaoxia Yao, Boyu Fu, Yujing Chang, Tianyu Shi, Mengna Feng, Jie Chen, Jing Fu, Xiuli Xiao, Tianlin Li, Mumin Shao, Jiaxin Bi, Wenchuan Zhang, Xiaoyan Wu, Xiao Han, Zhang Zhang, Yuhao Yi, Hong Bu

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究开发乳腺专用病理基础模型CorePath，经7901对数据微调后，在多队列及基准上的CNB诊断任务中性能优于现有模型，结合风险控制模块实现低幻觉的可靠报告生成。

Comments The code will be made publicly available upon publication

Style Wins, Substance Loses: A Diagnosis of LLM-as-Judge in Idea Generation

风格取胜，实质落败：对作为创意生成评判者的大语言模型（LLM）的诊断

Fengxian Ji, Yuke Li, Jingpu Yang, Juanfan Wu, Fan Zhang, Zhexuan Cui, Yu Xie, Min Peng, Qianqian Xie, Xiuying Chen, Zhuohan Xie

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究针对大语言模型作为创意评判者的风格偏差问题，提出SciStyleBench基准及配套的SciStyleExtractor模块，实验验证该模块可有效降低风格偏差、提升实质区分度，为科学创意评估提供了系统性解决方案。

Comments First three authors are co-first authors

BanglaWild: An In-the-Wild Bengali Scene Text Recognition Benchmark for OCR and Vision-Language Models

BanglaWild：面向OCR和视觉-语言模型的野外孟加拉语场景文本识别基准

Sadab Shiper, Tawsif Tashwar Dipto, Mir Md Inzamam, Eshat Tanzeem

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 研究发现现有孟加拉语场景文本识别基准的不足，推出含2535张图像的BanglaWild基准，评估15个VLMs和3个OCR系统等，揭示视觉误识别为主要错误来源等结论，代码数据将公开。

Getting the Parameters Right: A Difficulty-Graded Benchmark and Probe-Guided Training for LLM Tool Calls

参数优化：面向大语言模型工具调用的难度分级基准与探测引导训练

Guoyao Yu, Xiaoqing Sun, Ziqi Huang, Shaojing Fan, Zhongyi Zhang, Xiaomeng Hu, Xiaobo Xue, Yangyang Shi, Xiong Xiao, Yang Song, Biao Lyu, Rong Wen, Xing Li, Qinming He, Shunming Zhu, Zhenguang Liu

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型工具调用参数填写关注度不足的问题，提出含PBT和PGR的探测引导框架，发布ParamBench基准，使5个开放模型在多基准上的参数生成平均精确匹配率从19.7%升至59.6%。

Comments 15 pages, 8 figures

MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations

MerchantBench：面向电商运营中长期一致性的大语言模型智能体基准测试

Qiming Shi, Yulong Tao, Linbo Jin, Zhaolu Kang, Yibo Dou, Jiawen Zhu, Tianjun Pan, Shaokang Fu, Chengyu Wang, Siyue Li, Yaping Cheng, Di Weng, Chengfu Huo

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究推出MerchantBench电商运营基准测试，通过365天订单级模拟评估大语言模型智能体的中长期一致性，发现其与人类参与者存在显著差距。

ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?

ContinualSkillBench：大语言模型智能体真的能发展其能力吗？

Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, Yi Hu, Jiaqi Li, Muhan Zhang

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出动态评估框架ContinualSkillBench，发现大语言模型智能体顺序执行可提升任务性能，上下文学习与显式技能维护效果相当，弱模型易积累零散技能，当前机制仍难整合经验为稳健可迁移技能。

Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation

遗忘能否跨模态迁移？面向跨模态知识遗忘评估的真实世界基准

Chunlin Liu, Junnian Chen, Haitong Jiang, Jianyu Zhao, Yingsen Pang, Jingchen Li, Jiabiao He, Youming Lu, Jinhe Bi, Yuntao Du

专题命中 评测与基准 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 本文针对跨模态知识遗忘迁移研究缺口，推出UNLINK-VL基准，实验发现跨模态遗忘存在不对称性，纯文本遗忘迁移效果差，凸显跨模态遗忘与评估的必要性。

Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation

模拟还是估计？基础语言模型与后训练语言模型在观点模拟中的差异化优势

Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大型语言模型用于观点模拟的矛盾结果，区分了模拟与估计任务，发现基础模型更适合模拟、后训练模型更适合估计，为相关模型选择提供了依据。

Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

困在“A”上：诊断与修复0.6B语言模型的KDA线性化注意力中的接口损伤

Ronglong Bao

专题命中 评测与基准 ：language model(title)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本研究将Qwen3-0.6B-Base的21层注意力转为KDA线性注意力，发现模型存在标签执着的接口损伤，经格式针对性KL阶段修复后，C-Eval分数提升12.48分，相关成果已开源。

Comments Code and models: https://github.com/Sisyphbaous-DT-Project/open-qingyi ; https://huggingface.co/shiershuihesaixiliya/qingyi-kda-0.6b . A version of this preprint is archived on Zenodo (DOI: 10.5281/zenodo.21722356)

Beyond the Hivemind: Escaping LLM Homogeneity via Meta-Persona Anchoring and Sequential Temperature Scaling

超越群体思维：通过元角色锚定与顺序温度缩放规避大语言模型同质化

Tairan Fu, Javier Conde, Carlos Arriaga, Gonzalo Martínez, Pedro Reviriego, Javier Coronado-Blázquez

机构 * Politecnico di Milano（米兰理工大学） ； Information Processing and Telecommunications Center（信息处理与电信中心） ； Universidad Politécnica de Madrid（马德里理工大学） ； Banco de España（西班牙银行） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型的同质化问题，提出元角色锚定结合过滤式温度缩放的框架，在INFINITY-CHAT数据集的约200亿参数模型上，将平均成对余弦相似度从0.85降至0.65，缩小了人工模式坍缩与人类多样性的差距并开源了框架。

CARE-Bench: Benchmarking Patient-Facing LLM Triage

CARE-Bench：面向患者的大语言模型分诊基准测试

Yining Hua, Hongbin Na, Cyrus Ayubcha

专题命中 评测与基准 ：LLM(title,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 本研究推出面向患者的大语言模型分诊基准CARE-Bench，评估11个模型后发现提示可提升多数模型性能但仍存阈值错误，表明患者分诊需明确评估行动时机而非仅靠简单提示。

Comments Code and data are available at GitHub and Hugging Face. Submitted as a preprint

AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality

跨研究社区的AI辅助同行评审：从评审人AI政策到大语言模型评审质量

Alexander M. Fichtl, Lukas Ellinger, Josefin Kelber, Kryštof Olík, Georg Groh

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究调研111个顶尖AI/NLP会议及医学期刊的AI评审政策，评估ICLR 2026和《自然·通讯》的AI评审质量，发现AI评审存在系统性缺陷，主张采用多维度评估。

Comments 30 pages, 19 figures, 10 tables. Currently under peer review. GitHub link for code and data is given in the paper

Beyond Average Performance: Dynamic Instance Clustering and Specialized Algorithm Design in LLM-Assisted Evolutionary Search

超越平均性能：大语言模型辅助进化搜索中的动态实例聚类与专用算法设计

Qinglong Hu, Qingfu Zhang, Fei Liu, Xialiang Tong, Kun Mao, Mingxuan Yuan

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有LES方法仅优化平均性能导致尾部鲁棒性弱的问题，提出DyCA框架，通过动态实例聚类分解混合目标，在四项算法设计任务上提升尾部鲁棒性15.2%、整体性能7.1%。

Evaluating LLMs in Database Scenarios: A Lifecycle Benchmark for Assessing Their Potential in Core Database Tasks

评估数据库场景下的大语言模型：用于评估其在核心数据库任务中潜力的生命周期基准

Shunfan Zheng, Dongsheng Shi, Yue Li, Xin Yi, Linlin Wang, Gerard de Melo

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有LLM数据库评估基准仅聚焦Text-to-SQL任务的缺陷，推出覆盖数据库全生命周期的DBLifeBench基准，还提出Progressive-Text2SQL任务，发现专用Text-to-SQL模型在非编码阶段存在灾难性遗忘，为全栈数据库智能构建奠定基础。

OncoTriad-QA: A Patient-Level Radiology-Pathology-Genomics Benchmark for Pan-Cancer Reasoning

OncoTriad-QA：用于泛癌推理的患者级放射学-病理学-基因组学基准

Ahnaf Munir, Dannong Wang, Michael W. McDonald, Mubarak Shah, Pegah Khosravi, Yu Tian

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出OncoTriad-QA多模态癌症问答基准及OncoVLM模型，实验显示OncoVLM经微调后在泛癌问答任务上优于现有模型，该基准可用于相关模型的训练与评估。

BBOWP-Bench: Evaluating LLMs on Black-Box Optimization Word Problems

BBOWP-Bench：评估大型语言模型在黑盒优化文字问题上的表现

Yutaro Yamada, Kei Hiroshima, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

机构 * Yokohama National University（横滨国立大学） 纠错

专题命中 评测与基准 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出BBOWP问题设定并构建BBOWP-Bench基准，评估发现现有LLMs可根据评估预算选合适算法，但搜索空间设计仍存不足。

KernelBrain: Coarse-to-Fine, Budget-Aware Search for Agentic GPU Kernel Optimization

KernelBrain：面向智能体的GPU内核优化的粗到细、预算感知搜索

Shuai Che, Gang Peng

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 KernelBrain是结合LLM引导变异等技术的GPU内核优化智能体，可提升内核质量与搜索效率，在Triton内核任务中获多倍加速且缩短优化时间。

ANNOTARES: A Dataset for Extracting Logical Structures from German Statutory Texts

ANNOTARES：用于从德国法定文本中提取逻辑结构的数据集

Ronja Schwarz, Jannik Strötgen

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文针对德国法定文本逻辑成分提取难题，构建ANNOTARES数据集并测试多种模型，发现BERT与LLM模型表现更优，将发布数据集以推动自动法律推理研究。

Comments Accepted at KONVENS 2026

KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation

KnowHal：用于全面多模态幻觉评估的知识驱动基准

Ruihan Li, Jiyang Tan, Kailin Jiang, Huining Li, Hengyang Lu, Yu Huang, Qian Li, Yuntao Du

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型（MLLMs）的幻觉评估缺口，提出知识驱动的KnowHal基准，涵盖四个幻觉维度，经评估发现知识维度是模型最大挑战，多数模型对错误前提鲁棒性有限。

Comments 9 pages, 7 figures

Robust General Utility for Reinforcement Learning

面向强化学习的鲁棒通用效用方法

Zixuan Liu, Fangzheng Wu, Brian Summa, Zizhan Zheng

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 针对通用效用强化学习的部署效用误指定问题，提出极小极大学习框架及两种收敛随机算法，经LLM安全对齐等实验验证了其有效性。

GoT-CD: Graph-of-Thoughts Causal Discovery and the Fragility of Post-hoc Path-Specific Fairness Audits

GoT-CD：思维图因果发现与事后路径特定公平性审计的脆弱性

Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

机构 * University of California, Irvine（加利福尼亚大学欧文分校） ； University of Orléans（奥尔良大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出GoT-CD方法，其生成的DAG在因果发现基准中表现优异，但研究发现事后路径特定公平性审计对因果发现的结构误差较为脆弱，需结合结构发现开展路径特定公平性分析。

Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity

单一规范提示低估了大语言模型安全的表面形式敏感性

Yongxi Zhou, Junwei Yao, Yuanzhe Liu, Zihan Dong, Wenbo Ye, Jiaxi Wen, Lai Yun Choi

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究发现仅用单一规范提示评估大语言模型安全会低估其不安全合规性，不同表面形式下的不安全结果并集会超出最糟单一形式，且存在模型差异，同时发布了相关数据集、代码与响应标签。

Comments 9 pages, 3 tables

RoboProcessBench: Benchmarking Process-Aware Understanding in Vision-Language Robotic Manipulation

RoboProcessBench：视觉语言机器人操作中的过程感知理解基准测试

Dayu Xia, Yue Shi, Yao Mu, Huiting Ji, Chaofan Ma, Yingjie Zhou, Hua Chen, Yang Liu, Jiezhang Cao, Guangtao Zhai

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； China University of Mining Technology（中国矿业大学） 纠错

专题命中 评测与基准 ：SFT(abstract,abstract_cn)；language model(abstract)；post-training(abstract)

AI总结 提出RoboProcessBench基准，通过静态监控和动态推理两个维度、12个诊断问题家族，评估视觉语言模型在机器人操作中的过程感知理解能力，并基于58k问答对数据集验证了当前模型的局限性及后训练的有效性。

HomeSafeBench: Benchmarking Embodied Vision-Language Models in Free-Exploration Home Safety Inspection

HomeSafeBench：面向自由探索式家庭安全检查的具身视觉-语言模型基准

Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

机构 * Beijing Institute of Technology（北京理工大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 研究针对家庭安全隐患检查需求构建HomeSafeBench基准，提出CueBack数据构建方法，微调4B规模VLM使分布外测试集F1值显著提升，缩小了与人类检查员的性能差距。

Comments Preprint