语言大模型 / LLM

Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives

大语言模型智能体能坚持剧本吗？交互式叙事中长期一致性的基准测试

Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM智能体在交互式叙事中难以维持长期一致性的问题，构建了NCP-Bench基准测试，发现现有顶尖LLM的承诺保持率较低，存在显著的逻辑冲突问题。

Comments Accepted by ICML 2026

A Statistical Framework for Auditing Behavioral Dependence and Induced Bias in LLM Judges

大型语言模型有多独立？一种用于审计行为纠缠和重加权验证者集合的统计框架

Chenchen Kuai, Jiwan Jiang, Zihao Zhu, Hao Wang, Keshu Wu, Zihao Li, Yunlong Zhang, Chenxi Liu, Zhengzhong Tu, Zhiwen Fan, Yang Zhou

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出一种统计框架，用于审计大型语言模型之间的行为纠缠，通过多分辨率层次结构和信息理论度量，分析行为纠缠对验证性能的影响，并通过重加权验证者集合减少相关偏差。

Averaged Evaluation Masks Capability Trade-Offs: Multi-Source Calibration for High-Sparsity LLM Pruning

校准数据在能力维度上的权衡：为什么多源混合对高稀疏LLM剪枝至关重要

Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； JD.com（京东公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；pretraining(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 通过分解后剪枝能力维度并分析15个校准源，发现校准困惑度与通用能力保留正相关但与数学和代码能力保留负相关，提出多源混合校准方法IGSP以平衡各维度性能。

LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks

大语言模型作为教练：不可验证任务的体验式学习

Tianzhu Ye, Li Dong, Guanheng Chen, He Zhu, Xun Wu, Shaohan Huang, Furu Wei

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） ； Peking University（北京大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 研究不可验证任务，提出体验式学习（EL），将LLM反馈模型从评判转为教练，通过提炼体验知识提供密集监督，在开放式任务上表现优于基于规则的RL，泛化性好且减轻奖励作弊。

Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation

信任，但不验证：LLM 源评估中的认知盲点

Rohan N. Pradhan, Steve Goley

机构 * Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；post-training(abstract)；prompting(abstract)

AI总结 研究语言模型在多源综合中是否评估证据质量，发现模型虽能检测伪造统计但未在综合中启用，而是依赖方法论-语域门控，导致数值有效性被抑制。

Little Brains, Big Feats: Exploring Compact Language Models

小脑袋，大成就：探索紧凑型语言模型

Dari Baturova, Elena Bruches, Ivan Chernov, Roman Derunets, Arsenii Fomin, Andrey Kostin

机构 * Siberian Neuronets LLC（西伯利亚神经网络有限公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)；small language model(abstract)

AI总结 本研究探索小型语言模型在检索增强生成（RAG）系统中的生成性能，实验表明无需GPU即可在设备上运行，并提供了基准测试结果。

Comments Accepted to ECML PKDD 2026, Applied Data Science track. Author preprint; the definitive version will appear in the proceedings of ECML PKDD 2026, Springer LNCS

Latent Confidence Alignment for LLM Self-Assessment

潜在置信对齐用于大语言模型自我评估

Ting-Yu Chen, Tingting Yu, Pei-Cing Huang, Chan Hsu, Ming-Yen Lin, Yihuang Kang

机构 * Department of Information Management（信息管理系） ； National Sun Yat-Sen University（国立中山大学） ； Kaohsiung Medical University Hospital（高雄医学大学附设医院） ； Kaohsiung Medical University（高雄医学大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于Rasch模型的潜在置信对齐误差（LCAE）来评估LLM自我评估与潜在错误概率的一致性，并引入项目难度作为外部信号，实验表明该方法在不影响模型能力的情况下提升自我评估质量。

Comments 2026 IEEE 27th International Conference on Information Reuse and Integration for Data Science

Understanding LLM Behavior in Multi-Target Cross-Lingual Summarization

理解多目标跨语言摘要中的LLM行为

Sangwon Ryu, Yihong Liu, Mingyang Wang, Yunsu Kim, Jungseul Ok, Gary Geunbae Lee, Hinrich Schuetze

机构 * GSAI, POSTECH（POSTECH认知科学研究院） ； CSE, POSTECH（POSTECH计算机科学与工程学院） ； LMU Munich（慕尼黑大学） ； MCML ； LILT（语言信息实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对多目标跨语言摘要任务，提出MEA基准并分析LLM内部机制，发现翻译和摘要行为在后期层联合出现，并引入推理时激活引导方法提升生成质量。

NILC: Discovering New Intents with LLM-assisted Clustering

NILC：利用LLM辅助聚类发现新意图

Hongtao Wang, Renchi Yang, Wenqing Lin

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； JD.com（京东公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出NILC框架，通过迭代聚类结合大语言模型优化质心和文本嵌入，实现无监督和半监督新意图发现。

When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL

当LLM奖励设计失败时：面向诊断的稀疏结构化RL改进

Youting Wang, Yuan Tang, Bowen Liu, Xuan Liu, Dingyan Shang

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 针对稀疏结构化强化学习任务，提出诊断驱动的迭代奖励函数改进方法，通过训练诊断和失败模式分类指导修正，显著提升MiniGrid任务成功率。

All Leaks Count, Some Count More: Interpretable Temporal Contamination Detection and Mitigation in LLM Backtesting

所有泄漏都重要，有些泄漏更重要：LLM回测中可解释的时间污染检测与缓解

Zeyu Zhang, Ryan Chen, Bradly C. Stadie

机构 * Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学） ； Bridgewater AIA Labs（布里奇沃特AIA实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出基于Shapley值的声明级评估框架Shapley-DCLR和推理时架构TimeSPEC，用于检测和缓解LLM回测中的时间污染问题。

Comments 8 pages plus appendix

When Mean CE Fails: Median CE Can Better Track Language Model Quality

当平均交叉熵失效时：中位数交叉熵能更好地跟踪语言模型质量

Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

机构 * i14 ； University of Melbourne（墨尔本大学） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文发现中位数交叉熵比平均交叉熵更能反映语言模型在训练过程中的任务性能，并建议在评估时报告多个百分位交叉熵。

Comments 20 pages

Machine-Learning-Enhanced Non-Invasive Testing for MASLD Fibrosis: Shallow-Deep Neural Networks Versus FIB-4, Tabular Foundation Models, and Large Language Models

机器学习增强的非侵入性测试用于MASLD纤维化：浅层-深层神经网络与FIB-4、表格基础模型和大语言模型的比较

Athanasios Angelakis, Gabriele De Vito, Eleni-Myrto Trifylli, Filomena Ferrucci

机构 * BioML Lab, RI CODE, UniBw, Munich, Germany（BioML实验室，RI CODE，UniBw，慕尼黑，德国） ； Department of Epidemiology and Data Science, Amsterdam UMC, Amsterdam, Netherlands（流行病学与数据科学系，阿姆斯特丹大学医学中心，阿姆斯特丹，荷兰） ； Alpha Indicium, Rijswijk, Netherlands（Alpha Indicium，里杰斯霍伊斯，荷兰） ； Department of Computer Science, University of Salerno, Salerno, Italy（计算机科学系，萨勒诺大学，萨勒诺，意大利） ； GI-Liver Unit, 2nd Department of Internal Medicine, National and Kapodistrian University of Athens, General Hospital of Athens “Hippocratio”, Athens, Greece（肝病单位，第二内科部，雅典国家与卡波迪斯托里亚大学，雅典“希波克拉底”医院，希腊） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；foundation model(title)；分类 cs.AI、cs.LG

AI总结 本文研究了机器学习增强的非侵入性测试在MASLD纤维化检测中的应用，比较了浅层-深层神经网络、FIB-4、表格基础模型和大语言模型在不同队列中的性能，发现浅层-深层神经网络在保持FIB-4变量空间的同时提供了更平衡的外部操作性能。

Comments 26 pages, 4 figures, 3 tables. Preprint

Generalization or Memorization? Brittleness Testing for Chess-Trained Language Models

泛化还是记忆？国际象棋训练语言模型的脆弱性测试

Ethan Tang

机构 * School of Computing and Augmented Intelligence（计算与增强智能学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了国际象棋训练语言模型是泛化还是记忆，通过测试发现其高性能主要源于模式匹配，并展示了LLM-Modulo框架在提升国际象棋谜题解决性能上的效果，证明了与外部验证器结合的通用LLM比直接训练合成数据更灵活。

Comments 14 pages, 2 figures, 4 tables, 3 equations

LiveFact: A Dynamic, Time-Aware Benchmark for LLM-Driven Fake News Detection

LiveFact：一种动态、时间感知的LLM驱动虚假新闻检测基准

Cheng Xu, Changhong Jin, Yingjie Niu, Nan Yan, Yuke Mei, Shuhao Guan, Liming Chen, M-Tahar Kechadi

机构 * University College Dublin（都柏林大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Dalian University of Technology（大连理工大学） ； Bebxy（贝比） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LiveFact引入动态时间感知基准，评估模型在处理演进不完整信息时的推理能力，发现传统静态基准无法检测的推理差距。

Comments ACL 2026 Main; Homepage at https://livefact.bebxy.com/

AVA-Bench: Atomic Visual Ability Benchmark for Vision Foundation Models

AVA-Bench：用于视觉基础模型的原子视觉能力基准

Zheda Mai, Arpita Chowdhury, Zihe Wang, Sooyoung Jeon, Lemeng Wang, Jiacheng Hou, Wei-Lun Chao

机构 * The Ohio State University（俄亥俄州立大学） ； Adobe Research（Adobe研究院） ； Boston University（波士顿大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 AVA-Bench通过解耦14种原子视觉能力，揭示视觉基础模型的性能差异，提升模型选择的科学性与效率。

Comments Accepted by CVPR 2026. The first two authors contribute equally

Multi-View Encoders for Performance Prediction in LLM-Based Agentic Workflows

多视角编码器在基于大语言模型的代理工作流性能预测中的应用

Patara Trirat, Wonyong Jeong, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出Agentic Predictor，通过多视角编码技术与跨领域预训练，实现高效准确的代理工作流性能预测，提升LLM代理系统设计效率。

Comments ICLR 2026, Project Page: https://deepauto-ai.github.io/agentic-predictor/

SHARP: Social Harm Analysis via Risk Profiles for Measuring Inequities in Large Language Models

SHARP：通过风险轮廓进行社会危害分析以衡量大语言模型中的不平等

Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

机构 * San Francisco, USA（美国旧金山） ； Boston, USA（美国波士顿） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 SHARP通过风险轮廓分析大语言模型中的社会危害，揭示了模型在偏见、公平性和伦理方面的异质性风险结构。

Comments Pre Print, 29 pages. key words: Social harm evaluation in LLMs, Large language models, Risk sensitive model selection, Evaluation for high-stakes domains, Worst-case behavior in LLMs, Algorithmic bias, Fairness in machine learning

Modular Techniques for Synthetic Long-Context Data Generation in Language Model Training and Evaluation

Seganrasan Subramanian, Abhigya Verma

机构 * ServiceNow 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；SFT(abstract)；preference optimization(abstract)

Comments 26 pages, 4 figures

The Fellowship of the LLMs: Multi-Model Workflows for Synthetic Preference Optimization Dataset Generation

Samee Arif, Sualeha Farid, Abdul Hameed Azeemi, Awais Athar, Agha Ali Raza

机构 * Lahore University of Management Sciences（拉合尔管理科学大学） ； University of Michigan - Ann Arbor（密歇根大学安娜堡分校） ； EMBL European Bioinformatics Institute（欧洲生物信息学研究所） ； Strategize Inc（Strategize公司） 纠错

专题命中 评测与基准 ：preference optimization(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Humanizing the Machine: Proxy Attacks to Mislead LLM Detectors

Tianchun Wang, Yuanzhou Chen, Zichuan Liu, Zhanwen Chen, Haifeng Chen, Xiang Zhang, Wei Cheng

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Comments 29 pages

Are Large Language Models Moral Hypocrites? A Study Based on Moral Foundations

José Luiz Nunes, Guilherme F. C. F. Almeida, Marcelo de Araujo, Simone D. J. Barbosa

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Final version available at: https://ojs.aaai.org/index.php/AIES/article/view/31704 13 pages, 4 figures, 2 tables

Journal ref NUNES, J. L.; ALMEIDA, GUILHERME F.C.F. ; ARAUJO, M. ; BARBOSA, SIMONE D J. Are Large Language Models Moral Hypocrites? A Study Based on Moral Foundations. In: AAAI/ACM Conference on AI, Ethics, and Society, 2024, San Jose, Califórnia

Document Automation Architectures: Updated Survey in Light of Large Language Models

Mohammad Ahmadi Achachlouei, Omkar Patil, Tarun Joshi, Vijayan N. Nair

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments The current paper is the updated version of an earlier survey on document automation [Ahmadi Achachlouei et al. 2021]. Updates in the current paper are as follows: We shortened almost all sections to reduce the size of the main paper (without references) from 28 pages to 10 pages, added a review of selected papers on large language models, removed certain sections and most of diagrams. arXiv admin note: substantial text overlap with arXiv:2109.11603

Detection of Personal Data in Structured Datasets Using a Large Language Model

Albert Agisha Ntwali, Luca Rück, Martin Heckmann

机构 * Aalen University of Applied Sciences（亚琛应用科学大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL；LLM(journal_ref)

Comments 10 pages

Journal ref LLM-DPM '2025, Next Gen Data and Process Management: Large Language Models and Beyond, June 22, 2025, Berlin, Germany

Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

Jagle：构建大规模日语多模态预训练数据集以构建视觉-语言模型

Issa Sugiura, Keito Sasagawa, Keisuke Nakao, Koki Maeda, Ziqi Yin, Zhishen Yang, Shuhei Kurita, Yusuke Oda, Ryoko Tokuhisa, Daisuke Kawahara, Naoaki Okazaki

机构 * Kyoto University（京都大学） ； NII LLMC（国立信息学研究所LLMC） ； Waseda University（早稻田大学） ； Institute of Science Tokyo（东京科学大学） ； NII（国立信息学研究所） ； Aichi Institute of Technology（爱知工业大学） ； Institute of Physical and Chemical Research（理化学研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；post-training(title,abstract)；LLM(abstract)

AI总结 本文提出Jagle，一个包含920万实例的日语多模态预训练数据集，通过多种策略生成VQA对，实验表明其在日语任务中表现优异，且与FineVision结合能提升英文性能。

Comments Accepted to COLM 2026

Preventive Care Recommendations by Large Language Models

基于大语言模型的预防性护理建议

Eden Avnat, Elia Yanko, Ori Yoran, Raja-Elie E. Abdulnour

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本研究对比7种LLMs与医生的预防性护理优先级排序，发现LLMs与医生高度一致但对生活方式干预重视不足，部分模型表现更优，强化效果需价值对齐训练等。

Automatic Translation of Unstructured Requirements into Linear Temporal Logic through Large Language Models

基于大语言模型将非结构化需求自动翻译为线性时序逻辑

Alexandra Newcomb, Omar Ochoa

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文评估6种大语言模型，通过少样本提示策略在含15个需求的基准上生成线性时序逻辑公式，验证通用LLMs无需微调即可完成非结构化自然语言转LTL任务，可作为半自动化形式化工作流的前端助手。

Comments Copyright 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

CAER: Conflict-Aware Evidence Routing with Dual Prefix Experts for Multimodal Large Language Models

CAER：面向多模态大语言模型的冲突感知证据路由，采用双前缀专家机制

Zixuan Liu, Juntao Cai, Xiaoxu Cai, Haishuai Wang, Jiajun Bu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本研究提出与主干无关的CAER框架，通过双前缀专家路由机制实现视觉-语言冲突检测与冲突感知生成，在MMMC及AgriConflict数据集上验证可提升开源多模态大语言模型的可靠性。

AppPoet: Large Language Model based Android malware detection via multi-view prompt engineering

Wenxiang Zhao, Juntao Wu, Zhaoyi Meng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments Accepted by Expert Systems With Applications

Large Language Models and Attention-Based AI for Hardware Design and Security: Progress, Challenges, and Opportunities

基于注意力的人工智能模型与大语言模型在硬件设计与安全中的应用：进展、挑战与机遇

Sujan Ghimire, Parsa Mirfasihi, Muhtasim Alam Chowdhury, Harish Kumar Dharavath, Banafsheh Saber Latibari, Muntasir Mamun, Jaeden Wolf Carpenter, Benjamin Tan, Hammond Pearce, Krishnendu Chakrabarty, Pratik Satam, Soheil Salehi

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究基于注意力的人工智能模型与大语言模型在硬件设计与安全领域的应用，利用大语言模型和HDL数据集创建自动化系统，探讨其在逻辑设计和硬件安全方面的集成，通过研究多种方法和案例凸显变革潜力并应对挑战。