语言大模型 / LLM

LUMI: Tokenizer-Agnostic LLM-Based Lossless Image Compression

LUMI：基于语言模型的与分词器无关的无损图像压缩

Chris Xing Tian, Chengkai Wu, Ziyu Wang, Rongqun Lin, Kecheng Chen, Xiandong Meng, Haoliang Li, Shiqi Wang, Siwei Ma

机构 * Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） ； Department of Electrical Engineering, City University of Hong Kong, Hong Kong SAR（香港城市大学电子工程系，香港特别行政区） ； Department of Computer Science, City University of Hong Kong, Hong Kong SAR（香港城市大学计算机科学系，香港特别行政区） ； School of Computer Science, Peking University, Beijing, China（北京大学计算机学院，北京，中国） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 研究基于LLM的无损图像压缩问题，提出LUMI框架，用像素嵌入模块取代像素即文本分词，引入位置编码，仅训练部分参数，LLM主干固定。实验表明其提供统一接口，压缩率有竞争力且跨域鲁棒性强。

Comments Preprint

Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning

基于多目标强化学习的LLM预训练整体数据调度器

Chenhao Dang, Jing Ma, Mingjie Liao

机构 * China Electronics Technology Group Corporation 15th Research Institute（中国电子科技集团公司第十五研究所） ； Renmin University of China（中国人民大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出HDS框架，将数据调度建模为连续控制空间的强化学习问题，利用SAC算法和融合数据质量、跨域影响及模型权重的多目标奖励函数，在The Pile上减少44%训练迭代达到同等困惑度，并在MMLU等任务上提升7.2%。

Comments Our code is at https://github.com/DANG-ai/LLM-Training-Holistic-Data-Schedule

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026), Vol. 1, pp. 176-187, 2026

Instability of LLM Pre-Pretraining: It Doesn't Always Help. An Investigation on Multiple Languages

大语言模型的预预训练：并非总能带来帮助——多语言调查

Sofiia Riazhskykh, Nam Luu, Ondřej Bojar

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；分类 cs.CL

AI总结 该研究调查了 LLM 预预训练在多语言场景下的 token 效率增益，发现其受实验设置和随机种子影响，仅在特定条件下稳定，建议部分实验需多次运行以规避不稳定方法。

Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models

确认我们的偏见？评估大型语言模型的能力、风险与社会影响

Mudar Adas, Polina Tsvilodub, Michael Franke, Martin V. Butz

机构 * University of Tübingen（蒂宾根大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本研究评估6个大型语言模型（LLMs）对160条跨10个主题的提示的响应，发现LLMs会系统调整响应以匹配提示框架，甚至在事实类情境中也如此，明确了其可被操纵的程度与界限。

Small Initialization Matters for Large Language Models

小初始化对大语言模型至关重要

Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

机构 * School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） ； Institute of Natural Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院） ； MemTensor (Shanghai) Technology Co., Ltd.（上海记忆张量科技有限公司） ； Institute for Advanced Algorithms Research（先进算法研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；pretraining(abstract)

AI总结 本文发现减小初始化尺度能持续改善大语言模型预训练，尤其在推理任务上提升显著，并揭示了小初始化驱动参数从低复杂度结构向丰富表示演化的机制。

Comments 26 pages, 8 figures

Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?

流式干预：视频大语言模型能否在错误发生时即时纠正？

Apratim Bhattacharyya, Shweta Mahajan, Sanjay Haresh, Rajeev Yasarla, Reza Pourreza, Litian Liu, Risheek Garrepalli, Roland Memisevic

机构 * Qualcomm AI Research（高通人工智能研究院） ； York University（约克大学） ； Vector Institute for AI（向量人工智能研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.LG

AI总结 提出Ego-MC-Bench基准评估视频LLM在烹饪场景中的实时干预能力，并构建Ego-CoMist反事实合成数据集提升小模型性能。

Comments The project page is available at https://apratimbh.github.io/livecookv2/

SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data

SpecAlign: 通过合成数据实现高效的大语言模型规范对齐

Wenjie Wang, Yue Huang, Zhengqing Yuan, Han Bao, Shiyi Du, Yuchen Ma, Yue Zhao, Yanfang Ye, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； Carnegie Mellon University（卡内基梅隆大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出规范对齐新范式，通过从规范文档合成数据（SpecAlign框架），结合结构化规则标注、可控规范实例化和多智能体对抗数据合成，生成细粒度偏好对，提升规则遵守度且不损害通用能力。

Comments 58 pages

Most biomedical publications show signs of LLM-assisted writing

大多数生物医学出版物显示出大语言模型（LLM）辅助写作的迹象

Lena Holzwarth, Rita González-Márquez, Dmitry Kobak

机构 * Hertie Institute for AI in Brain Health, University of Tübingen（蒂宾根大学赫蒂脑健康人工智能研究所） ； Ghent University（根特大学） ； VIB（弗拉芒生物技术研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出基于词频变化的无偏方法估计文本语料库中LLM使用情况，发现到2025年底89%的生物医学论文存在LLM相关词汇过量，讨论部分LLM使用率是方法部分的两倍，相关估计对制定指南政策至关重要。

Beyond "AI Language": The case for the idiolectal nature of LLM output

超越“AI语言”：论大语言模型输出的个体方言本质

Karolina Rudnicka, Thomas Stephan Juzek

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出LLM输出具有个体方言本质，通过分析两个LLM生成文本数据集，发现模型间存在独特语言特征，该视角对多领域研究有潜在价值。

Comments 33 pages, 6 figures, 6 tables. Submitted as a chapter to the post-workshop volume "Corpus Linguistics 2040" (Digital Linguistics series)

Why Formal Monitors Fail: Attack Distribution Entropy as a Coverage Bound for LTL-Based LLM Agent Safety

形式化监视器为何失效：攻击分布熵作为基于LTL的LLM智能体安全的覆盖边界

Ruiyang Zhang

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 该研究揭示基于LTL的LLM智能体安全监视器覆盖差异源于攻击分布熵，提出熵-覆盖边界并验证，引入部署前熵测试，可预测监视器覆盖并支持架构感知选择。

Comments 6 pages, 1 figure. Accepted at the 13th IEEE International Conference on Intelligent Systems (IS'26), Varna, Bulgaria, 2026

Information-Theoretic Limits of Reliability and Scaling in Language Models

语言模型中可靠性和扩展性的信息论极限

Subhabrata Majumdar

机构 * Indian Institute of Management Bangalore（班加罗尔印度管理学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型可靠性和扩展性的信息论极限，通过分析任务输出不确定性等因素得出缩放定律，指出LLM性能受训练数据或模型容量限制，还统一多种实际现象，提供生成语言模型性能极限的统一理论。

Comments 29 pages, 2 figures

Emotion Profiling in LLM-Based Literary Translation: Systematic Shifts Across MT and Post-Editing

基于LLM的文学翻译中的情感特征：机器翻译与译后编辑的系统性转变

Antonio Castaldo, Johanna Monti, Sheila Castilho

机构 * University of Pisa（比萨大学） ； Dublin City University（都柏林城市大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究LLM翻译的情感特征及译后编辑如何使其接近人类翻译，通过对比《Oryx and Crake》的LLM翻译、译后编辑版本和人类翻译，发现MT系统引入特定情感指纹，削弱作者声音。

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

数据受限语言模型预训练的数据增强

Michael K. Chen, Xikun Zhang, Fan Bai, Zhengding Hu, Zhen Wang

机构 * UC San Diego（加州大学圣地亚哥分校） ； RMIT University（皇家墨尔本理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对数据受限下标准自回归预训练严重过拟合的问题，提出三类数据增强方法（token级噪声、序列排列、目标偏移预测），有效降低验证损失并支持数百epoch训练。

TEAMMix: Taxonomy Enrichment Augmentation and Minority-augmented Mixing Strategy for LLM-enhanced Weak-Supervised Hierarchical Text Classification

TEAMMix：用于大语言模型增强弱监督分层文本分类的类别体系丰富增强与少数类增强混合策略

Jian Zhang, Zhuohao Yang, Songlin Lei, Bangli Liu, Ziwei Wang, Xufeng Weng, Gehan Amaratunga, Yu Lin, Hongwei Wang

机构 * School of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC研究院） ； Shaoxing K3i Technology Co. Ltd（绍兴K3i科技有限公司） ； State Key Laboratory of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM应用于分层文本分类的局限，本文提出TEAMMix框架，通过丰富标签层次、生成伪样本并优化其质量，提升了细粒度及不平衡数据集上的分类性能。

Comments Accepted by IEEE CSCWD 2026

Scalable Frequency- and Length-Aware Subdocument Deduplication for Large Language Model Pretraining

面向大语言模型预训练的可扩展、感知频率与长度的子文档去重

Hai Wang, Chenhao Wang, Qifeng Cai, Yixiu Liu, Miao Peng, Nuo Chen, Yuanlin Tu, Chengcheng Xu, Feng Zhang

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(title)；language model(title)；分类 cs.CL

AI总结 针对大语言模型预训练的子文档去重难题，提出解耦重复检测与副本保留的可扩展框架，在基准数据集上实现最优模型性能，凸显显式副本保留控制的价值。

Deep Research Pretraining via Predictive Navigation

基于预测导航的深度研究预训练

Jiang Zhou, Zhiyuan Fan, Xing Wu, Tinghao Yu, Feng Zhang, Lilin Wang

机构 * Tencent（腾讯） ； Hunyuan Team（混元团队） 纠错

专题命中 预训练与数据 ：pretraining(title,summary_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出Deep Research Pretraining（DRP）离线框架，在学术引用图和维基百科超链接上预训练Qwen3-14B-Base模型，可提升智能体在多个基准任务上的表现，是轨迹智能体训练的补充方法。

Comments working in progress; correspondence to {ucaswu,maxwellyu}@tencent.com or wuxing@iie.ac.cn

EvoCause: LLM-Guided Evolution of Causal Graphs for Root Cause Analysis

EvoCause：基于大语言模型引导的因果图进化的根本原因分析

Lei Zan, Keli Zhang, Shifeng Xie, Jiale Zheng, Zehao Xiao, Zhiwei Dong, Ke Zhang, Ruichu Cai, Malik Tiomoko, Lujia Pan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 EvoCause 用 LLM 优化因果图以提升电信等系统的根本原因分析性能，发布了 TeleRCA 基准，在合成数据和真实网络数据上均优于基线方法。

Grounded autonomous research: a fault-tolerant LLM pipeline from corpus to manuscript in frontier computational physics

基于语料库的前沿计算物理容错LLM流水线：从语料到论文的自主研究

Haonan Huang

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个端到端LLM流水线，从11,083篇arXiv论文语料库出发，自主完成前沿计算物理研究，包括构思方向、复现文献、第一性原理计算和撰写论文，通过冗余设计实现容错。

Comments 39 pages, 5 figures. Accepted at the ICML 2026 AI for Science Workshop (https://openreview.net/forum?id=R5YXaPgUAx). Includes the pipeline-generated companion physics manuscript as an appendix. Data and scaffolding archive: https://doi.org/10.5281/zenodo.21126996

Libretto: Giving LLM Agents a Sense of Musical Structure

Libretto：赋予LLM智能体音乐结构感

Yichen Xu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Libretto框架，通过LLM原生语法（显式起始槽、声部、小节组织）和基于语料库的统计评估（节奏、和声、旋律等），实现符号音乐的生成、诊断与迭代自修正，将符号音乐转化为可测量、可编辑的对象。

Co-Construction Blindness and Asymmetric Epistemic Vulnerability in Human-LLM Interaction

人机交互中的共构盲点与非对称认知脆弱性

Bianca Helena Ximenes

机构 * Independent Researcher（独立研究者） ； Universidade Federal de Pernambuco（巴伊亚联邦大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出共构盲点与非对称认知脆弱性两个概念，揭示用户与LLM交互中因忽视输出共构性而产生的结构性风险，并以道金斯案例说明权威地位差异导致的不对称后果。

Comments 12 pages, out of which 2 are transcripts; Target venue: CHI 2027

Understanding Key Features of Time Series Foundation Models from Epidemic Forecasting

从流行病预测理解时间序列基础模型的关键特征

Alireza Jafari, Judy Fox, Geoffrey C. Fox, Madhav Marathe, Aniruddha Adiga

机构 * Department of Computer Science, School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院计算机科学系） ； School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Biocomplexity Institute, University of Virginia（弗吉尼亚大学生物复杂性研究所） ； Department of Electrical and Computer Engineering, School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院电气与计算机工程系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 系统评估多种时间序列模型在流感预测中的表现，发现混合专家模型性能最优，预训练在长时域提升显著，而LLM方法效果较差。

Comments 15 pages, 2 figures, 9 tables

SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents

SING: 用于LLM代理中可扩展主动工具发现的合成意图图

Qiao Xiao, Haochen Shi, Yisen Gao, Wenbin Hu, Huihao Jing, Tianshi Zheng, Baixuan Xu, Ziheng Zhang, Weiqi Wang, Haoran Li, Jiaxin Bai, Yangqiu Song

机构 * Cornell University（康奈尔大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Ohio State University（俄亥俄州立大学） ； Hong Kong Baptist University（香港浸会大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SING框架，通过构建意图-工具图并动态检索工具，在长周期任务中提升工具发现准确率，Global Recall@5提高59.8%，下游成功率提高28.9%。

LLM-as-a-Discriminator: When Synthetic Tables Still Look Real

LLM作为判别器：当合成表格看起来仍然真实

Manel Slokom, Malek Slokom, Thierno Kante

机构 * Vrije Universiteit, Amsterdam（阿姆斯特丹自由大学） ； Equativ, Paris（Equativ，巴黎） ； EDICIA, Nantes（EDICIA，南特） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出用LLM区分真实与合成表格数据，测试不同设置和模型，发现LLM判别可作为实用的隐私审计信号。

The Routing Plateau: Understanding and Breaking the Accuracy Limits of LLM Routers

路由平台：理解并突破LLM路由器的准确性极限

Yifan Lu, Qiyue Zhang, Shenrun Zhang, Zhibo Yu, Zhuang Wang, Hanjie Chen, Jiarong Xing

机构 * Rice University（莱斯大学） ； Amazon（亚马逊） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究发现多种LLM路由方法存在“路由平台”现象，即准确性趋同且远低于理想路由器，主要原因是可预测性瓶颈；通过增大训练数据、更强编码器和端到端微调可突破平台。

Comments 23 Pages, 12 Tables, 9 Figures

Mimicry without understanding: the origins of decision bias in large language models

无理解的模仿：大语言模型中决策偏差的起源

Eldad Yechiam, Adi Tarabeih

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示大语言模型（LLMs）存在两类偏差生成机制，经四项经济偏差实验发现ChatGPT-4o和Qwen会表现出社会认同偏差与损失厌恶偏差，偏差程度可被科学报告预测，还明确了LLMs偏差的潜在组成过程。

Comments 33 pages, 3 figures, 2 boxs

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

LittleLearner：受教学可控知识暴露约束的语言模型

Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel

机构 * Ellis Institute（埃利斯研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)

AI总结 本研究推出专为美国小学定制的LITTLECURRICULUM语料库，训练得到受知识边界约束的LittleLearner模型，构建沙盒用于研究模型知识习得，实验证实其注入新知识后不会提升超范围能力。

Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis

知识综合评审框架：面向多源证据综合的基于大语言模型系统的任务级基准测试

Wafa Shafqat, Mark Patterson, Steven N. Liss

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出KSR人机协作框架，将证据综合拆分为4项任务，对4款LLM系统开展任务级基准测试，发现各系统各有优劣，该框架可揭示单源综合遗漏的信息，且透明可审计。

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

Tangent: An Empirical Study of Testing Practices for LLM-Based Agent Applications

Tangent：基于大语言模型的智能体应用测试实践的实证研究

Rangeet Pan, Tyler Stennett, Divya Sankar, Bridget McGinn, Alessandro Orso, Raju Pavuluri, Saurabh Sinha, Maja Vukovic

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 Tangent通过对开源项目和行业从业者的研究，分析了LLM智能体应用的测试现状，发现其以单元测试为主、存在覆盖不足等问题，并提出了相关研究方向。

Comments Accepted at ASE'26

Unreliable in Practice? A Comprehensive Study of Errors in LLM-Generated Code

实践中不可靠？对大语言模型生成代码中的错误的综合研究

Rodrigo Pato Nogueira, Marco Vieira, João R. Campos

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究分析7款LLMs生成的86726个含错代码样本，对比不同模型、语言的错误模式，发现大型模型也常犯简单错误，代码常省略关键安全检查，为提升LLM生成代码可靠性提供依据。

Comments Accepted for publication in the 37th IEEE International Symposium on Software Reliability Engineering (ISSRE) 2026