语言大模型 / LLM

Decodable But Not Detachable: Training Data Granularity Determines Parametric Modularity in Large Language Models

可解码但不可分离：训练数据粒度决定大语言模型的参数模块化

Marcus Armstrong, Navid Ayoobi, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 该研究探讨大语言模型是否存在特定领域参数壳，通过多模型、多领域实验发现训练数据的标记级模块化是参数壳形成的关键，为大语言模型的参数模块化研究提供了核心结论。

Reducing Pretraining-Generation Mismatch in Diffusion Language Models

减少扩散语言模型中的预训练-生成不匹配

Xiaocheng Lu, Huabin Liu, Song Guo, Jianguo Li

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 该研究针对扩散语言模型的预训练-生成不匹配问题，提出 PCD 方法，在不改变推理模式的情况下，在 LLaDA2-Mini 和 Qwen 模型上显著提升了性能。

Comments 12 pages, 9 figures, 1 table

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。

OntoBook: Ontology-Grounded Synthetic Textbooks for Medical Encoder Pretraining

OntoBook：用于医学编码器预训练的基于本体的合成教科书

Rian Touchent, Éric de la Clergerie

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract,journal_ref)；language model(abstract,journal_ref)；LLM(abstract)

AI总结 研究提出OntoBook方法，将医学本体结构转为预训练信号，经随机游走、大语言模型重述等三阶段，用生成文本训练法语编码器，在多基准测试中有显著改进，强调目标对齐必要，还发布了相关教科书与模型检查点。

Journal ref Proceedings of Knowledge Graphs and Large Language Models Workshop, May 2026, Palma de Mallorca, Spain

Convolution for Large Language Models

大语言模型中的卷积

Yuchuan Tian, Yingte Shu, Wei He, Shuo Zhang, Tianchen Zhao, Chao Xu, Xinghao Chen, Yunhe Wang, Hanting Chen, Yu Wang

机构 * Peking University（北京大学） ； Huawei Technologies（华为技术有限公司） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究大语言模型中，轻量级深度卷积能否在不大幅增模型大小的情况下提供局部归纳偏差。通过实验发现特定位置应用卷积效果最佳，采用特定残差深度卷积设计，在多个模型和数据预算下提升了下游基准平均准确率，支持其作为自注意力补充建模短程交互。

Comments 12 pages, 5 figures

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

基于病理切片基础模型的多教师蒸馏预训练多实例学习网络

Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； University of Washington（华盛顿大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； Medical Optical Technology R&D Center, Research Institute of Tsinghua（清华研究院医学光学技术研发中心） ； Jinfeng Laboratory（金凤实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

AI总结 针对计算病理学中多实例学习存在的问题，提出基于蒸馏的预训练框架，利用两个基础模型作为教师，引入角分散归一化蒸馏损失，将蒸馏权重用于下游适应，实验表明该方法在少样本场景中优势明显，能提升计算效率。

NeuroOnline: Bridging Pretraining and Online Adaptation for EEG Foundation Models

NeuroOnline：为脑电图基础模型搭建预训练与在线适应的桥梁

Weibin Li, Wendu Li, Yushan You, Chen Wei, Quanying Liu

机构 * Southern University of Science and Technology（南方科技大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 研究脑电图基础模型，提出NeuroOnline框架，集成多视图一致性学习和上下文感知表示调制机制，统一表示对齐和动态适应，实验表明其在在线设置中性能优于基线。

Evaluating Pluralism in LLMs through Latent Perspectives

通过潜在视角评估LLM中的多元主义

Laura Majer, Jan Šnajder, Martin Tutek

机构 * University of Helsinki（赫尔辛基大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出一种领域无关的多层无监督框架，从LLM生成文本中提取潜在视角，评估多元主义差距，发现稀有视角仍被不成比例地低估。

Comments Pluralistic Alignment Workshop @ ICML 2026

SlideCheck: Guiding Self-Supervised Pretraining of Pathology Foundation Models via Dataset Distributions

SlideCheck: 通过数据集分布引导病理基础模型的自监督预训练

Mingyi He, Xinyi Guo, Xitong Ling, Weiming Chen, Jiawen Li, Lianghui Zhu, Minxi Ouyang, Mingxi Fu, Yizhi Wang, Tian Guan

机构 * Beijing University of Chemical Technology（北京化工大学） ； South China Normal University（华南师范大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

AI总结 提出SlideCheck工具，利用冻结病理基础模型的特征，通过双头MLP评分异常和恶性证据，引导自监督预训练数据筛选，实验表明数据分布影响模型下游性能。

Comments 9 pages, 2 figures, 4 tables

Backtrader-Bench: Benchmarking LLM Agents on Algorithmic Trading with Self-Generated MCQs

Backtrader-Bench：基于自生成多项选择题的算法交易大语言模型智能体基准测试

Ruoxi Zhao, Maziar Raissi

机构 * University of California, Riverside（加利福尼亚大学河滨分校） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 Backtrader-Bench是用于算法交易LLM智能体的基准框架，通过自生成MCQ解决评估难题，实验显示带工具智能体准确率显著高于无工具模型，还可生成强化学习训练语料以构建专用量化交易智能体。

Comments Accepted to the FinLLM Workshop at IJCAI 2026. Code and data: https://github.com/rzhao999/Backtrader-Bench

DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

数据编排器：学习编排预训练数据的示例级整理

Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对预训练数据处理未适应各示例需求的问题，提出DataOrchestra框架，统一处理操作并为每个示例编排特定管道，经实验验证该框架在多基准测试中表现良好，在数学持续预训练中有效且能减少计算。

Comments 36 pages

DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning

DomainPilot：用于高效语言模型微调的域级损失引导两阶段数据混合优化

He Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；SFT(abstract)

AI总结 研究针对大语言模型训练数据问题，提出DomainPilot框架，通过域级损失引导两阶段数据混合优化，经令牌级监测、缩放与混合定律引导优化，在Qwen3-1.7B模型微调中验证，有效提升指标且不增成本。

Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection

超越安全数据：具有正则安全反射的预训练阶段对齐

Jinhan Li, Kexian Tang, Yihan Xu, Zhuorui Ye, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出安全反射预训练方法，在预训练语料中插入安全反思，使模型具备自我监控能力，实验表明该方法能有效降低推理和微调攻击成功率。

CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment

CHILLGuard：面向细粒度中文大语言模型安全护栏的可扩展数据构建与模型感知偏好对齐

Wenbo Yu, Bohua Wang, Hao Fang, Kuofeng Gao, Jingru Zeng, Xiaochen Yang, Tianyi Zhang, Xiaoxiao Ma, Jiawei Kong, Hao Wu, Bin Chen, Shu-Tao Xia, Min Zhang

机构 * Tsinghua University（清华大学） ； Beijing Normal University（北京师范大学） ； South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen ShenNong Information Technology Co., Ltd.（深圳神农信息技术有限公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对中文场景，提出细粒度风险分类体系（5大类31小类），通过可扩展数据构建管道生成高质量训练数据，并采用模型感知直接偏好优化训练CHILLGuard，在基准上F1分数提升15.92%。

Time Series as Language: A Universal Tokenizer for General-Purpose Time Series Foundation Models

时间序列作为语言：通用时间序列基础模型的通用分词器

Yunhao Zhang, Ruiying Qi, Jiale Zheng, Jianfeng Zhang, Lujia Pan, Junchi Yan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出UniTok通用分词器将时间序列转化为离散令牌，并基于NTP预训练UniTok-FM基础模型，支持零样本预测、提示增强预测以及少样本生成和分类，无需任务特定修改。

Community-Specific Slang and Entity Detection via Semantic Shift in Fine-Tuned Language Models

通过微调语言模型中的语义偏移检测社区特定俚语和实体

Julia Kruk, Sanchita Porwal, Amitrajit Bhattacharjee, Mansi Phute

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出无监督方法，通过测量词在微调前后的语义偏移幅度，从在线社区文本中自动识别俚语、独特实体和民俗用语。

Comments 6 pages, 6 figures, 2 tables

Hearing the Unspoken: Language Model Priors for Acoustic Adversarial Attacks

听弦外之音：面向声学对抗攻击的语言模型先验

Jiani Xie, Andrew C. Cullen, Paul Montague, Benjamin I. P. Rubinstein

机构 * University of Melbourne（墨尔本大学） ； DST Group（DST集团） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Semantic Gambit攻击，利用大语言模型实时提供预测上下文，突破因果限制，使实时ASR系统词错误率提升至35.6%，较当前最优方法提高三倍。

CoGate: Confidence-Gated Co-Decoding for Secure Code Generation

CoGate：用于安全代码生成的置信门控协同解码

Minghao Hu, Lannan Luo, Allen Roush, Phillip Howard

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 针对现有协同解码未考虑专家模型置信度的问题，提出CoGate方法，在多LLM后端和代码生成基准上优于CoSec+，在CWEval的Func-Sec@10指标最高提升12.6%。

Auditing pretraining contamination in single-cell foundation model benchmarks

单细胞基础模型基准中的预训练污染审计

Sarwan Ali

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 研究单细胞基础模型基准中的预训练污染问题，提出scContam审计框架，结合指纹信号与成员推理攻击。应用于多个基准和模型，发现部分基准有污染，且MIA-scFM的AUROC与模型容量数据比有关，证明预训练审计可行且应伴随基准报告。

The CRAFT principles for the responsible use of large language models in policymaking

政策制定中负责任使用大语言模型的CRAFT原则

Willem Fourie, Gray Manicom, Tanya de Villiers-Botha

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究政策制定中如何利用大语言模型，提出CRAFT原则，即控制、严谨、问责、公平和透明，以在管理风险的同时充分利用大语言模型改善政策制定过程。

Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

组件系统中通用多样性标度的替代路径：从蛋白质组到大语言模型

Andrea Mazzolini, Leonardo Agasso, Filippo Valle, Michele Caselle, Marco Cosentino Lagomarsino, Matteo Osella

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究复杂组件系统中多样性标度定律的涌现条件，发现创新驱动增长模型与潜在异质性模型均能产生相同的宏观定律，但无法唯一确定生成机制。

Understanding the (In)Security of Vibe-Coded Applications

理解“氛围编码”应用的安全性（与非安全性）

Junquan Deng, Zhiyu Fan, Ruijie Meng

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文系统研究了通过“氛围编码”范式开发的应用的安全性，发现其存在占位符逻辑、未过滤输入和秘密泄露等重复性漏洞模式，根源在于AI代理的系统性局限，且即使改进LLM能力也无法消除根本风险。

Formal-Method-Guided Vibe Coding: Closing the Verification Loop on AI-Generated Safety-Critical Software Through Model-Driven Engineering

形式化方法引导的Vibe编码：通过模型驱动工程关闭AI生成安全关键软件的验证循环

Ran Wei, Le Zhu, Haochi Wang, Jim Woodcock, Fang Yan, Simon Foster, Xiangyang Ji

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出Forge管道，结合Vibe编码与模型驱动工程，通过多种形式化验证（Dafny、CSP、Isabelle）迭代修正LLM生成的Java代码，生成符合安全标准的验证证据。

Can Multi-Agent LLMs Identify Their Peers? Stylometric Fingerprinting in Role-Constrained Political Analysis

多智能体大语言模型能否识别其同类？角色约束政治分析中的笔迹风格指纹识别

Juergen Dietrich

机构 * Democracy Intelligence gGmbH 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多智能体LLM在政治分析中能否通过笔迹风格识别模型家族，提出SD-CV协议，T5模型在五类归属任务中达到F1=0.991，证明提示级匿名化无法消除模型身份信号。

Comments 24 pages, 3 figures

Continuous-Latent Predictive Modeling with Semantic Alignment for EEG-Language Foundation Models

面向EEG-语言基础模型的语义对齐连续隐式预测建模

Myeong-Ju Cho, Hye-Bin Shin, Seo-Hyun Lee, Seong-Whan Lee

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出BLPM模型，通过CELP编码器与MQSD模块对齐EEG语义，解决EEG基础模型预训练的关键挑战，在多基准任务中实现良好泛化。

Comments 19 pages, 3 figures; supplementary material included

DS@GT-ARC at eRisk 2026 Task 3: Sparse, Semantic, and LLM Reranking for ADHD Symptom Sentences

佐治亚理工学院DS团队参加eRisk 2026任务3：针对ADHD症状句子的稀疏、语义及大语言模型重排序

David Guecha

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本文介绍佐治亚理工学院DS团队针对eRisk 2026任务3，采用分阶段检索结合稀疏BM25、语义及LLM重排序的方案，其中LLM重排序器取得官方最优成绩，分阶段重排序具发展前景。

Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers

噪声从何而来？大语言模型品牌答案中非确定性的方差成分分解

Dmitrij Żatuchin

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型品牌答案中非确定性的来源，通过交叉随机效应分解将响应级品牌结果总方差分为提示内重采样等四个来源，应用于多语言多模型语料库，发现查询语言是最大方差来源，跨语言和模型能提升可靠性而非重复提示。

Comments 18 pages, 6 tables, 3 code listings

Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior

量化数据影响与数据相似性之间的一致性以理解LLM行为

Christopher J. Anders, Henrique Da Silva Gameiro, Nico Daheim, Mohammad Emtiyaz Khan

机构 * RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（日本东京理化学研究所先进智能项目中心） ； Section of Computer Science, EPFL Lausanne, Switzerland（瑞士洛桑联邦理工学院计算机科学系） ； Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt（达姆施塔特工业大学计算机科学系泛在知识处理实验室） ； National Research Center for Applied Cybersecurity ATHENE, Germany（德国国家应用网络安全研究中心ATHENE） ； TU Darmstadt & Hessian Center for AI (hessian.AI), Darmstadt, Germany（达姆施塔特工业大学与黑森州人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 通过排序重叠量化数据相似性与数据影响在输出追踪中的一致性和不对称性，并利用不对称性实现成本-精度权衡。

Comments 37 pages, 35 figures, preprint

The Stanford EDGAR Filings Dataset: Reconstructing U.S. Corporate and Financial Disclosures into Layout-Faithful and Token-Efficient Pretraining Data

斯坦福EDGAR文件数据集：将美国公司及财务披露重建为布局忠实且令牌高效的预训练数据

Nick Bettencourt, Xiaowei Ding, Kay Giesecke

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Nanjing University（南京大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 为解决长上下文文档稀缺问题，提出SEFD数据集，将SEC文件重建为布局忠实的MultiMarkdown格式，用于金融语言建模与评估，具有令牌高效、与Common Crawl重叠率低于0.1%的特点。

Comments Preprint. Includes appendix, tables, and figures

Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model

训练混合：将小规模支架式预训练运行重组为更大的语言模型

Mohammed Sabry, Sean Augenstein, Keith Rush, Lucio Dery

机构 * Google（谷歌公司） ； School of Computing, Dublin City University（都柏林城市大学计算机学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI

AI总结 本研究提出训练混合（MoT）框架，将Transformer划分为层块在冻结对齐器内独立训练后重组，在13亿参数Gemma模型上验证其可重组为可用语言模型，可复用对齐器实现计算优势，用于研究可复用训练单元。

Comments Accepted at the Workshop on Methods and Opportunities at Small Scale (MOSS), COLM 2026