语言大模型 / LLM

LF${}^{2}$AR: Accounting for Layerwise Dynamics to Improve Multimodal Adaptation of Language Models

LF²AR：考虑分层动态以改进语言模型的多模态适配

Santiago Cuervo, Adel Moumen, Yanis Labrak, Sameer Khurana, Antoine Laurent, Mickael Rouvier, Phil Woodland, Ricard Marxer

机构 * Université de Toulon, Aix-Marseille Université, CNRS, LIS, France（法国图卢兹大学、马赛大学、CNRS、LIS） ； Department of Engineering, University of Cambridge, UK（剑桥大学工程系） ； Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA, USA（三菱电机研究实验室（MERL）） ； LIA, Avignon Université, France（法国阿维尼翁大学LIA） ； LIUM, Le Mans Université, France（法国勒芒大学LIUM） ； Zenidoc, Marseille, France（法国马赛Zenidoc） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出LF²AR架构，通过分层抽象-细化动态设计适配机制，在文本转图像、语音模态上提升语言模型性能，支持1.9倍生成加速。

Comments Published as a conference paper at COLM 2026

Is Self-Pretraining really useful to improve diagnosis in medical Time Series?

自预训练（SPT）真的有助于改进医疗时间序列的诊断吗？

Omar Coser, Antonio Orvieto, Paolo Soda, Loredana Zollo

机构 * Università Campus Bio-Medico di Roma（罗马生物医学大学校园大学） ； Umeå University（于默奥大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究探究自预训练（SPT）对Transformer在医疗时间序列诊断任务的影响，发现SPT可提升分类准确率0-6个百分点，是无需修改架构的通用有效策略。

Comments 21 pages, 7 figures,4 tables

MultiPathFormer: Towards a Foundation Model for Multipath Wireless Propagation

MultiPathFormer：迈向多径无线传播的基础模型

Blessed Guda, Kayley Sze, Carlee Joe-Wong

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出MultiPathFormer，以多径传播为预训练对象，结合Environmental RAG机制，在27种环境预训练后，在多项无线通信下游任务中超越SOTA模型，验证了路径级预训练的有效性。

Pretraining Recurrent Networks without Recurrence

无递归预训练循环网络

Akarsh Kumar, Phillip Isola

机构 * MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出监督记忆训练（SMT）方法，通过将循环神经网络训练转化为一步记忆转换标签上的监督学习，实现时间并行训练和稳定梯度路径，优于反向传播通过时间（BPTT）方法。

Comments 30 pages, 23 figures

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

作为编码智能体基础模型中间训练的函数感知中间填充

Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of British Columbia（英属哥伦比亚大学） ； NVIDIA（英伟达公司） ； Verdent AI（Verdent人工智能公司） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对编码智能体将外部工具返回集成到推理中的问题，利用函数感知中间填充进行中间训练，在多个模型上提升了性能，并减轻了后训练对非智能体编码等基准测试的能力侵蚀。

Pretraining Data Can Be Poisoned through Computational Propaganda

预训练数据可通过计算宣传被下毒

Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（艾伦人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现预训练数据可通过公共讨论界面被下毒，引入HalfLife方法衡量恶意内容，探索在网络规模下毒预训练语料库的可行性，证明估计毒注入重要性，确立第三方网页内容为攻击语言模型预训练的可能载体。

PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

PluRel: 合成数据解锁关系基础模型的扩展定律

Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

机构 * Stanford University（斯坦福大学） ； SAP Labs LLC（SAP实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 PluRel通过合成多表关系数据库，实现了关系基础模型在扩展定律上的突破，展示了合成数据在提升模型泛化能力方面的潜力。

Comments ICML 2026

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

CDFM：迈向通用因果发现基础模型

Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

机构 * School of Computer Science, Guangdong University of Technology, Guangzhou, China（广东技术大学计算机科学学院） ； College of Mathematics and Computer, Shantou University, Shantou, China（汕头大学数学与计算机学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对因果发现中特定数据集方法的局限，提出通用框架CDFM，通过研究因果可识别性理论边界构建变分框架，将未知因果机制视为潜在变量，经大量合成模型预训练，性能优于传统算法，推动因果发现范式转变。

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

语言模型需要睡眠：学习自我修改和巩固记忆

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, Vahab Mirrokni

机构 * Google（谷歌） ； Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 受人类学习过程启发，提出“睡眠”范式，通过记忆巩固（知识播种）和梦境（自我改进）两阶段，使模型持续学习、将短期记忆转化为长期知识并自我提升。

Comments A version of this work has been publicly available from September 2025 on OpenReview

Inertia-1: An Open Exploration of Wearable Motion Foundation Models

Inertia-1：可穿戴运动基础模型的开放探索

Zongzhe Xu, Aakarsh Anand, Sarah Jiang, Chuntung Zhuang, Zitao Shuai, Sriram Sankararaman, Yuzhe Yang

机构 * John Hopkins University（约翰·霍普金斯大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究可穿戴运动基础模型，利用大量加速度计数据构建框架，涵盖数据、模型和训练选择等，通过多数据集评估得出有趣发现，不仅提供先进方法，还为可穿戴运动表示学习提供全面实用开放指南。

Rosetta: Composable Native Multimodal Pretraining

Rosetta: 可组合的原生多模态预训练

Xiangyue Liu, Zijian Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Ping Tan

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Rosetta框架，通过动量锚定正交投影（MAOP）实现无损模态扩展，解决多模态预训练中的灾难性遗忘和梯度冲突问题。

On the Nonlinearity of Learning Rate Scaling for LLM Training

关于大语言模型训练中学习率缩放的非线性研究

Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实验发现，在大规模训练中，最优学习率呈现向上弯曲的非线性缩放，而使用有效学习率（归一化权重空间的步长）和数据量外推可消除该非线性，并解释了其成因。

MACROCAST: A Vintage-Consistent Time Series Foundation Model for Real-Time Macroeconomic Forecasting

MACROCAST: 一种用于实时宏观经济预测的年份一致时间序列基础模型

Andrea Carriero, Davide Pettenuzzo, Shubhranshu Shekhar

机构 * School of Economics and Finance, Queen Mary University of London（伦敦大学玛丽女王学院经济与金融学院） ； School of Business and Economics, Brandeis University（布兰迪大学商学院与经济学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出MACROCAST，一种轻量级时间序列基础模型，通过纯合成数据预训练和年份特定数据微调，避免时间污染和修正偏差，在实时预测中优于现有模型。

Internal Data Repetition Destroys Language Models

内部数据重复破坏语言模型

Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

机构 * Stanford Computer Science（斯坦福大学计算机科学系） ； Stanford Statistics（斯坦福大学统计学系） ； Tel Aviv University（特拉维夫大学） ； IMC Trading 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究重复数据对语言模型的影响，通过无重复缩放定律量化计算等效损失，发现重复次数存在最坏点，且该点随模型规模呈幂律增长。

NeuroShield: A Device-Agnostic Foundation Model for EEG Authentication

NeuroShield: 一种设备无关的EEG认证基础模型

Matin Fallahi, Patricia Arias-Cabarcos, Thorsten Strufe

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） ； Joint Research Centre, European Commission（欧盟委员会联合研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对EEG认证中模型因采集设备差异而难以复用的问题，提出NeuroShield基础模型，采用双阶段Transformer架构从变通道、变长度EEG中学习身份判别嵌入，在三个公开数据集预训练后，微调后等错误率降低0.44-8.06个百分点，并泛化至未见过的通道布局和更长信号段。

Removing Noise, not Finding Gold: Quality Filtering for Large-Scale Pretraining

去除噪声，而非寻找黄金：大规模预训练的质量过滤

Thiziri Nait Saada, Louis Bethune, Michal Klein, David Grangier, Marco Cuturi, Pierre Ablin

机构 * Work done as an intern at Apple（苹果公司实习生） ； University of Oxford（牛津大学） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文深入分析基于分类器的质量过滤（CQF）方法，发现其虽提升下游任务性能，但会隐式过滤高质量数据，且与基于合成数据的模型行为趋势不同，质疑CQF捕捉数据质量的有效性。

Comments 21 pages, 22 figures, 2 tables, accepted at ICML 2026

A Multi-Center Study on the Adaptability of a Shared Foundation Model for Electronic Health Records

多中心研究：共享电子健康记录基础模型的适应性

Lin Lawrence Guo, Jason Fries, Ethan Steinberg, Scott Lanyon Fleming, Keith Morse, Catherine Aftandilian, Jose Posada, Nigam Shah, Lillian Sung

机构 * Program in Child Health Evaluative Sciences, The Hospital for Sick Children, Toronto, ON, 1 Canada（儿童健康评估科学计划，多伦多医院儿童医学中心，多伦多，加拿大） ； Stanford Center for Biomedical Informatics Research, Stanford University, Palo Alto, CA, USA（斯坦福大学生物医学信息学研究中心，斯坦福大学，帕洛阿尔托，美国） ； Universidad del Norte, Barranquilla, Columbia（北方大学，巴兰基利亚，哥伦比亚） ； Division of Haematology/Oncology, The Hospital for Sick Children, Toronto, ON, Canada（血液肿瘤科，多伦多医院儿童医学中心，多伦多，加拿大） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究评估了共享电子健康记录基础模型在不同医院间的适应性，证明其在较少标注数据下仍能提供优于本地训练的性能，且更高效。

Comments 46 pages, 5 figures, 3 tables, 14 appendices

Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts

基于队列锚定的电子健康记录基础模型：从风险评分到可审计的同行队列

Kaiping Zheng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出CAFM框架，将患者队列作为一等对象融入学习流程，通过四个阶段提升数据质量、组织表示并支持可审计决策，以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。

B[FM]$^2$: Brain Foundation Model via Flow Matching with SplitUNet

B[FM]$^2$: 基于流匹配与SplitUNet的脑基础模型

Jaedong Hwang, Kathleen Zhang, Wei Dai, Konstantinos Kontras, Maarten Vanmarcke, Maarten De Vos, Ila Fiete, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； KU Leuven（鲁汶大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出B[FM]$^2$，通过连续时间流匹配直接在原始EEG信号上预训练，避免离散化带来的时间动态损失，并设计SplitUNet网络处理时间-电极不对称性，在9个下游任务中7个达到最优，预训练数据量减少约30倍。

Nothing from Something: Can a Language Model Discover 0?

无中生有：语言模型能否发现0？

Phoebe Zeng, Thomas L. Griffiths, Brenden M. Lake

机构 * Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型能否独立发现“零”的概念，通过算术任务测试，发现GPT-2规模模型无法在测试时泛化，但少量示例训练后显著提升，且语言预训练减少所需示例约50%。

IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources

IHUBERT: 面向波斯语资源的基于向量的语义去重与领域平衡预训练

Arash Ghafouri, Mahdi Firouzmandi, Hossein Saberi, Mohammad Reza Hasani Ahangar

机构 * Department of Artificial Intelligence and Cognitive Science, Imam Hossein Comprehensive University（人工智能与认知科学系，伊玛目·侯赛因综合大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出IHUBERT，一个基于RoBERTa-base的波斯语预训练模型，通过多阶段预处理（包括基于向量数据库的语义去重和领域平衡）在45GB语料上训练，在多项NLU任务上取得领先结果，尤其抽取式问答表现突出。

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer: 一种用于视觉-语言-动作预训练的多模态动作分词器

Miracle Kang, Lights Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Sylas Chen, Shawn Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

机构 * Square Robot ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出X-Tokenizer，通过语义残差量化（SRQ）和掩码动作建模（MAM）将动作离散化为语义接口，在2.4M轨迹上预训练后提升VLA模型的多模态接地和长程任务性能。

Comments Project page: https://x-square-robot.github.io/X-Tokenizer_projectPage/

Emerging Flexible Designs for Geospatial Multimodal Foundation Models

地理空间多模态基础模型的新兴灵活设计

Philipe Dias, Waqwoya Abebe, Abhishek Potnis, Aristeidis Tsaris, Dan Lu, Xiao Wang, Dalton Lunga

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。

Unraveling Syntax: Language Modeling and the Substructure of Grammars

解析句法：语言建模与语法的子结构

Laura Ying Schulz, Daniel Mitropolsky, Tomaso Poggio

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究语言模型在上下文无关语法子结构上的学习行为，证明损失函数在顶层子语法上线性递归，并发现参数化模型并行学习子语法，子语法预训练能提升小模型性能并改善内部表征。

Comments Equal contribution by LYS and DM. Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality

枢纽或边缘：基于网页图中心性的预训练数据选择

Vedant Badoni, Danqi Chen, Xinyi Wang

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） ； Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出WebGraphMix框架，利用Common Crawl主机级网页图的结构中心性得分调整预训练数据中中心与边缘文档的比例，无需模型训练或标注数据，在400M和1B参数模型上平均性能提升至41.4%。

Comments 10 pages

Tractogram foundation model

TractFM：纤维束图基础模型

Guikun Chen, Yuqian Chen, Yijie Li, Yogesh Rathi, Nikos Makris, Fan Zhang, Wenguan Wang, Lauren J. O'Donnell

机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University, Hangzhou（脑机智能国家重点实验室，浙江大学，杭州） ； Department of Radiology, Brigham and Women’s Hospital, Mass General Brigham, Boston（放射科，布里洛妇女医院，马萨诸塞总医院，波士顿） ； Harvard Medical School, Boston（哈佛医学院，波士顿） ； Academy of Medical Engineering and Translational Medicine, Tianjin University, Tianjin（医学工程与转化医学研究院，天津大学，天津） ； School of Information and Communication Engineering, University of Electronic Science and Technology of China, Chengdu（信息与通信工程学院，电子科技大学，成都） ； Psychiatry Neuroimaging Laboratory, Brigham and Women’s Hospital, Mass General Brigham, Boston（精神病神经影像实验室，布里洛妇女医院，马萨诸塞总医院，波士顿） ； Department of Psychiatry, Center for Morphometric Analysis, Massachusetts General Hospital, Boston（精神病科，形态分析中心，马萨诸塞总医院，波士顿） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出TractFM基础模型，直接从全脑纤维束集学习可复用表示，结合局部纤维编码器和置换等变纤维束编码器，通过密集解剖束分割预训练，实现纤维束级和受试者级任务的迁移。

BCG-FM: A Foundation Model for Ambient Cardiac Health Sensing

BCG-FM：一种用于环境心脏健康感知的基础模型

Magnus Ruud Kjaer, Haejun Han, Ashish Neupane, David Q. Sun

机构 * Department of Computer Science and Engineering, University of California, San Diego（1 加州大学圣迭戈分校计算机科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出首个环境机械生物信号基础模型BCG-FM，利用床垫压电传感器无感采集心冲击图，通过14.6万人的275万小时数据预训练，在生物年龄估计上达到3.26年MAE，并实现15种健康状态的临床相关判别。

A robust PPG foundation model using multimodal physiological supervision

一种使用多模态生理监督的鲁棒PPG基础模型

Eloy Geenjaar, Vince Calhoun, Scott Daly, Gouthaman KV, Lie Lu, Trisha Mittal, Daniel P. Darcy

机构 * Dolby Laboratories（杜比实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种PPG基础模型，利用ICU数据集中的心电和呼吸信号选择对比样本，无需高质量或场域数据预训练，在15个下游任务中14个取得性能提升。

Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles

常见子结构可迁移吗？基于神经向量丛的黎曼图基础模型

Li Sun, Zhenhao Huang, Yiding Wang, Qin Chen, Pietro Lio, Philip S. Yu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对图结构迁移性理论缺失的问题，提出基于黎曼几何的神经向量丛框架GAUGE，通过内在几何学习实现可迁移子结构表征，在零样本链接预测和图同构任务中验证了优越性。

Comments Accepted by ICML 2026

Typhoon: Towards an Effective Task-Specific Masking Strategy for Pre-trained Language Models

Typhoon: 面向预训练语言模型的有效任务特定掩码策略

Muhammed Shahir Abdurrahman, Hashem Elezabi, Bruce Changlong Xu

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Typhoon，一种基于任务损失梯度的自适应掩码策略，在GLUE任务上对比随机掩码和整词掩码，经严格评估发现无显著优势。

Comments 9 pages, 2 figures