语言大模型 / LLM

UniCA: Unified Covariate Adaptation for Time Series Foundation Model

UniCA: 时空基础模型的统一协变量适应

Lu Han, Yu Liu, Lan Li, Qiwen Deng, Jian Jiang, Yinbo Sun, Zhe Yu, Binfeng Wang, Xingyu Lu, Lintao Ma, Han-Jia Ye, De-Chuan Zhan

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院，中国） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室，中国） ； Ant Group, Hangzhou, China（蚂蚁集团，杭州，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 UniCA通过协变量同质化和统一注意力融合机制，提升时空基础模型对异质协变量的适应能力，实验证明其在多模态预测任务中的优越性。

Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge

理解Transformer中的上下文回忆：微调如何使模型在预训练知识上进行上下文推理

Bhavya Vasudeva, Puneesh Deora, Alberto Bietti, Vatsal Sharan, Christos Thrampoulidis

机构 * University of Southern California（南加州大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Flatiron Institute（Flatiron研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了Transformer模型在上下文学习中如何通过微调实现对预训练知识的推理，探讨了预训练和微调对上下文回忆能力的影响及机制。

Comments 28 pages, 26 figures

Diffutron: A Masked Diffusion Language Model for Turkish Language

Diffutron：一种针对土耳其语言的掩码扩散语言模型

Şuayp Talha Kocabay, Talha Rüzgar Akkuş

机构 * Hugging Face 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Diffutron，一种专为土耳其语言设计的掩码扩散语言模型，通过高效训练流程和分阶段指令微调，实现了紧凑模型在土耳其语言生成任务中的竞争力表现。

VEPO: Variable Entropy Policy Optimization for Low-Resource Language Foundation Models

VEPO：用于低资源语言基础模型的变量熵策略优化

Chonghan Liu, Yimin Du, Qi An, Xin He, Cunqi Zhai, Fei Tan, Weijia Lin, Xiaochun Gong, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang

专题命中 预训练与数据 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VEPO，通过强化学习可验证奖励整合确定性结构约束，提升低资源语言的分词效率和翻译质量。

Comments 23 pages. Includes figures and tables. Conference submission

Optimal Splitting of Language Models from Mixtures to Specialized Domains

从混合数据中语言模型的最优分割以专用于特定领域

Skyler Seto, Pierre Ablin, Anastasiia Filippova, Jiayuan Ye, Louis Bethune, Angelos Katharopoulos, David Grangier

机构 * Apple（苹果公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种方法，通过独立预训练多个模型并利用缩放定律确定预训练和继续预训练之间的最佳计算分配，从而提升不同模型大小和计算预算下的常识知识和推理基准性能。

Comments 26 pages, 11 tables, 17 figures

Tokenization Tradeoffs in Structured EHR Foundation Models

结构电子健康记录基础模型中的分词权衡

Lin Lawrence Guo, Santiago Eduardo Arciniegas, Joseph Jihyung Lee, Adam Paul Yan, George Tomlinson, Jason Fries, Lillian Sung

机构 * Child Health Evaluative Sciences（儿童健康评估科学） ； The Hospital for Sick Children（圣迈克尔医院） ； University Health Network（大学健康网络） ； Department of Medicine（医学部） ； Division of Computational Medicine, Department of Medicine（计算医学科，医学部） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响，通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优，且计算效率更高。

Not All Queries Need Rewriting: When Prompt-Only LLM Refinement Helps and Hurts Dense Retrieval

并非所有查询都需要重写：当仅提示的LLM细化在密集检索中帮助和损害时

Varun Kotte

机构 * Adobe（Adobe公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了仅提示的LLM查询重写对密集检索的影响，发现其效果高度依赖领域，通过实验发现重写在不同数据集上产生不同效果，并指出领域适应性后训练比单纯重写更安全。

CAMEL-CLIP: Channel-aware Multimodal Electroencephalography-text Alignment for Generalizable Brain Foundation Models

CAMEL-CLIP：面向通用脑基础模型的通道感知多模态EEG-文本对齐

Hanseul Choi, Jinyeong Park, Seongwon Jin, Sungho Park, Jibum Kim

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Incheon National University（庆尚国立大学） ； Department of Artificial Intelligence（人工智能系） ； Inha University（Inha大学） ； Center for Brain-Machine Interface（脑机接口中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 CAMEL-CLIP通过通道属性位置编码、动态通道投影和双级对比学习，提升EEG-文本多模态基础模型在通道异质性下的鲁棒性，实验表明其在线性探测中表现最优。

Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing

专家阈值路由用于自回归语言模型的动态计算分配与负载均衡

Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出专家阈值路由方法，通过动态计算分配和负载平衡机制提升自回归语言模型性能，实验显示其在预训练任务中表现更优。

Lightweight Time Series Data Valuation on Time Series Foundation Models via In-Context Finetuning

基于上下文微调的轻量时间序列数据估值方法

Shunyu Wu, Tianyue Li, Yixuan Leng, Jingyi Suo, Jian Lou, Dan Li, See-Kiong Ng

机构 * Sun Yat-sen University State Key Laboratory of Internet Architecture（中山大学互联网架构国家重点实验室） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LTSV方法，通过上下文微调实现轻量时间序列数据估值，有效解决传统方法的计算瓶颈和时间依赖性问题。

Comments Accepted as a full paper at DASFAA 2026 (The 31st International Conference on Database Systems for Advanced Applications)

Experiences Build Characters: The Linguistic Origins and Functional Impact of LLM Personality

经验塑造性格：大语言模型人格的语言起源与功能影响

Xi Wang, Mengdie Zhuang, Jiqun Liu

机构 * University of Sheffield（谢菲尔德大学） ； University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过持续预训练和大五人格框架，揭示了大语言模型人格的形成机制，发现模型能力在特定性格类型中表现最佳，并揭示了训练数据语言特征对推理性能的影响。

Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems

对齐反噬：在16种语言的LLM多智能体系统中语言依赖性的安全干预逆转

Hiroki Fukui

机构 * Research Institute of Criminal Psychiatry / Sex Offender Medical Center（犯罪精神病研究所以及性犯罪医疗中心） ； Department of Neuropsychiatry, Kyoto University（京都大学神经精神病学系） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现，在不同语言的LLM多智能体系统中，对齐干预可能导致安全措施的逆转，揭示了语言空间对对齐效果的决定性影响。

Comments 89 pages, 4 figures, 4 supplementary figures, 12 supplementary tables; preprint

Learning to Read Where to Look: Disease-Aware Vision-Language Pretraining for 3D CT

学习如何注视：面向3D CT的疾病感知视觉-语言预训练

Simon Ging, Philipp Arnold, Sebastian Walter, Hani Alnahas, Hannah Bast, Elmar Kotter, Jiancheng Yang, Behzad Bozorgtabar, Thomas Brox

机构 * Computer Vision Group, University of Freiburg, Germany Adaptive \& Agentic AI (A3) Lab, Aarhus University, Denmark Department of Radiology, Medical Center -- University of Freiburg, Germany Chair of Algorithms ； Data Structures, University of Freiburg, Germany ELLIS Institute Finland School of Electrical Engineering, Aalto University, Finland 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种面向3D CT的疾病感知视觉-语言预训练模型，通过对比预训练和基于提示的疾病监督，实现了文本到图像检索、疾病分类及内扫描片段定位的统一模型。

General Protein Pretraining or Domain-Specific Designs? Benchmarking Protein Modeling on Realistic Applications

通用蛋白质预训练还是领域特定设计？在真实应用场景中对蛋白质建模的基准测试

Shuo Yan, Yuliang Yan, Bin Ma, Chenao Li, Haochun Tang, Jiahua Lu, Minhua Lin, Yuyuan Feng, Enyan Dai

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； Xiamen University（厦门大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Protap通过比较不同架构和预训练策略，在真实应用场景中评估蛋白质建模的性能，发现领域特定知识和结构信息对提升模型效果至关重要。

CourtGuard: A Model-Agnostic Framework for Zero-Shot Policy Adaptation in LLM Safety

CourtGuard：一种用于大语言模型安全的模型无关框架，用于零样本策略适应

Umid Suleymanov, Rufiz Bayramov, Suad Gafarli, Seljan Musayeva, Taghi Mammadov, Aynur Akhundlu, Murat Kantarcioglu

机构 * Department of Computer Science, Virginia Tech（弗吉尼亚理工大学计算机科学系） ； School of IT（信息技术学院） ； Engineering, ADA University（工程学院，ADA大学） ； School of Law, ADA University（法学院，ADA大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 CourtGuard通过证据辩论框架实现大语言模型的安全零样本适应，超越传统方法在多个安全基准测试中的表现，并具备跨领域泛化和自动数据审计能力。

Comments Under Review

Multimodal Wireless Foundation Models

多模态无线基础模型

Ahmed Aboulfotouh, Hatem Abou-Zeid

机构 * Department of Electrical and Software Engineering（电气与软件工程系） ； University of Calgary（卡尔加里大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出首个多模态无线基础模型，能处理IQ流和图像类无线模态，支持多种无线任务，展示了其在不同模态上的广泛应用潜力。

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

深度无知：过滤预训练数据在开放权重大语言模型中构建抗篡改的安全保障

Kyle O'Brien, Stephen Casper, Quentin Anthony, Tomek Korbak, Robert Kirk, Xander Davies, Ishan Mishra, Geoffrey Irving, Yarin Gal, Stella Biderman

机构 * EleutherAI ； UK AI Security Institute（英国人工智能安全研究所） ； University of Oxford（牛津大学） ； OATML, University of Oxford（OATML，牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过过滤预训练数据中的双用途内容，增强开放权重大语言模型的抗篡改能力，实验显示其在对抗微调攻击上表现优异，且未影响其他能力。

Comments https://deepignorance.ai/

Emergently Misaligned Language Models Show Behavioral Self-Awareness That Shifts With Subsequent Realignment

涌现性错位语言模型表现出会随后续重新对齐而变化的行为自我意识

Laurène Vaugrante, Anietta Weckauff, Thilo Hagendorff

机构 * Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart, Stuttgart, Germany（智能系统反思交流论坛，斯图加特大学，斯图加特，德国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现，经过特定微调的LLMs能自我评估其行为错位程度，表明模型具备行为自我意识并能反映其实际对齐状态。

Context-level Language Modeling by Learning Predictive Context Embeddings

通过学习预测上下文嵌入进行上下文级语言建模

Beiya Dai, Yuliang Liu, Daozheng Xue, Yunchong Song, Qipeng Guo, Kai Chen, Xinbing Wang, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ContextLM通过学习预测上下文嵌入，提升多令牌预测能力，实现更高效的参数和训练效率，同时在下游任务中表现更优。

Comments 19pages,6 figures, 13 Tables

Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models

面向上下文的反事实数据增强用于语言模型中的性别偏见缓解

Shweta Parihar, Liu Guangliang, Natalie Parde, Lu Cheng

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。

Team, Then Trim: An Assembly-Line LLM Framework for High-Quality Tabular Data Generation

团队后再修剪：一种用于高质量表格数据生成的流水线LLM框架

Congjing Zhang, Ryan Feng Lin, Ruoxuan Bao, Shuai Huang

机构 * Department of Industrial & Systems Engineering, University of Washington（华盛顿大学工业与系统工程系） ； Department of Management, Shanghai University（上海大学管理学院） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Team-then-Trim框架通过协作LLMs生成高质量表格数据，并结合三阶段质量控制流程，有效解决表格数据稀缺和质量低的问题。

Reusing Overtrained Language Models Saturates Scaling

重用过训练的语言模型饱和了扩展

Seng Pei Liew, Takuya Kato

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现重用过训练的语言模型在扩展时效率下降，揭示了多阶段预训练中的权衡关系。

Foundation CAN LM: A Pretrained Language Model For Automotive CAN Data

基础CAN语言模型：一种用于汽车CAN数据的预训练语言模型

Akiharu Esashi, Pawissanutt Lertpongrujikorn, Justin Makino, Yuibi Fujimoto, Mohsen Amini Salehi

专题命中 预训练与数据 ：language model(title)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基础CAN语言模型，通过预训练实现对汽车CAN数据的多目标下游泛化，推动汽车AI中的可泛化表征学习。

ChaosNexus: A Foundation Model for ODE-based Chaotic System Forecasting with Hierarchical Multi-scale Awareness

ChaosNexus: 一种基于微分方程的混沌系统预测的基础模型，具有分层多尺度意识

Chang Liu, Bohao Zhao, Jingtao Ding, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University, Beijing, China（电子工程系，BNRist，清华大学，北京，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 ChaosNexus通过ScaleFormer架构和MoE层实现对混沌系统多尺度和频谱特征的捕捉，提升长期预测精度和实际应用效果。

Mixtera: A Data Plane for Foundation Model Training

Mixtera: 一个用于基础模型训练的数据平面

Maximilian Böther, Xiaozhe Yao, Tolga Kerimoglu, Dan Graur, Viktor Gsteiger, Ana Klimovic

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Mixtera是一种用于基础模型训练的数据平面，允许用户声明性地控制数据样本的比例和顺序，以提升模型训练效果。

Comments accepted at SIGMOD'26; two column layout version

Culturally-Grounded Governance for Multilingual Language Models: Rights, Data Boundaries, and Accountable AI Design

基于文化背景的治理框架用于多语言语言模型：权利、数据边界与可问责的AI设计

Hanjing Shi, Dominic DiFranzo

机构 * Lehigh University（莱维大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于文化背景的多语言模型治理框架，强调权利、数据边界和可问责AI设计，以应对文化边缘社区的系统性风险。

Bridging Synthetic and Real Routing Problems via LLM-Guided Instance Generation and Progressive Adaptation

通过LLM引导的实例生成和渐进适应弥合合成与现实路由问题

Jianghan Zhu, Yaoxin Wu, Zhuoyi Lin, Zhengyuan Zhang, Haiyan Yin, Zhiguang Cao, Senthilnath Jayavelu, Xiaoli Li

机构 * A*STAR（新加坡科技研究局） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过LLM引导的实例生成和渐进适应方法，提升神经求解器在现实路由问题中的泛化能力。

Comments 21 pages; Published in AAAI 2026, Main Technical Track

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Paramanu：紧凑且具有竞争力的单语语言模型，用于低资源的形态丰富的印度语言

Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 Paramanu通过低成本训练方法，在五种印度语言上实现了高性能，优于多数多语言模型。

Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

伯尔津斯基-科斯特利茨-托夫勒相变在一种上下文敏感的随机语言模型中

Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

机构 * Graduate School of Information Science and Technology（信息科学与技术研究生学校） ； Hokkaido University（北海道大学） ； Institute for Solid State Physics（固态物理研究所） ； The University of Tokyo（东京大学） ； Henry Samueli School of Engineering and Applied Science（亨利·萨默塞特·艾利斯工程与应用科学学院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出一种上下文敏感的随机语言模型，通过数值实验展示了自然语言中存在BKT相变，揭示了语言结构与BKT相之间的关联。

Comments accepted for publication in PRE

Journal ref Phys. Rev. E 113, 015305 (Published 21 January, 2026)

Wavelet-Driven Masked Multiscale Reconstruction for PPG Foundation Models

小波驱动的掩码多尺度重建用于PPG基础模型

Megha Thukral, Cyrus Tanade, Simon A. Lee, Juhyeon Lee, Hao Zhou, Keum San Chun, Migyeong Gwak, Viswam Nathan, Md Mahbubur Rahman, Li Zhu, Mehrab Bin Morshed, Subramaniam Venkatraman, Sharanya Arcot Desai

机构 * Digital Health Team, Samsung Research America（三星美国数字健康团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于小波的掩码多尺度重建方法，通过自监督预训练提升PPG信号的多尺度特征学习能力，从而在多种健康相关任务中取得优于现有模型的性能。