语言大模型 / LLM

Tokenization Tradeoffs in Structured EHR Foundation Models

结构电子健康记录基础模型中的分词权衡

Lin Lawrence Guo, Santiago Eduardo Arciniegas, Joseph Jihyung Lee, Adam Paul Yan, George Tomlinson, Jason Fries, Lillian Sung

机构 * Child Health Evaluative Sciences（儿童健康评估科学） ； The Hospital for Sick Children（圣迈克尔医院） ； University Health Network（大学健康网络） ； Department of Medicine（医学部） ； Division of Computational Medicine, Department of Medicine（计算医学科，医学部） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响，通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优，且计算效率更高。

Not All Queries Need Rewriting: When Prompt-Only LLM Refinement Helps and Hurts Dense Retrieval

并非所有查询都需要重写：当仅提示的LLM细化在密集检索中帮助和损害时

Varun Kotte

机构 * Adobe（Adobe公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了仅提示的LLM查询重写对密集检索的影响，发现其效果高度依赖领域，通过实验发现重写在不同数据集上产生不同效果，并指出领域适应性后训练比单纯重写更安全。

CAMEL-CLIP: Channel-aware Multimodal Electroencephalography-text Alignment for Generalizable Brain Foundation Models

CAMEL-CLIP：面向通用脑基础模型的通道感知多模态EEG-文本对齐

Hanseul Choi, Jinyeong Park, Seongwon Jin, Sungho Park, Jibum Kim

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Incheon National University（庆尚国立大学） ； Department of Artificial Intelligence（人工智能系） ； Inha University（Inha大学） ； Center for Brain-Machine Interface（脑机接口中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 CAMEL-CLIP通过通道属性位置编码、动态通道投影和双级对比学习，提升EEG-文本多模态基础模型在通道异质性下的鲁棒性，实验表明其在线性探测中表现最优。

Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing

专家阈值路由用于自回归语言模型的动态计算分配与负载均衡

Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出专家阈值路由方法，通过动态计算分配和负载平衡机制提升自回归语言模型性能，实验显示其在预训练任务中表现更优。

Lightweight Time Series Data Valuation on Time Series Foundation Models via In-Context Finetuning

基于上下文微调的轻量时间序列数据估值方法

Shunyu Wu, Tianyue Li, Yixuan Leng, Jingyi Suo, Jian Lou, Dan Li, See-Kiong Ng

机构 * Sun Yat-sen University State Key Laboratory of Internet Architecture（中山大学互联网架构国家重点实验室） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LTSV方法，通过上下文微调实现轻量时间序列数据估值，有效解决传统方法的计算瓶颈和时间依赖性问题。

Comments Accepted as a full paper at DASFAA 2026 (The 31st International Conference on Database Systems for Advanced Applications)

Experiences Build Characters: The Linguistic Origins and Functional Impact of LLM Personality

经验塑造性格：大语言模型人格的语言起源与功能影响

Xi Wang, Mengdie Zhuang, Jiqun Liu

机构 * University of Sheffield（谢菲尔德大学） ； University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过持续预训练和大五人格框架，揭示了大语言模型人格的形成机制，发现模型能力在特定性格类型中表现最佳，并揭示了训练数据语言特征对推理性能的影响。

Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems

对齐反噬：在16种语言的LLM多智能体系统中语言依赖性的安全干预逆转

Hiroki Fukui

机构 * Research Institute of Criminal Psychiatry / Sex Offender Medical Center（犯罪精神病研究所以及性犯罪医疗中心） ； Department of Neuropsychiatry, Kyoto University（京都大学神经精神病学系） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现，在不同语言的LLM多智能体系统中，对齐干预可能导致安全措施的逆转，揭示了语言空间对对齐效果的决定性影响。

Comments 89 pages, 4 figures, 4 supplementary figures, 12 supplementary tables; preprint

Learning to Read Where to Look: Disease-Aware Vision-Language Pretraining for 3D CT

学习如何注视：面向3D CT的疾病感知视觉-语言预训练

Simon Ging, Philipp Arnold, Sebastian Walter, Hani Alnahas, Hannah Bast, Elmar Kotter, Jiancheng Yang, Behzad Bozorgtabar, Thomas Brox

机构 * Computer Vision Group, University of Freiburg, Germany Adaptive \& Agentic AI (A3) Lab, Aarhus University, Denmark Department of Radiology, Medical Center -- University of Freiburg, Germany Chair of Algorithms ； Data Structures, University of Freiburg, Germany ELLIS Institute Finland School of Electrical Engineering, Aalto University, Finland 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种面向3D CT的疾病感知视觉-语言预训练模型，通过对比预训练和基于提示的疾病监督，实现了文本到图像检索、疾病分类及内扫描片段定位的统一模型。

General Protein Pretraining or Domain-Specific Designs? Benchmarking Protein Modeling on Realistic Applications

通用蛋白质预训练还是领域特定设计？在真实应用场景中对蛋白质建模的基准测试

Shuo Yan, Yuliang Yan, Bin Ma, Chenao Li, Haochun Tang, Jiahua Lu, Minhua Lin, Yuyuan Feng, Enyan Dai

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； Xiamen University（厦门大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Protap通过比较不同架构和预训练策略，在真实应用场景中评估蛋白质建模的性能，发现领域特定知识和结构信息对提升模型效果至关重要。

CourtGuard: A Model-Agnostic Framework for Zero-Shot Policy Adaptation in LLM Safety

CourtGuard：一种用于大语言模型安全的模型无关框架，用于零样本策略适应

Umid Suleymanov, Rufiz Bayramov, Suad Gafarli, Seljan Musayeva, Taghi Mammadov, Aynur Akhundlu, Murat Kantarcioglu

机构 * Department of Computer Science, Virginia Tech（弗吉尼亚理工大学计算机科学系） ； School of IT（信息技术学院） ； Engineering, ADA University（工程学院，ADA大学） ； School of Law, ADA University（法学院，ADA大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 CourtGuard通过证据辩论框架实现大语言模型的安全零样本适应，超越传统方法在多个安全基准测试中的表现，并具备跨领域泛化和自动数据审计能力。

Comments Under Review

Multimodal Wireless Foundation Models

多模态无线基础模型

Ahmed Aboulfotouh, Hatem Abou-Zeid

机构 * Department of Electrical and Software Engineering（电气与软件工程系） ； University of Calgary（卡尔加里大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出首个多模态无线基础模型，能处理IQ流和图像类无线模态，支持多种无线任务，展示了其在不同模态上的广泛应用潜力。

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

深度无知：过滤预训练数据在开放权重大语言模型中构建抗篡改的安全保障

Kyle O'Brien, Stephen Casper, Quentin Anthony, Tomek Korbak, Robert Kirk, Xander Davies, Ishan Mishra, Geoffrey Irving, Yarin Gal, Stella Biderman

机构 * EleutherAI ； UK AI Security Institute（英国人工智能安全研究所） ； University of Oxford（牛津大学） ； OATML, University of Oxford（OATML，牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过过滤预训练数据中的双用途内容，增强开放权重大语言模型的抗篡改能力，实验显示其在对抗微调攻击上表现优异，且未影响其他能力。

Comments https://deepignorance.ai/

Emergently Misaligned Language Models Show Behavioral Self-Awareness That Shifts With Subsequent Realignment

涌现性错位语言模型表现出会随后续重新对齐而变化的行为自我意识

Laurène Vaugrante, Anietta Weckauff, Thilo Hagendorff

机构 * Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart, Stuttgart, Germany（智能系统反思交流论坛，斯图加特大学，斯图加特，德国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现，经过特定微调的LLMs能自我评估其行为错位程度，表明模型具备行为自我意识并能反映其实际对齐状态。

Context-level Language Modeling by Learning Predictive Context Embeddings

通过学习预测上下文嵌入进行上下文级语言建模

Beiya Dai, Yuliang Liu, Daozheng Xue, Yunchong Song, Qipeng Guo, Kai Chen, Xinbing Wang, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ContextLM通过学习预测上下文嵌入，提升多令牌预测能力，实现更高效的参数和训练效率，同时在下游任务中表现更优。

Comments 19pages,6 figures, 13 Tables

Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models

面向上下文的反事实数据增强用于语言模型中的性别偏见缓解

Shweta Parihar, Liu Guangliang, Natalie Parde, Lu Cheng

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。

Team, Then Trim: An Assembly-Line LLM Framework for High-Quality Tabular Data Generation

团队后再修剪：一种用于高质量表格数据生成的流水线LLM框架

Congjing Zhang, Ryan Feng Lin, Ruoxuan Bao, Shuai Huang

机构 * Department of Industrial & Systems Engineering, University of Washington（华盛顿大学工业与系统工程系） ； Department of Management, Shanghai University（上海大学管理学院） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Team-then-Trim框架通过协作LLMs生成高质量表格数据，并结合三阶段质量控制流程，有效解决表格数据稀缺和质量低的问题。

Reusing Overtrained Language Models Saturates Scaling

重用过训练的语言模型饱和了扩展

Seng Pei Liew, Takuya Kato

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现重用过训练的语言模型在扩展时效率下降，揭示了多阶段预训练中的权衡关系。

Foundation CAN LM: A Pretrained Language Model For Automotive CAN Data

基础CAN语言模型：一种用于汽车CAN数据的预训练语言模型

Akiharu Esashi, Pawissanutt Lertpongrujikorn, Justin Makino, Yuibi Fujimoto, Mohsen Amini Salehi

专题命中 预训练与数据 ：language model(title)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基础CAN语言模型，通过预训练实现对汽车CAN数据的多目标下游泛化，推动汽车AI中的可泛化表征学习。

ChaosNexus: A Foundation Model for ODE-based Chaotic System Forecasting with Hierarchical Multi-scale Awareness

ChaosNexus: 一种基于微分方程的混沌系统预测的基础模型，具有分层多尺度意识

Chang Liu, Bohao Zhao, Jingtao Ding, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University, Beijing, China（电子工程系，BNRist，清华大学，北京，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 ChaosNexus通过ScaleFormer架构和MoE层实现对混沌系统多尺度和频谱特征的捕捉，提升长期预测精度和实际应用效果。

Mixtera: A Data Plane for Foundation Model Training

Mixtera: 一个用于基础模型训练的数据平面

Maximilian Böther, Xiaozhe Yao, Tolga Kerimoglu, Dan Graur, Viktor Gsteiger, Ana Klimovic

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Mixtera是一种用于基础模型训练的数据平面，允许用户声明性地控制数据样本的比例和顺序，以提升模型训练效果。

Comments accepted at SIGMOD'26; two column layout version

Culturally-Grounded Governance for Multilingual Language Models: Rights, Data Boundaries, and Accountable AI Design

基于文化背景的治理框架用于多语言语言模型：权利、数据边界与可问责的AI设计

Hanjing Shi, Dominic DiFranzo

机构 * Lehigh University（莱维大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于文化背景的多语言模型治理框架，强调权利、数据边界和可问责AI设计，以应对文化边缘社区的系统性风险。

Bridging Synthetic and Real Routing Problems via LLM-Guided Instance Generation and Progressive Adaptation

通过LLM引导的实例生成和渐进适应弥合合成与现实路由问题

Jianghan Zhu, Yaoxin Wu, Zhuoyi Lin, Zhengyuan Zhang, Haiyan Yin, Zhiguang Cao, Senthilnath Jayavelu, Xiaoli Li

机构 * A*STAR（新加坡科技研究局） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过LLM引导的实例生成和渐进适应方法，提升神经求解器在现实路由问题中的泛化能力。

Comments 21 pages; Published in AAAI 2026, Main Technical Track

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Paramanu：紧凑且具有竞争力的单语语言模型，用于低资源的形态丰富的印度语言

Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 Paramanu通过低成本训练方法，在五种印度语言上实现了高性能，优于多数多语言模型。

Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

伯尔津斯基-科斯特利茨-托夫勒相变在一种上下文敏感的随机语言模型中

Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

机构 * Graduate School of Information Science and Technology（信息科学与技术研究生学校） ； Hokkaido University（北海道大学） ； Institute for Solid State Physics（固态物理研究所） ； The University of Tokyo（东京大学） ； Henry Samueli School of Engineering and Applied Science（亨利·萨默塞特·艾利斯工程与应用科学学院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出一种上下文敏感的随机语言模型，通过数值实验展示了自然语言中存在BKT相变，揭示了语言结构与BKT相之间的关联。

Comments accepted for publication in PRE

Journal ref Phys. Rev. E 113, 015305 (Published 21 January, 2026)

Wavelet-Driven Masked Multiscale Reconstruction for PPG Foundation Models

小波驱动的掩码多尺度重建用于PPG基础模型

Megha Thukral, Cyrus Tanade, Simon A. Lee, Juhyeon Lee, Hao Zhou, Keum San Chun, Migyeong Gwak, Viswam Nathan, Md Mahbubur Rahman, Li Zhu, Mehrab Bin Morshed, Subramaniam Venkatraman, Sharanya Arcot Desai

机构 * Digital Health Team, Samsung Research America（三星美国数字健康团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于小波的掩码多尺度重建方法，通过自监督预训练提升PPG信号的多尺度特征学习能力，从而在多种健康相关任务中取得优于现有模型的性能。

AviationLMM: A Large Multimodal Foundation Model for Civil Aviation

AviationLMM：民用航空的大规模多模态基础模型

Wenbin Li, Jingling Wu, Xiaoyong Lin. Jing Chen, Cong Chen

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 AviationLMM旨在通过统一民用航空的异构数据流，提升航空安全与效率，推动可信且隐私保护的航空人工智能生态系统发展。

Comments Accepted by 2025 7th International Conference on Interdisciplinary Computer Science and Engineering (ICICSE 2025), Chongqing, China; 9 pages,1 figure,5 tables

Consistency-Aware Editing for Entity-level Unlearning in Language Models

面向实体级去学习的一致性感知编辑

Xiaoqi Han, Víctor Gutiérrez-Basulto, Ru Li, Xiaoli Li, Jiye Liang, Jeff Z. Pan

机构 * Shanxi University, China（山西大学） ； Cardiff University, UK（卡地夫大学） ； Singapore University of Technology and Design, Singapore（新加坡科技设计大学） ； ILCC, School of Informatics, University of Edinburgh, Edinburgh, UK（爱丁堡大学信息学院ILCC） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一致性感知编辑框架，用于高效实体级去学习，通过聚合多样化提示并学习低秩更新，提升遗忘准确性和鲁棒性。

Pelican Soup Framework: A Theoretical Framework for Language Model Capabilities

Pelican Soup框架：语言模型能力的一种理论框架

Ting-Rui Chiang, Dani Yogatama

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 Pelican Soup框架通过引入知识库和参考意义关联，探讨语言模型在预训练和上下文学习中的能力，并推导出相关理论界。

CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models

CounterVid: 通过生成反事实视频缓解视频-语言模型中动作和时间幻觉

Tobia Poppi, Burak Uzkent, Amanmeet Garg, Lucas Porto, Garin Kessler, Yezhou Yang, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara, Florian Schiffers

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（帕尔马大学） ； Amazon Prime Video（亚马逊Prime视频） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题，提出反事实视频生成框架和MixDPO方法，提升时间推理和动作识别性能。

ALERT: Zero-shot LLM Jailbreak Detection via Internal Discrepancy Amplification

ALERT: 通过内部不一致放大实现零样本LLM jailbreak检测

Xiao Lin, Philip Li, Zhichen Zeng, Tingwei Li, Tianxin Wei, Xuying Ning, Gaotang Li, Yuzhong Chen, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Visa 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ALERT通过内部不一致放大技术实现零样本LLM jailbreak检测，有效提升安全检测性能。