语言大模型 / LLM

FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales

FLORO：面向跨传感器与尺度的生态遥感多模态地理空间基础模型

Jorge L. Rodriguez, Victor Angulo Morales, Areej Alwahas, Mariana Elias Lara, Fida Mohammad Thoker, Kasper Johansen, Bernard Ghanem, Fernando T. Maestre, Matthew F. McCabe

机构 * Biological and Environmental Science and Engineering Division, King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹科技大学生物与环境科学与工程 division） ； Computer, Electrical and Mathematical Science and Engineering Division, King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹科技大学计算机、电气与数学科学与工程 division） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出FLORO多模态地理空间基础模型，通过掩码自编码在异构遥感数据上预训练，利用可用性感知输入统一异构传感器配置，在PANGAEA基准上实现强迁移性能。

Comments 29 pages, 9 figures

An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

一种开放的多中心全身FDG PET/CT基础模型用于肿瘤分割

Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

机构 * Department of Radiology and Biomedical Imaging, Yale Biomedical Imaging Institute, Yale University（放射学与生物医学成像系，耶鲁生物医学影像研究所，耶鲁大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出了一种开放的多中心全身FDG PET/CT基础模型，通过整合四个公开数据集中的4997份标准化扫描，利用层次UNet结构和早期通道拼接实现解剖和代谢特征的交互，提高了肿瘤分割的标签效率和跨模态表征学习能力。

Comments Code available at: https://github.com/liu-xiaofeng/Foundation-Model-for-PET-CT

SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining

SpectralEarth-FM: 将高光谱图像引入多模态地球观测预训练

Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

机构 * Chair of Data Science in Earth Observation（地球观测数据科学主任） ； Technical University of Munich（慕尼黑技术大学） ； Remote Sensing Technology Institute（遥感技术研究所） ； German Aerospace Center (DLR)（德国航空航天中心） ； Department of Aerospace Engineering（航空航天工程系） ； University of the Bundeswehr Munich（联邦国防军慕尼黑大学） ； LEAP ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； Inria（法国国家信息与自动化技术研究院） ； CNRS（法国国家科学研究中心） ； Grenoble INP（格勒诺布尔INP） ； LJK 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出SpectralEarth-FM，一种用于多传感器地球观测输入的分层变压器，旨在联合处理高光谱图像与低通道观测。通过构建SpectralEarth-MM数据集，采用JEPA风格的目标进行预训练，实现了在高光谱下游任务和标准EO基准上的最佳性能。

MAM-CLIP: Vision-Language Pretraining on Mammography Atlases for BI-RADS Classification

MAM-CLIP：基于乳腺X线图集的视觉-语言预训练用于BI-RADS分类

Halil Ibrahim Gulluk, Olivier Gevaert

机构 * Department of Electrical Engineering（电气工程系） ； Biomedical Informatics Research (BMIR)（生物医学信息学研究（BMIR）） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出MAM-CLIP模型，通过预训练PubMedBERT和对比学习来提升乳腺X线图像的BI-RADS分类性能，实验表明在标注样本稀缺时，该方法能显著提高F1分数。

KGPFN: Unlocking the Potential of Knowledge Graph Foundation Model via In-Context Learning

KGPFN：通过上下文学习解锁知识图谱基础模型的潜力

Yisen Gao, Jiaxin Bai, Haoyu Huang, Zhongwei Xie, Yufei Li, Hong Ting Tsang, Sirui Han, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST, Hong Kong, China（香港科技大学计算机科学与工程系） ； Department of Computer Science and Engineering, HKBU, Hong Kong, China（香港城市大学计算机科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 KGPFN通过结合先验数据拟合网络与上下文学习，统一了可转移关系规律与推理时的上下文学习，有效提升知识图谱推理能力。

netFound: Principled Design for Network Foundation Models

netFound：网络基础模型的原理化设计

Sylee Beltiukov, Satyandra Guthula, Haarika Manda, Jaber Daneshamooz, Wenbo Guo, Walter Willinger, Arpit Gupta, Inder Monga

机构 * UC Santa Barbara（加州大学圣芭芭拉分校） ； Northwestern University（西北大学） ； ESNet 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 netFound通过四个设计原则提升网络基础模型性能，实现高质量表示与隐私保护，在多个基准测试中表现优异。

Developing a foundation model for high-resolution remote sensing data of the Netherlands

为荷兰高分辨率遥感数据开发一个基础模型

Paul Vermeeren, Heysem Kaya

机构 * Utrecht University, Department of Information and Computing Sciences（乌得勒支大学信息与计算科学系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出结合卷积神经网络与视觉Transformer的基础模型，用于处理荷兰1.2米高分辨率卫星图像，通过融合时序数据提升遥感特征表示，实现更高效的遥感任务性能。

Comments 9 pages, 4 figures, under review in a journal

Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data

合成预预训练提升语言模型对噪声预训练数据的鲁棒性

Xu Guo, Runyu Peng, Jian Tong, Yunhua Zhou, Haijun Lv, Zhihui Lu, Qipeng Guo

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文研究了基于合成数据的轻量预预训练（PPT）阶段对提升语言模型在预训练阶段对噪声的鲁棒性的作用，实验表明PPT能有效降低噪声影响，尤其在高噪声水平下表现更优。

HighFM: Towards a Foundation Model for Learning Representations from High-Frequency Earth Observation Data

HighFM：面向高频率地球观测数据学习表示的基础模型

Stella Girtsou, Konstantinos Alexis, Giorgos Giannopoulos, Charalambos Kontoes

机构 * National Observatory of Athens（国家天文台） ； National Technical University of Athens（雅典国家技术大学） ； National and Kapodistrian University of Athens（雅典国家与卡波迪斯特里亚大学） ； Athena Research Center（雅典研究所以及研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出HighFM，一种针对高时间分辨率多光谱地球观测数据的基础模型，通过SEVIRI影像和SatMAE框架学习时空表示，并在云遮蔽和主动火检测任务中展现优势。

Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval

不检索，生成：通过提示LLMs生成合成训练数据用于密集检索

Aarush Sinha

专题命中 预训练与数据 ：prompting(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过提示大型语言模型生成合成硬负样本，用于密集检索模型训练，通过在10个BEIR基准数据集上评估发现，生成模型性能不优于传统方法。

Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

中期使用自生成数据提升语言模型中的强化学习

Aswin RRV, Jacob Dineen, Divij Handa, Mihir Parmar, Ben Zhou, Swaroop Mishra, Chitta Baral

机构 * Arizona State University（亚利桑那州立大学） ； Google Cloud AI Research（谷歌云人工智能研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文研究在强化学习前使用多样化的自生成数据提升语言模型的强化学习效果，通过自生成数据训练后，模型在数学推理等任务中表现更优。

Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation

预训练诱导了可重用的谱基底以用于下游任务适应

Junjie Yu, Yue Wang, Zihan Deng, Yan Zhu, Wenxiao Ma, Quanying Liu

机构 * Department of Biomedical Engineering, Southern University of Science and Technology（生物医学工程系，南方科技大学） ； Department of Psychology, The University of Hong Kong（心理学系，香港大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过系统谱分析揭示预训练模型的主奇异向量在微调中保持稳定且跨任务共享，表明预训练建立了可重用的谱坐标系，且更大规模预训练提升几何可迁移性。

Arrow: A Foundation Model for Causal Discovery

Arrow：一种因果发现的基础模型

Ryan Thompson, He Zhao, Daniel M. Steinberg, Edwin V. Bonilla

机构 * University of Technology Sydney（技术科技大学） ； CSIRO’s Data61（CSIRO数据61） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 Arrow模型通过将有向无环图分解为无向骨架和拓扑序，实现零样本因果发现。该模型基于Transformer架构预测边概率和节点顺序，训练于合成数据集，能在多种数据集上实现高效准确的因果发现。

SoccerMaster: A Vision Foundation Model for Soccer Understanding

SoccerMaster: 一种用于足球理解的视觉基础模型

Haolin Yang, Jiayuan Rao, Haoning Wu, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出SoccerMaster，一种统一的足球视觉理解模型，通过多任务预训练统一处理从细粒度感知到高层语义推理的多种任务，实验表明其在多种下游任务中表现优异。

Comments Accepted by CVPR 2026 (Oral); Project Page: https://haolinyang-hlyang.github.io/SoccerMaster

CircuitFormer: A Circuit Language Model for Analog Topology Design from Natural Language Prompt

CircuitFormer：一种用于从自然语言提示中进行模拟拓扑设计的电路语言模型

Md Touhidul Islam, Sujan Kumar Saha, Farimah Farahmandi, Mark Tehranipoor

机构 * Department of Electrical and Computer Engineering, University of Florida, Gainesville, FL, USA（佛罗里达大学电气与计算机工程系，盖恩斯维尔，佛罗里达州，美国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出CircuitFormer，一种专门用于模拟拓扑设计的电路语言模型，通过改进的电路图分词器CKT，实现了更高效的电路拓扑表示，提升了设计准确率和效率。

LLM Biases

LLM偏见

Jinhui Han, Ming Hu, Xilin Zhang

机构 * Guanghua School of Management, Peking University（北京大学光华管理学院） ； Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究了基于Transformer的生成推荐系统中四种系统性偏见机制，指出其可能影响长期多样性和用户选择，强调需关注运营风险而非仅依赖性能指标。

Location-Aware Pretraining for Medical Difference Visual Question Answering

面向位置的预训练方法用于医学差异视觉问答

Denis Musinguzi, Caren Han, Prasenjit Mitra

机构 * Department of Electrical and Computer Engineering, Carnegie Mellon University, Kigali, Rwanda（电气与计算机工程系，卡内基梅隆大学，刚果（金）基利齐） ； University of Melbourne, Melbourne, Australia（墨尔本大学，墨尔本，澳大利亚） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种面向位置的预训练框架，结合AREF、GCAP和CAREF任务，提升医学差异VQA中细粒度空间视觉表征能力，实现胸部X光图像中临床相关变化的准确识别与推理。

Comments 11 pages

Establishing a Scale for Kullback-Leibler Divergence in Language Models Across Various Settings

在不同设置中为语言模型建立KL散度量表

Ryo Kishino, Yusuke Takase, Momose Oyama, Hiroaki Yamagiwa, Hidetoshi Shimodaira

机构 * Kyoto University（京都大学） ； RIKEN（日本科学技术研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文通过扩展log-likelihood空间，建立统一的KL散度量表，分析预训练轨迹显示log-likelihood空间变化比权重空间更小，导致学习轨迹亚扩散并早稳定语言模型行为。

Comments ACL 2026 Findings

Beyond the Failures: Rethinking Foundation Models in Pathology

超越失败：重新思考病理学中的基础模型

Hamid R. Tizhoosh

机构 * Kimia Lab, Department of Artificial Intelligence and Informatics, Mayo Clinic, Rochester, MN, USA（Kimia实验室，人工智能与信息学系，梅奥诊所，罗切斯特，明尼苏达州，美国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 病理学中基础模型表现不佳，需设计专门处理生物图像的模型，而非通用自然图像方法。

Low-rank Orthogonalization for Large-scale Matrix Optimization with Applications to Foundation Model Training

大规模矩阵优化中的低秩正交化：应用于基础模型训练

Chuan He, Zhanwang Deng, Zhaosong Lu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出低秩正交化方法，通过利用神经网络训练中的梯度低秩特性，改进矩阵正交化以提升基础模型训练性能，理论分析了低秩MSGD和低秩Muon的迭代复杂度。

Comments 20 pages, add numerical comparison with Galore and SOAP

Siamese Foundation Models for Crystal Structure Prediction

孪生基础模型用于晶体结构预测

Liming Wu, Wenbing Huang, Rui Jiao, Jianxing Huang, Liwei Liu, Yipeng Zhou, Hao Sun, Yang Liu, Fuchun Sun, Yuxiang Ren, Jirong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院） ； Advanced Computing and Storage Lab, Huawei Technologies（华为技术有限公司先进计算与存储实验室） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（教育部下一代智能搜索与推荐工程研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出Diffusion-based Crystal Omni框架，结合孪生生成模型和能量预测模型，提升晶体结构预测性能，并在实际超导材料中验证其有效性。

ks-pret-5m: a 5 million word, 12 million token kashmiri pretraining dataset

ks-pret-5m: 一个500万词、1200万token的克什米尔语言预训练数据集

Haq Nawaz Malik, Nahfid Nissar

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 本文介绍了一个包含500万词和1200万token的克什米尔语言最大公开预训练数据集，通过清理流程和分词方法，提升了数据质量，支持语言模型预训练和计算语言学研究。

GeoMeld: Toward Semantically Grounded Foundation Models for Remote Sensing

GeoMeld：迈向遥感领域语义引导的基模模型

Maram Hasan, Md Aminur Hossain, Savitra Roy, Souparna Bhowmik, Ayush V. Patel, Mainak Singha, Subhasis Chaudhuri, Muhammad Haris Khan, Biplab Banerjee

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； Space Applications Centre, ISRO（印度空间研究组织空间应用中心） ； University of Trento（特伦托大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出GeoMeld数据集，通过语义引导的监督方法，结合多模态对齐，提升遥感领域基模模型的性能和鲁棒性。

Comments Accepted at CVPR Workshop 2026; 8 pages, 6 figures

Is Biomedical Specialization Still Worth It? Insights from Domain-Adaptive Language Modelling with a New French Health Corpus

生物医学专业化仍然值得吗？基于新法语健康语料库的领域自适应语言建模洞察

Aidan Mannion, Cécile Macaire, Armand Violle, Stéphane Ohayon, Xavier Tannier, Didier Schwab, Lorraine Goeuriot, François Portet

机构 * Université Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，格勒诺布尔信息学实验室） ； Sorbonne Université, LIMICS（索邦大学，医学信息学与知识工程实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文探讨了在法语生物医学领域通过持续预训练对小型至中型LLM进行专业化的方法，发现DAPT在资源受限情况下有效，但需通过模型合并缓解泛化权衡。

A Family of Open Time-Series Foundation Models for the Radio Access Network

面向无线接入网络的开放时间序列基础模型家族

Ioannis Panitsas, Leandros Tassiulas

机构 * Department of Electrical and Computer Engineering, Yale University（耶鲁大学电气与计算机工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出TimeRAN框架，通过轻量时间序列基础模型和少量任务特定头部，实现跨任务的可迁移表示，提升RAN分析性能并减少系统复杂度。

A Simple Method to Enhance Pre-trained Language Models with Speech Tokens for Classification

一种通过语音标记增强预训练语言模型用于分类的简单方法

Nicolas Calbucura, Jose Guillen, Valentin Barriere

机构 * Universidad de Chile, DCC（智利大学计算机科学系） ； Universidad Tecnica Santa Maria（圣玛利亚理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出一种简单方法，通过语音信息增强预训练语言模型以提高分类任务性能，采用多模态词袋表示和自监督语言建模目标，实验证明在论证谬误检测和情感计算任务中效果显著。

Rethinking Language Model Scaling under Transferable Hypersphere Optimization

重新思考在可转移超球优化下的语言模型扩展

Liliang Ren, Yang Liu, Yelong Shen, Weizhu Chen

机构 * Microsoft（微软） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文提出HyperP框架，通过Frobenius球约束和Muon优化器，在模型宽度、深度、训练token和MoE粒度间转移最优学习率，实现更稳定的扩展，同时引入SqrtGate机制提升MoE粒度扩展性能。

Foundation Models for Bioacoustics -- a Comparative Review

生物声学中的基础模型——比较综述

Raphael Schwinger, Paria Vali Zadeh, Lukas Rauch, Mats Kurz, Tom Hauschild, Sam Lapp, Sven Tomforde

机构 * Kiel University（基尔大学） ； University of Kassel（卡塞尔大学） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文综述了大规模预训练生物声学基础模型，分析其在多种分类任务中的迁移能力，并通过实验验证不同模型的性能，为选择合适模型提供指导。

Comments Preprint

Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

合成重写作为质量乘数：来自葡萄牙持续预训练的证据

Thales Sales Almeida, Rodrigo Nogueira, Hélio Pedrini

机构 * Maritaca AI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究通过控制实验探讨合成重写在葡萄牙持续预训练中对数据质量的影响，发现高质量数据通过重写可提升模型性能，而低质量数据效果有限。

CliPPER: Contextual Video-Language Pretraining on Long-form Intraoperative Surgical Procedures for Event Recognition

CliPPER：基于长形式术中手术程序的上下文视频-语言预训练用于事件识别

Florian Stilz, Vinkle Srivastav, Nassir Navab, Nicolas Padoy

机构 * University of Strasbourg, CNRS, INSERM, ICube, UMR7357, France（斯特拉斯堡大学，法国国家科学研究中心，法国国家医学研究院，ICube，UMR7357，法国） ； IHU Strasbourg, France（斯特拉斯堡IHU，法国） ； Technical University of Munich, Germany（慕尼黑技术大学，德国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出CliPPER框架，通过手术讲座视频预训练，提升长形式手术视频的细粒度时间视频-文本识别，引入VTC_CTX和COP等预训练策略，改进多模态对齐，实现多个公开手术基准的新SOTA。