LLMs can learn self-restraint through iterative self-reflection
专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 预训练与数据 12379 篇
Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval
专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)
Comments Accepted at NAACL 2024. Data released at https://github.com/google-research-datasets/swim-ir
Is Next Token Prediction Sufficient for GPT? Exploration on Code Logic Comprehension
专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)
Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation
专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)
Comments EMNLP 2023. Code and data are available at https://github.com/WadeYin9712/Dynosaur
PaSTel: Anchoring Histology in Spatial Transcriptomics via Multi-Scale Hierarchical Bio-Prior Contrastive Pretraining
PaSTel：通过多尺度层级生物先验对比预训练锚定空间转录组学中的组织学
机构 * Johnson & Johnson Innovative Medicine（强生创新医药）
专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI；large language model(comments)；language model(comments)
AI总结 PaSTel是一种整合多尺度生物先验的层级多模态预训练框架，通过三层生物先验设计解决现有空间转录组学方法的局限，在多个下游任务中性能优于现有编码器。
Comments This paper was accepted to the 3rd ICML 2026 Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences
Convergent Evolution: How Different Language Models Learn Similar Number Representations
趋同进化：不同语言模型如何学习相似的数字表示
机构 * University of Southern California（南加州大学） ； UC San Diego（圣地亚哥大学）
专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究探讨了不同语言模型如何通过不同训练信号学习相似的数字表示，揭示了特征学习中的趋同进化现象。
Comments COLM 2026
CytoFormer: A Molecularly Supervised Cell Foundation Model for Histopathology Cell Classification
CytoFormer：用于组织病理学细胞分类的分子监督细胞基础模型
机构 * University of Pennsylvania（宾夕法尼亚大学） ； Germantown Friends School（日耳曼敦贵格会学校）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 CytoFormer利用配对H&E染色与空间转录组学数据训练细胞基础模型，在细胞分类、迁移学习及主动学习中表现优异，为常规组织学的细胞分析提供高效可复用表示。
Comments 20 pages, 5 figures, 2 extended data figures
Beyond Accuracy: Assessing Calibration of Geospatial Foundation Models and Their Sensitivity to Distribution Shifts
超越准确率：评估地理空间基础模型的校准度及其对分布偏移的敏感性
机构 * Technical University of Munich (TUM)（慕尼黑工业大学） ； German Aerospace Center (DLR)（德国航空航天中心） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） ； Taylor Geospatial（泰勒地理空间公司）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 该研究指出GeoFMs仅用准确率排序的不足，分析其校准度与分布偏移敏感性，发现EO预训练模型更易过度自信，提出需多条件多指标评估以缩小实际部署差距。
A Controlled Study of Self-Supervised Image and Video Pretraining under Limited Resources
有限资源下自监督图像与视频预训练的对照研究
机构 * Eindhoven University of Technology（埃因霍温理工大学）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)
AI总结 该研究对照研究有限资源下的图像与视频自监督预训练，发现DINOv2式预训练性能最优，结合其与VideoMAE可提升图像任务性能但降低部分视频任务性能，为资源有限场景的视觉模型训练提供参考。
Guardian Crawler: Retrieval-First Knowledge Discovery with Bounded LLM Augmentation for Noisy Web Intelligence
Guardian Crawler：面向噪声网络智能的、结合受限大语言模型增强的检索优先型知识发现方法
专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 Guardian Crawler是面向噪声网络智能的检索优先型测试平台，结合BM25与风险感知重排序等技术，在合成语料库实验中取得较高检索分数，可用于知识发现与证据摘要生成。
Comments 8 pages, 2 figures. Accepted as a Short Paper at KDIR 2026 (International Conference on Knowledge Discovery and Information Retrieval)
DINO-3DRA: Leveraging 2D Foundation Model Semantics for 3D Cerebral Aneurysm Segmentation
DINO-3DRA：利用二维基础模型语义实现三维颅内动脉瘤分割
机构 * University of Manchester（曼彻斯特大学） ； Christabel Pankhurst Institute, University of Manchester（曼彻斯特大学克里斯塔贝尔·潘克赫斯特研究所） ； NIHR Manchester Biomedical Research Centre（NIHR曼彻斯特生物医学研究中心） ； Manchester Academic Health Sciences Centre（曼彻斯特学术健康科学中心）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 DINO-3DRA是一种双路径框架，通过将冻结的DINOv3特征注入3D U-Net实现跨维度语义迁移，在多中心3DRA数据上以572万参数达到最优动脉瘤分割性能，且泛化能力强。
Comments Accepted by MICCAI 2026
Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models
Robust-WAM：桥接生成式预训练与世界-动作模型中的语义前瞻
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beihang University（北京航空航天大学） ； Huawei Foundation Model Department（华为基础模型部门）
专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)
AI总结 Robust-WAM是一种通用后训练方法，在保留VAE生成路径的同时添加语义前瞻对齐，可提升多个WAM基线在分布外条件下的动作预测成功率且不损失分布内性能。
MIRepNet: A Pipeline and Foundation Model for EEG-Based Motor Imagery Classification
机构 * Ministry of Education Key Laboratory of Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（教育部长图像处理与智能控制重点实验室，人工智能与自动化学院，华中科技大学） ； School of Computer Science and Technology, Huazhong University of Science and Technology（计算机科学与技术学院，华中科技大学） ； Zhongguancun Academy（中关村学院）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
Journal ref Knowledge-Based Systems (15 June 2026, vol. 343)
Foundation Models for Astrophysics
天体物理学领域的基础模型
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 本章介绍面向天文领域的基础模型，阐述其核心是可迁移表示，指出当前天文领域此类模型的可迁移性验证案例较少，未来需进一步探索提升路径。
Comments Invited chapter for the edited book "Machine Learning Techniques for Astrophysics and Cosmology" (Eds. Cosimo Bambi, Vinay Kashyap, Swarnim Shashank, Naoki Yoshida, Springer Singapore, expected in 2026). Submitted version
Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation
探索式建模：解锁第三大预训练轴与端到端生成
机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Harvard（哈佛大学）
专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本研究提出探索式建模（XMs），为生成式模型增添第三预训练轴，可提升多域性能与效率，还能实现端到端重构生成建模，推理步骤大幅减少。
How Much MRI Preprocessing Is Enough? A Cost-Utility Study for Brain MRI Foundation Models
MRI预处理需要多少才够？脑MRI基础模型的成本效用研究
机构 * University of the Chinese Academy of Sciences（中国科学院大学） ； BGI Research（华大研究院）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 本研究通过比较P0-P7预处理级别对自监督3D MRI预训练的影响，发现并非预处理越强越好，P2是最低成本可行级别，更强预处理仅在特定任务中带来有限提升，且下游可补偿。
A Foundation Model for Cross-Band CSI Reconstruction
跨频段 CSI 重建的基础模型
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 研究多频段低空无线系统中跨频段 CSI 重建问题，提出在公共频谱表示频段、用射频元数据辅助的基础模型，经特定训练，相比基线降低平均归一化均方误差，能转移到未见频段对且在导频有噪声时仍有效。
Comments 6 pages, 4 figures, accepted by 2026 IEEE/CIC International Conference on Communications in China (ICCC Workshops)
Beyond Heavy Log Curation: Perplexity-Based APT Detection via Unsupervised, Context-Augmented Language Models
超越繁重的日志整理：通过无监督、上下文增强语言模型进行基于困惑度的APT检测
机构 * Mitsubishi Electric Corporation（三菱电机公司） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究针对APT检测难题，提出CAPTAIN方法，利用通用预训练语言模型，经最少领域无关预处理，通过编码历史、注入上下文令牌及应用平滑滤波器，实现稳健日志评分，在基准测试中表现良好，降低了日志预处理成本。
Comments 20 pages
VirtualSet: Typed Ontology Worlds as an LLM Generation Target for Grounded Queries and Guarded Decisions
虚拟集：作为大语言模型生成目标的类型化本体世界，用于有根据的查询和有保障的决策
专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 针对大语言模型操作企业数据时SQL错误信号延迟的问题，提出VirtualSet，通过集合表达式、通用约束投影等技术实现有根据的查询和有保障的决策，在实验中展现出优势，在SQL基准测试中保持竞争力。
Comments 21 pages, 13 figures, 1 table; added a reference to the companion GCP paper (arXiv:2607.19693) and aligned GCP terminology; results unchanged
Native Video-Action Pretraining for Generalizable Robot Control
用于可泛化机器人控制的原生视频动作预训练
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)
AI总结 研究针对机器人控制中视频动作模型应用于物理环境的不足，提出LingBot-VA 2.0，通过语义视觉动作分词器等四个核心设计原则构建基础模型，经真实世界部署验证其在复杂操作任务中的少样本泛化能力。
M3F-UAV: A Missing-Modality Multimodal Foundation Model for Low-Altitude Wireless Sensing
M3F-UAV：一种用于低空无线传感的缺失模态多模态基础模型
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 针对复杂环境下单模态模型可靠性低的问题，提出M3F-UAV模型，通过特定模态预训练特征提取器、跨模态融合及缺失模态感知预训练，从多观测中学习统一表示，在LAMBDA数据集实验中性能优于单模态基线且在缺失模态下稳健。
SeedSmith: LLM-Driven Seed Synthesis for Directed Fuzzing
SeedSmith：用于定向模糊测试的基于大语言模型的种子合成
专题命中 预训练与数据 ：LLM(title,abstract)；prompting(abstract)
AI总结 研究针对定向模糊测试常无法触发崩溃的问题，提出SeedSmith这一基于大语言模型的管道，通过复制分析师工作流程合成种子，提升模糊器性能，在Magma和ARVO上取得显著加速和发现新漏洞的成果。
Evaluating Vision Foundation Models for Pixel and Object Classification in Microscopy
评估显微镜中用于像素和物体分类的视觉基础模型
机构 * Georg-August-University Göttingen, Institute of Computer Science Department of Tissue Dynamics ； Regeneration, Max Planck Institute for Multidisciplinary Sciences, Göttingen Georg-August-University Göttingen, Faculty of Biology ； Psychology CAIMed - Lower Saxony Center for AI \& Causal Methods in Medicine, Göttingen Cluster of Excellence Multiscale Bioimaging (MBExC), Georg-August-University Göttingen
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)
AI总结 本文评估了视觉基础模型在显微镜像素和物体分类中的应用，探讨了其在提升分类性能方面的潜力，并建立了相关基准。
Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
用于具身智能的缩放专家混合视频预训练
机构 * Robbyant（蚂蚁灵波）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)
AI总结 针对视频生成模型领域不匹配问题，提出LingBot-Video，采用MoE架构、构建数据剖析引擎、开发多维奖励系统进行视频预训练，验证了其性能和效率，贡献了首个大规模开源MoE视频基础模型。
Comments Project page: https://technology.robbyant.com/lingbot-video
Ego-Human Motion Prediction with 3D-Aware LLM
基于3D感知语言模型的自我-人类运动预测
机构 * Visual Intelligence Lab., KAIST（视觉智能实验室，韩国科学技术院）
专题命中 预训练与数据 ：LLM(title)；instruction tuning(abstract)；pretraining(abstract)
AI总结 研究从自我中心视角预测人类运动问题，提出Ego3DLM模型，基于准确运动预测需3D环境理解及姿势语言整体预测原则，通过三阶段训练，在相关任务中取得领先性能，实现跨模态和时间一致的运动预测。
Comments Accepted to ECCV 2026
FMMC: Harnessing the Power of Foundation Models for Accurate Material Classification
利用基础模型提升材料分类的准确性
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Duke University（杜克大学） ； Waseda University（早稻田大学）
专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)
AI总结 本文提出一种利用基础模型克服数据限制并提升分类准确性的新框架，通过生成高质量数据集和融合视觉语言模型先验知识，有效提高材料分类性能。
HeartMuLa: A Family of Open Sourced Music Foundation Models
HeartMuLa：一个开源音乐基础模型家族
机构 * HeartMuLa Teams（HeartMuLa团队）
专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract)
AI总结 介绍开源音乐基础模型家族HeartMuLa，含四个组件及两种特殊模式，能跨任务和模态推动音乐理解与生成，扩展到7B参数时有显著改进，可重现商业级系统，为未来研究提供基线并促进多模态应用。
Vision Pretraining for Dense Spatial Perception
面向稠密空间感知的视觉预训练
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)
AI总结 针对现有视觉基础模型牺牲空间细节理解的问题，提出以边界为中心的掩码边界建模自监督预训练范式，提升稠密空间感知能力与下游任务性能。
Comments Tech report, 31 pages
LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning
LACUNA: 评估大语言模型遗忘定位精度的测试平台
机构 * Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所） ； McGill University（麦吉尔大学）
专题命中 预训练与数据 ：LLM(title)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出LACUNA测试平台，通过注入合成个人身份信息到模型参数，评估遗忘方法是否真正擦除知识，发现现有方法定位不精确且易受重现攻击，而精确定位可实现强擦除。
Behavior Prompting Policy: Demonstrations as Prompts for Manipulation
行为提示策略：将演示作为操作提示
机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 预训练与数据 ：prompting(title,abstract)
AI总结 提出行为提示策略（BPP），通过单次人类演示（行为提示）使机器人推理时执行新任务，结合手持操作接口iPhUMI收集多样化数据，在DrawAnything和LIBERO-Gen基准上验证零样本适应能力。
