语言大模型 / LLM

Register Always Matters: Analysis of LLM Pretraining Data Through the Lens of Language Variation

语域始终重要：通过语言变异视角分析LLM预训练数据

Amanda Myntti, Erik Henriksson, Veronika Laippala, Sampo Pyysalo

机构 * University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文首次利用语域（register）对预训练数据进行分类，通过训练小型生成模型并评估，发现语域显著影响LLM性能，其中“观点”类数据有益而“新闻”类效果不佳，组合特定语域可大幅提升性能。

LLM-driven design of physics-constrained constitutive models: two agents are better than one

LLM驱动的物理约束本构模型设计：两个智能体胜过一个

Marius Tacke, Matthias Busch, Kian Abdolazizi, Jonas Eichinger, Kevin Linka, Roland Aydin, Christian Cyron

机构 * Helmholtz-Zentrum Hereon（海德堡中心） ； Hamburg University of Technology（汉堡技术大学） ； RWTH Aachen University（亚琛工业大学） ； Saarland University（萨尔兰州大学） ； German Center for Artificial Intelligence（德国人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多智能体LLM框架，通过Creator生成模型和Inspector审计物理约束，实现自动生成满足物理定律的本构模型。

Strong Teacher Not Needed? On Distillation in LLM Pretraining

不需要强教师？关于大语言模型预训练中的蒸馏

Taiming Lu, Zhuang Liu

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文通过构造不同强弱关系的师生模型，研究大语言模型预训练中知识蒸馏的有效性，发现弱教师也能提升学生模型，且强教师不一定更好。

LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws

LLMs 作为噪声信道：香农视角下的模型容量与缩放定律

Xu Ouyang, Deyi Liu, Yuhang Cai, Jing Liu, Yuan Yang, Chen Zheng, Thomas Hartvigsen, Yiyuan Ma

机构 * University of Virginia（弗吉尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有缩放定律无法解释非单调性能退化的问题，提出基于香农-哈特利定理的香农缩放定律，将LLM训练建模为噪声信道上的信息传输，通过信号噪声比解释模型规模与数据量对性能的影响。

Comments Accepted by ICML 2026

Brain-LLM Alignment Tracks Training Data, Not Typology

大脑-大语言模型对齐追踪训练数据，而非语言类型学

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 通过分析英语、中文和法语的fMRI数据及多种大语言模型，发现训练语言主导性而非英语本身驱动大脑-模型对齐模式，且类型学距离独立影响对齐退化。

Comments Accepted to CoNLL 2026. 9 pages main content + 4 pages references + 6 pages appendix; 4 figures, 13 tables

Memorization Dynamics of Fill-in-the-Middle Pretraining

Fill-in-the-Middle 预训练的记忆动态

Tobias von Arx, Tanguy Dieudonné

机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过对比 FIM 与标准 LTR 预训练，研究 FIM 对逐字记忆的影响，发现 FIM 更易恢复短片段或部分匹配，而 LTR 对长精确延续置信度更高，且 FIM 训练下的逐字提取随重复次数近似线性增长。

Comments MemFM @ ICML 2026

Remember what you did so you know what to do next

记住你做了什么，以便知道下一步该做什么

Manuel R. Ciosici, Alex Hedges, Yash Kankanampati, Justin Martin, Marjorie Freedman, Ralph Weischedel

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究使用中等规模的大语言模型GPT-J为模拟机器人在ScienceWorld文本游戏中的30类目标生成计划，通过填充更多历史步骤显著提升性能，并发现任务平均可能掩盖性能差异。

Comments Identical to EMNLP 2023 Findings

Universal CT Representations from Anatomy to Disease Phenotype through Agglomerative Pretraining

从解剖到疾病表型的通用CT表示：通过聚合预训练

Yuheng Li, Yuan Gao, Haoyu Dong, Yuxiang Lai, Shansong Wang, Mojtaba Safari, James E. Baciak, Xiaofeng Yang

机构 * Wallace H. Coulter Department of Biomedical Engineering, Georgia Institute of Technology and Emory University（沃森·H·库勒生物医学工程系，佐治亚理工学院和埃默里大学） ； Department of Radiation Oncology and Winship Cancer Institute, Emory University（放射肿瘤学系和Winship癌症研究所，埃默里大学） ； Department of Electrical and Computer Engineering, Duke University（电气与计算机工程系，杜克大学） ； Department of Computer Science and Informatics, Emory University（计算机科学与信息学系，埃默里大学） ； Department of Materials Science & Engineering, Nuclear Engineering Program, University of Florida（材料科学与工程系、核工程项目，佛罗里达大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 提出FlexiCT系列CT基础模型，通过三阶段聚合连续预训练（二维轴向、三维解剖、报告引导语义对齐）统一CT分析，在分割、分类、配准、视觉语言理解和临床检索等任务上达到或超越专用模型，并捕获与肿瘤分期相关的影像特征。

Towards Brain MRI Foundation Models for the Clinic: Findings from the FOMO25 Challenge

面向临床的大脑MRI基础模型：来自FOMO25挑战赛的发现

Asbjørn Munk, Stefano Cerri, Vardan Nersesjan, Christian Hedeager Krag, Jakob Ambsdorf, Pablo Rocamora García, Julia Machnio, Peirong Liu, Suhyun Ahn, Nasrin Akbari, Yasmina Al Khalil, Kimberly Amador, Sina Amirrajab, Tal Arbel, Meritxell Bach Cuadra, Ujjwal Baid, Bhakti Baheti, Jaume Banus, Kamil Barbierik, Christoph Brune, Yansong Bu, Baptiste Callard, Yuhan Chen, Cornelius Crijnen, Corentin Dancette, Peter Drotar, Prasad Dutande, Nils D. Forkert, Saurabh Garg, Jakub Gazda, Matej Gazda, Benoît Gérin, Partha Ghosh, Weikang Gong, Pedro M. Gordaliza, Sam Hashemi, Tobias Heimann, Fucang Jia, Jiexin Jiang, Emily Kaczmarek, Chris Kang, Seung Kwan Kang, Mohammad Khazaei, Julien Khlaut, Petros Koutsouvelis, Jae Sung Lee, Yuchong Li, Mengye Lyu, Mingchen Ma, Anant Madabhushi, Klaus H. Maier-Hein, Pierre Manceron, Andrés Martínez Mora, Moona Mazher, Felix Meister, Nataliia Molchanova, Steven A. Niederer, Leonard Nürnberg, Jinah Park, Abdul Qayyum, Jonas Richiardi, Antoine Saporta, Branislav Setlak, Ning Shen, Justin Szeto, Constantin Ulrich, Puru Vaish, Vibujithan Vigneshwaran, Leroy Volmer, Zihao Wang, Siqi Wei, Anthony Winder, Jelmer M. Wolterink, Maxence Wynen, Chang Yang, Si Young Yie, Mostafa Mehdipour Ghazi, Akshay Pai, Espen Jimenez Solem, Sebastian Nørgaard Llambias, Mikael Boesen, Michael Eriksen Benros, Juan Eugenio Iglesias, Mads Nielsen

机构 * organization= Department of Computer Science, University of Copenhagen , city= Copenhagen , country= Denmark ； organization= Pioneer Centre for AI , city= Copenhagen , country= Denmark ； organization= Copenhagen Research Centre for Biological ； Precision Psychiatry, Mental Health Centre Copenhagen, Copenhagen University Hospital , region= Capital Region of Denmark , city= Copenhagen , country= Denmark ； organization= Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital ； Harvard Medical School , city= Boston , state= Massachusetts , country= USA ； Artificial Intelligence Laboratory, Massachusetts Institute of Technology , city= Boston , state= Massachusetts , country= USA ； organization= Johns Hopkins University , city= Baltimore , state= Maryland , country= USA ； organization= Radiological AI Testcenter (RAIT) , region= Capital Region of Denmark , city= Copenhagen , country= Denmark ； organization= Copenhagen University Hospital, Rigshospitalet , region= Capital Region of Denmark , city= Copenhagen , country= Denmark ； organization= Copenhagen University Hospital, Bispebjerg \& Frederiksberg Hospital , region= Capital Region of Denmark , city= Copenhagen , country= Denmark ； organization= Department of Clinical Medicine, Faculty of Health ； Medical Sciences, University of Copenhagen , city= Copenhagen , country= Denmark ； organization= Division of Medical Image Computing, German Cancer Research Center (DKFZ) , city= Heidelberg , country= Germany ； organization= University of British Columbia , city= Vancouver , state= British Columbia , country= Canada ； organization= Hawkes Institute, Department of Computer Science, University College London , city= London , country= United Kingdom ； Lung Institute, Faculty of Medicine, Imperial College London , city= London , country= United Kingdom ； organization= Department of Applied Mathematics, Technical Medical Centre, University of Twente , city= Enschede , country= Netherlands ； organization= IISLAB, Technical University of Košice , city= Košice , country= Slovakia ； organization= 2nd Department of Internal Medicine, Pavol Jozef Safarik University ； L Pasteur University Hospital , city= Košice , country= Slovakia ； organization= Fudan University , city= Shanghai , country= China ； organization= Shenzhen Technology University , city= Shenzhen , country= China ； organization= Department of Radiology, Lausanne University Hospital ； University of Lausanne , city= Lausanne , country= Switzerland ； organization= Louvain Neuroinflammation Imaging Lab (NIL), Université Catholique de Louvain , city= Brussels , country= Belgium ； organization= University of Applied Sciences ； organization= CIBM Center for Biomedical Imaging , city= Lausanne , country= Switzerland ； organization= Department of Radiation Oncology (Maastro), GROW Research Institute for Oncology ； Reproduction, Maastricht University Medical Centre+ , city= Maastricht , country= The Netherlands ； organization= Department of Biomedical Engineering, Medical Image Analysis, Eindhoven University of Technology , city= Eindhoven , country= The Netherlands ； organization= Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences , city= Shenzhen , country= China ； organization= McGill University ； Mila - Quebec AI Institute , city= Montreal , country= Canada ； organization= Hotchkiss Brain Institute ； Department of Radiology, University of Calgary , city= Calgary , state= Alberta , country= Canada ； organization= Department of Radiology, University of Calgary , city= Calgary , state= Alberta , country= Canada ； organization= Alberta Children's Hospital Research Institute, Department of Clinical Neuroscience, University of Calgary , city= Calgary , state= Alberta , country= Canada ； organization= The Wallace H. Coulter Department of Biomedical Engineering, Georgia Tech ； Emory University , city= Atlanta , state= Georgia , country= USA ； organization= SGGS College of Engineering ； organization= Seoul National University , city= Seoul , country= South Korea ； organization= The D-Lab, Department of Precision Medicine, GROW Research Institute for Oncology ； Reproduction, Maastricht University , city= Maastricht , country= The Netherlands ； organization= Artificial Intelligence in Medicine (AIM) Program, Mass General Brigham, Harvard Medical School , city= Boston , state= Massachusetts , country= USA ； Nuclear Medicine, CARIM \& GROW, Maastricht University , city= Maastricht , country= The Netherlands ； organization= Department of Radiation Oncology, Dana-Farber Cancer Institute, Brigham ； Women’s Hospital, Harvard Medical School , city= Boston , state= Massachusetts , country= USA ； Learning Group, Heidelberg University Hospital , city= Heidelberg , country= Germany 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 针对临床脑MRI数据异质且标注成本高的问题，FOMO25挑战赛通过自监督预训练（FOMO60K数据集）评估了16个团队的基础模型，发现自监督预训练能提升域迁移泛化性，但不同任务需不同预训练目标，且模型规模扩展收益有限。

Inferential Privacy Leakage in Anonymized Conversational AI Logs

匿名化对话式AI日志中的推断隐私泄露

S M Mehedi Zaman, Kiran Garimella

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 通过分析来自四个全球南方国家1000多名用户的ChatGPT对话历史，测量了显式披露和推断性隐私泄露，发现即使移除显式个人身份信息，大型语言模型仍能以高F1分数推断用户年龄、性别和国家。

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

去偏负挖掘提升基于预训练视觉语言模型的分布外检测

Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 针对分布外检测中负标签的假阴性问题，提出通过间接近似负标签分布来校正采样偏差的理论框架，并转化为基于ID标签和未标注语料数据的蒙特卡洛采样方法，在多种OOD检测设置中达到新最优。

Comments KDD 2026

An Open-Source Training Dataset for Foundation Models for Black-box Optimization

黑箱优化的基础模型的开源训练数据集

Aaron Klein, Herilalaina Rakotoarison, Luca Thale-Bombien, David Salinas

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； University of Helsinki（赫尔辛基大学） ； Leipzig University（莱比锡大学） ； Prior Labs（Prior实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 为解决黑箱优化方法泛化性差的问题，提出首个大规模开源优化轨迹数据集BBO-Pile，并训练多尺度基础模型，验证了大规模预训练的有效性。

Understanding Task Aggregation for Generalizable Ultrasound Foundation Models

理解可泛化超声基础模型的任务聚合

Fangyijie Wang, Tanya Akumu, Vien Ngoc Dang, Amelia Jiménez-Sánchez, Jieyun Bai, Guénolé Silvestre, Karim Lekadir, Kathleen M. Curran

机构 * Research Ireland Centre for Research Training in Machine Learning Departament de Matem\`atiques i Inform\`atica, Universitat de Barcelona, Barcelona, Spain School of Medicine, University College Dublin, Dublin, Ireland School of Computer Science, University College Dublin, Dublin, Ireland Instituci\'o Catalana de Recerca i Estudis Avan c ats (ICREA) Department of Cardiovascular Surgery, The First Affiliated Hospital of Jinan University, Jinan University, Guangzhou, China Auckland Bioengineering Institute, University of Auckland, Auckland, New Zealand Equal contribution 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文通过系统分析任务异质性与训练数据规模对联合学习的影响，提出基于DINOv3和任务条件专家混合模块的M2DINO框架，并在27项超声任务上验证了聚合策略应同时考虑数据可用性和任务特性。

LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation

LACY: 基于视觉-语言模型的语言-动作循环用于自我改进的机器人操作

Youngjin Hong, Houjian Yu, Mingen Li, Changhyun Choi

机构 * Department of Electrical and Computer Engineering, Univ. of Minnesota（电气与计算机工程系，明尼苏达大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 提出LACY框架，通过联合学习语言到动作、动作到语言和语言一致性验证三个任务，实现机器人操作的自我改进，平均任务成功率提升56.46%。

Comments Accepted to ICRA 2026. Project page: https://vla2026.github.io/LACY/

HTMuon: Improving Muon via Heavy-Tailed Spectral Correction

HTMuon：通过重尾谱校正改进Muon

Tianyu Pang, Yujie Fang, Zihang Liu, Shenyang Deng, Lei Hsiung, Shuhua Yu, Yaoqing Yang

机构 * Dartmouth College（达特茅斯学院） ； Microsoft（微软） ； International Computer Science Institute（国际计算机科学研究所） ； University of California, Berkeley（加州大学伯克利分校） ； Meta 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对Muon优化器正交化更新规则抑制重尾权重谱并过度强调噪声方向训练的问题，提出HTMuon方法，通过重尾自正则化理论产生更重尾的更新和权重谱，在LLM预训练和图像分类中提升性能。

A comprehensive evaluation of pretraining strategies for channel-agnostic contrastive self-supervision of biosignals

生物信号通道无关对比自监督预训练策略的综合评估

Thea Brüsch, Mikkel N. Schmidt, Tommy S. Alstrøm

机构 * Department of Applied Mathematics and Computer Science（应用数学和计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

AI总结 针对生物信号通道可变性问题，提出对比随机导联编码（CRLC）方法，通过随机选择输入通道子集创建正对，在EEG和ECG数据上预训练并微调，在通道无关设置下优于现有策略，并达到与最先进参考模型相当的性能。

MuellerPT: Decomposition Driven Pretraining for Dense Learning in Mueller Polarimetry

MuellerPT: 穆勒偏振测量中密集学习的分解驱动预训练

Adam Tlemsani, Yingdian Li, Maxime Giot, Naim Slim, Christopher J. Peters, Abhijeet Ghosh, Daniel S. Elson

机构 * Department of Computing, Imperial College London（帝国理工学院计算机系） ； Hamlyn Centre for Robotic Surgery, Imperial College London（帝国理工学院机器人外科中心） ； Department of Surgery and Cancer, Imperial College London（帝国理工学院外科与癌症系） ； Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 提出MuellerPT，一种通过预测Lu-Chipman分解图进行物理引导预训练的方法，在少样本分割和分类任务中显著提升标签效率和跨样本泛化能力。

Comments Accepted to 29th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2026)

Complete-muE: Optimal Hyperparameter Transfer and Scaling for MoE Models

Complete-muE：MoE模型的最优超参数迁移与缩放

Hongwu Peng, Ohiremen Dibua, Yuanjun Xiong, Yifan Gong, Jianming Zhang, Yan Kang

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出Complete-muE框架，通过双桥系统实现稠密FFN与混合专家（MoE）架构间的超参数迁移，支持MoE模型在激活专家数、总容量、粒度等方面的缩放，并验证了“一次调优稠密模型，迁移至所有MoE配置”的实用策略。

Comments 27 pages

Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions

数据约束下的多语言知识迁移：通过词汇干预

Anastasiia Sedova, Natalie Schluter, Skyler Seto, Maartje ter Hoeve

机构 * Apple（苹果公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出LINK方法，利用双语词汇对预训练数据中的高资源语言部分进行词汇替换，无需额外模型训练或大量平行数据，即可有效提升低资源语言的知识迁移效果。

Is a Document Educational or Just Wikipedia-Style? -- Pitfalls of Classifier-Based Quality Filtering

文档是教育性的还是维基风格的？——基于分类器的质量过滤的陷阱

Mateusz Klimaszewski, Piotr Andruszkiewicz

机构 * Warsaw University of Technology（华沙技术大学） ； IDEAS Research Institute（IDEAS研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文揭示了基于分类器的质量过滤方法中一个关键漏洞：简单的维基风格重格式化操作可显著改变模型的质量评估，使低质量内容通过过滤阈值，并量化了FineWeb-Edu CQF模型约7%文档的过滤决策反转。

Comments Accepted to ACL 2026

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

Smart-Insertion-V: 通过闭环反馈双流框架实现逼真的视频插入

Xiao Cao, Yansong Qu, Xiangzhen, Chang, Wen Xiao, Jiakui Hu, Heyuan Li, Jialun Liu, Zhiyong Huang, Xuelong Li

专题命中 预训练与数据 ：language model(abstract)

AI总结 提出一种端到端双流框架Smart-Insertion-V，通过闭环反馈机制和双世界视角旋转位置编码解决参考对象与源视频风格域差异大的问题，实现无需掩码的逼真视频对象插入。

Instrumentation for Imitation Learning: Enhancing Training Datasets for Clothes Hanger Insertion

模仿学习的仪器化：增强衣架插入训练数据集

Remko Proesmans, Thomas Lips, Francis wyffels

机构 * AI and Robotics Lab (IDLab-AIRO)（人工智能与机器人实验室（IDLab-AIRO）） ； Ghent University—imec（根特大学—imec） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文通过仪器化（在物体中集成传感器）提供状态信息，训练扩散策略进行衣架插入任务，实验表明仪器化策略比纯视觉策略成功率提高14-25%，且黑箱模仿学习能自动优先使用仪器信号。

Comments Accepted for presentation at ICRA2026

The Solar Dynamics Observatory in the Living With a Star Era: From Solar Observations to Predictive Heliophysics

在“与星共存”时代的太阳动力学观测站：从太阳观测到预测性日球物理学

Madhulika Guhathakurta

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文回顾了SDO任务如何通过高时空分辨率的全日面观测，将太阳大气视为动态系统，从而推动从事件识别到连续状态表征的范式转变，并为空间天气预测、电离层-热层建模及机器学习方法提供了关键数据与基础设施。

Comments 20 pages, 1 figure, perspective article, Topical Issue in Solar Physics - How SDO has Revolutionized our Understanding of the Sun