语言大模型 / LLM

Pretraining Large Language Models with NVFP4

用NVFP4预训练大语言模型

NVIDIA, Felix Abecassis, Anjulie Agrusa, Dong Ahn, Jonah Alben, Stefania Alborghetti, Michael Andersch, Sivakumar Arayandi, Alexis Bjorlin, Aaron Blakeman, Evan Briones, Ian Buck, Bryan Catanzaro, Muya Chang, Jinhang Choi, Mike Chrzanowski, Eric Chung, Victor Cui, Steve Dai, Bita Darvish Rouhani, Carlo del Mundo, Deena Donia, Burc Eryilmaz, Henry Estela, Abhinav Goel, Oleg Goncharov, Yugi Guvvala, Robert Hesse, Russell Hewett, Herbert Hum, Ujval Kapasi, Brucek Khailany, Mikail Khona, Nick Knight, Alex Kondratenko, Ronny Krashinsky, Ben Lanir, Simon Layton, Michael Lightstone, Daniel Lo, Paulius Micikevicius, Asit Mishra, Tim Moon, Deepak Narayanan, Chao Ni, Abhijit Paithankar, Satish Pasumarthi, Ankit Patel, Mostofa Patwary, Ashwin Poojary, Gargi Prasad, Sweta Priyadarshi, Yigong Qin, Xiaowei Ren, Oleg Rybakov, Charbel Sakr, Sanjeev Satheesh, Stas Sergienko, Pasha Shamis, Kirthi Shankar, Nishant Sharma, Mohammad Shoeybi, Michael Siu, Misha Smelyanskiy, Darko Stosic, Dusan Stosic, Bor-Yiing Su, Frank Sun, Nima Tajbakhsh, Shelby Thomas, Przemek Tredak, Evgeny Tsykunov, Gandhi Vaithilingam, Aditya Vavre, Rangharajan Venkatesan, Roger Waleffe, Qiyu Wan, Hexin Wang, Mengdi Wang, Lizzie Wei, Hao Wu, Evan Wu, Keith Wyss, Ning Xu, Jinze Xue, Charlene Yang, Yujia Zhai, Ruoxi Zhang, Jingyang Zhu, Zhongbo Zhu

机构 * NVIDIA 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

AI总结 本研究提出了一种基于NVFP4的预训练方法，通过整合随机哈达玛变换、二维量化方案和随机舍入等技术，实现稳定且高效的大型语言模型训练。

Comments Update includes: (1) fixing a typo in eq. 2 (2) updating author list, and (3) adding a related work

MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining

MuRating: 一种用于多语言大语言模型预训练的高质量数据选择方法

Zhixun Chen, Ping Guo, Wenhan Han, Yifan Zhang, Binbin Liu, Haobin Lin, Fengze Liu, Yan Zhao, Bingni Zhang, Taifeng Wang, Yin Zheng, Trevor Cohn, Meng Fang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； ByteDance（字节跳动） ； Eindhoven University of Technology（埃因霍温理工大学） ； University of Melbourne（墨尔本大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 MuRating通过多语言评估器选择高质量数据，提升多语言大语言模型的预训练效果。

Comments NeurIPS 2025 poster

Assessing the Impact of Code Changes on the Fault Localizability of Large Language Models

评估代码更改对大型语言模型故障定位性的影响

Sabaat Haroon, Ahmad Faraz Khan, Ahmad Humayun, Waris Gill, Abdul Haddi Amjad, Ali R. Butt, Mohammad Taha Khan, Muhammad Ali Gulzar

机构 * Carnegie Mellon University, USA（卡内基梅隆大学，美国） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过端到端评估框架评估LLM在故障定位中的鲁棒性，发现SPMs导致78%的LLM失败于之前定位的故障，表明LLM推理依赖于语法而非语义。

Comments This paper is currently Under Review. It consists of 12 pages, 11 Figures, and 5 Tables

Progressive Residual Warmup for Language Model Pretraining

逐步残差预热用于语言模型预训练

Tianhao Chen, Xin Xu, Lu Yin, Hao Chen, Yang Wang, Shizhe Diao, Can Yang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； NVIDIA, Santa Clara, US（NVIDIA公司） ； The University of Hong Kong, Hong Kong, China（香港大学） ； University of Surrey, Guildford, UK（萨里大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 ProRes通过逐步残差预热方法提升语言模型预训练的稳定性与收敛速度，实现更快的收敛和更好的性能

Standing on the Shoulders of Giants: Rethinking EEG Foundation Model Pretraining via Multi-Teacher Distillation

站在巨人肩膀上：通过多教师蒸馏重新思考EEG基础模型预训练

Chenqi Li, Yu Liu, Shuo Zhang, Timothy Denison, Tingting Zhu

机构 * Department of Engineering Science, University of Oxford（工程科学系，牛津大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出MTDP框架，通过多教师蒸馏预训练EEG基础模型，提升模型性能并减少预训练数据需求。

Narrow Finetuning Leaves Clearly Readable Traces in Activation Differences

细粒度微调在激活差异中留下明显可读的痕迹

Julian Minder, Clément Dumas, Stewart Slocum, Helena Casademunt, Cameron Holmes, Robert West, Neel Nanda

机构 * EPFL（苏黎世联邦理工学院） ； Ecole Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学校） ； Université Paris-Saclay（巴黎-萨克雷大学） ； Harvard University（哈佛大学） ； MATS 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究发现狭窄微调会在激活中留下明显痕迹，揭示了微调领域偏见，并警告了使用此类模型进行广泛微调研究的局限性。

Comments ICLR 2026

Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems

对齐反噬：在16种语言的LLM多智能体系统中语言依赖性的安全干预逆转

Hiroki Fukui

机构 * Research Institute of Criminal Psychiatry / Sex Offender Medical Center（犯罪精神病研究所以及性犯罪医疗中心） ； Department of Neuropsychiatry, Kyoto University（京都大学神经精神病学系） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现，在不同语言的LLM多智能体系统中，对齐干预可能导致安全措施的逆转，揭示了语言空间对对齐效果的决定性影响。

Comments 89 pages, 4 figures, 4 supplementary figures, 12 supplementary tables; preprint

HydroGEM: A Self Supervised Zero Shot Hybrid TCN Transformer Foundation Model for Continental Scale Streamflow Quality Control

HydroGEM：一种用于大陆尺度径流质量控制的自监督零样本混合TCN-Transformer基础模型

Ijaz Ul Haq, Byung Suk Lee, Julia N. Perdrial, David Baude

机构 * Department of Computer Science, University of Vermont（维珍尼亚大学计算机科学系） ； Water Resources Institute, University of Vermont（维珍尼亚大学水文资源研究所） ； Department of Geography and Geosciences, University of Vermont（维珍尼亚大学地理与地质学系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 HydroGEM通过自监督预训练和混合TCN-Transformer架构，实现了对大陆尺度径流质量控制的高效检测与重建，性能优于基线模型，展示了跨国家的泛化能力。

Comments Supplementary materials, datasets, and implementation code will be made publicly available upon acceptance for publication in a peer-reviewed journal

Controlled LLM Training on Spectral Sphere

在谱球上受控的大规模模型训练

Tian Xie, Haoming Luo, Haoyu Tang, Yiwen Hu, Jason Klein Liu, Qingnan Ren, Yang Wang, Wayne Xin Zhao, Rui Yan, Bing Su, Chong Luo, Baining Guo

机构 * Microsoft Research Asia（微软亚洲研究院） ； Renmin University（中国人民大学） ； Wuhan University（武汉大学） ； IQuest Research（IQuest研究） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出谱球优化器（SSO），通过严格约束权重和更新的谱特性，实现与最大更新参数化（μP）的完全对齐，从而在大规模模型训练中提升稳定性与性能。

When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining

当先验知识失效：在预训练模型中不可学习示例的易受性

Zhihao Li, Gezheng Xu, Jiale Cai, Ruiyi Fang, Di Wu, Qicheng Lao, Charles Ling, Boyu Wang

机构 * Western University（西方大学） ； Concordia University（康科迪亚大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出BAIT方法，通过双层优化机制有效对抗预训练先验对不可学习示例的干扰，保持数据不可学习性。

Comments ICLR 2026 camera-ready

PDE foundation model-accelerated inverse estimation of system parameters in inertial confinement fusion

偏微分方程基础模型加速惯性约束聚变系统参数反演

Mahindra Rautela, Alexander Scheinker, Bradley Love, Diane Oyen, Nathan DeBardeleben, Earl Lawrence, Ayan Biswas

机构 * AOT-IC Group, Los Alamos National Laboratory（AOT-IC组，洛斯阿拉莫斯国家实验室） ； CAI Division, Los Alamos National Laboratory（CAI部门，洛斯阿拉莫斯国家实验室） ； HPC Division, Los Alamos National Laboratory（HPC部门，洛斯阿拉莫斯国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究利用偏微分方程基础模型加速惯性约束聚变系统参数反演，通过微调和轻量级头部训练实现高精度超光谱重建与参数回归。

Revisiting Shape from Polarization in the Era of Vision Foundation Models

重新审视极化形变在视觉基础模型时代的应用

Chenhao Li, Taishi Ono, Takeshi Uemori, Yusuke Moriuchi

机构 * Sony Semiconductor Solutions Corporation（索尼半导体解决方案公司） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本研究通过极化线索和改进的数据增强方法，在少量训练数据下实现了优于传统RGB模型的表面法线估计性能。

Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos

学习驾驶是免费礼物：从未经处理的现实视频中进行大规模无标签自主性预训练

Matthew Strong, Wei-Jer Chang, Quentin Herau, Jiezhi Yang, Yihan Hu, Chensheng Peng, Wei Zhan

机构 * Applied Intuition ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)

AI总结 本文提出一种无标签、教师引导的框架，通过未经处理的现实视频学习自动驾驶表示，无需姿态、标签或LiDAR，实现高效的自动驾驶感知和规划。

Comments Accepted at CVPR 2026

Measuring Privacy vs. Fidelity in Synthetic Social Media Datasets

测量合成社交媒体数据集中的隐私与保真度

Henry Tari, Adriana Iamnitchi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究了合成Instagram帖子的隐私与保真度之间的平衡，通过作者归属攻击评估隐私风险，并发现保真度越高隐私泄露越严重。

Stan: An LLM-based thermodynamics course assistant

Stan：基于LLM的热力学课程助教

Eric M. Furst, Vasudevan Venkateshwaran

机构 * Department of Chemical ； Biomolecular Engineering, Allan P.\ Colburn Laboratory, University of Delaware, Newark, DE 19716, USA 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL

AI总结 Stan是一种基于LLM的热力学课程助教系统，通过本地硬件运行，提供学生查询回答和教师教学记录支持，确保数据隐私和可重复性。

Comments 17 pages, 6 figures. For associated code repository, see https://github.com/EntropicLearners/stan.git

Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer

迈向理解潜意识学习：何时以及如何隐藏偏见转移

Simon Schrodi, Elias Kempf, Fazl Barez, Thomas Brox

机构 * University of Freiburg（弗赖堡大学） ； University of Oxford（牛津大学） ； WhiteBox 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言模型在蒸馏过程中潜意识学习的机制，发现早期层的微调足以引发隐藏偏见的转移，并指出该现象对提示改写敏感。

Comments ICLR 2026

Replaying pre-training data improves fine-tuning

重放预训练数据提高微调

Suhas Kotha, Percy Liang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过重放预训练数据提升微调效果，提高目标任务性能

Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

Vevo2：一种用于语音和歌唱语音生成的统一且可控的框架

Xueyao Zhang, Junan Zhang, Yuancheng Wang, Chaoren Wang, Yuanzhe Chen, Dongya Jia, Zhuo Chen, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； ByteDance Seed（字节跳动种子） ； Shenzhen Loop Area Institute（深圳河套学院） ； City University of Macau（澳门城市大学） ； Amphion Technology Co., Ltd.（Amphion科技有限公司） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 Vevo2通过统一建模和可控框架实现语音与歌唱语音的生成，结合语调学习策略和多目标训练提升可控性和泛化能力。

Comments Accepted by the IEEE Transactions on Audio, Speech and Language Processing (TASLP)

Semantic Containment as a Fundamental Property of Emergent Misalignment

语义包容作为涌现偏差的根本属性

Rohan Saxena

机构 * Department of XXX, University of YYY, Location, Country（YYY大学XXX系） ； School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现语义触发器可自发诱导模型限制，无需混合无害和有害训练数据，揭示有害微调的潜在安全风险。

Optimizing What We Trust: Reliability-Guided QUBO Selection of Multi-Agent Weak Framing Signals for Arabic Sentiment Prediction

优化我们信任的内容：基于可靠性引导的多智能体弱标注信号QUBO选择用于阿拉伯语情感预测

Rabab Alkhalifa

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出一种基于可靠性的弱监督框架，通过QUBO选择优化多智能体弱标注信号，提升阿拉伯语情感预测的可靠性与结构迁移能力。