语言大模型 / LLM

Pretraining Large Language Models with NVFP4

用NVFP4预训练大语言模型

NVIDIA, Felix Abecassis, Anjulie Agrusa, Dong Ahn, Jonah Alben, Stefania Alborghetti, Michael Andersch, Sivakumar Arayandi, Alexis Bjorlin, Aaron Blakeman, Evan Briones, Ian Buck, Bryan Catanzaro, Muya Chang, Jinhang Choi, Mike Chrzanowski, Eric Chung, Victor Cui, Steve Dai, Bita Darvish Rouhani, Carlo del Mundo, Deena Donia, Burc Eryilmaz, Henry Estela, Abhinav Goel, Oleg Goncharov, Yugi Guvvala, Robert Hesse, Russell Hewett, Herbert Hum, Ujval Kapasi, Brucek Khailany, Mikail Khona, Nick Knight, Alex Kondratenko, Ronny Krashinsky, Ben Lanir, Simon Layton, Michael Lightstone, Daniel Lo, Paulius Micikevicius, Asit Mishra, Tim Moon, Deepak Narayanan, Chao Ni, Abhijit Paithankar, Satish Pasumarthi, Ankit Patel, Mostofa Patwary, Ashwin Poojary, Gargi Prasad, Sweta Priyadarshi, Yigong Qin, Xiaowei Ren, Oleg Rybakov, Charbel Sakr, Sanjeev Satheesh, Stas Sergienko, Pasha Shamis, Kirthi Shankar, Nishant Sharma, Mohammad Shoeybi, Michael Siu, Misha Smelyanskiy, Darko Stosic, Dusan Stosic, Bor-Yiing Su, Frank Sun, Nima Tajbakhsh, Shelby Thomas, Przemek Tredak, Evgeny Tsykunov, Gandhi Vaithilingam, Aditya Vavre, Rangharajan Venkatesan, Roger Waleffe, Qiyu Wan, Hexin Wang, Mengdi Wang, Lizzie Wei, Hao Wu, Evan Wu, Keith Wyss, Ning Xu, Jinze Xue, Charlene Yang, Yujia Zhai, Ruoxi Zhang, Jingyang Zhu, Zhongbo Zhu

机构 * NVIDIA 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

AI总结 本研究提出了一种基于NVFP4的预训练方法，通过整合随机哈达玛变换、二维量化方案和随机舍入等技术，实现稳定且高效的大型语言模型训练。

Comments Update includes: (1) fixing a typo in eq. 2 (2) updating author list, and (3) adding a related work

MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining

MuRating: 一种用于多语言大语言模型预训练的高质量数据选择方法

Zhixun Chen, Ping Guo, Wenhan Han, Yifan Zhang, Binbin Liu, Haobin Lin, Fengze Liu, Yan Zhao, Bingni Zhang, Taifeng Wang, Yin Zheng, Trevor Cohn, Meng Fang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； ByteDance（字节跳动） ； Eindhoven University of Technology（埃因霍温理工大学） ； University of Melbourne（墨尔本大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 MuRating通过多语言评估器选择高质量数据，提升多语言大语言模型的预训练效果。

Comments NeurIPS 2025 poster

Assessing the Impact of Code Changes on the Fault Localizability of Large Language Models

评估代码更改对大型语言模型故障定位性的影响

Sabaat Haroon, Ahmad Faraz Khan, Ahmad Humayun, Waris Gill, Abdul Haddi Amjad, Ali R. Butt, Mohammad Taha Khan, Muhammad Ali Gulzar

机构 * Carnegie Mellon University, USA（卡内基梅隆大学，美国） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过端到端评估框架评估LLM在故障定位中的鲁棒性，发现SPMs导致78%的LLM失败于之前定位的故障，表明LLM推理依赖于语法而非语义。

Comments This paper is currently Under Review. It consists of 12 pages, 11 Figures, and 5 Tables

Progressive Residual Warmup for Language Model Pretraining

逐步残差预热用于语言模型预训练

Tianhao Chen, Xin Xu, Lu Yin, Hao Chen, Yang Wang, Shizhe Diao, Can Yang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； NVIDIA, Santa Clara, US（NVIDIA公司） ； The University of Hong Kong, Hong Kong, China（香港大学） ； University of Surrey, Guildford, UK（萨里大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 ProRes通过逐步残差预热方法提升语言模型预训练的稳定性与收敛速度，实现更快的收敛和更好的性能

Standing on the Shoulders of Giants: Rethinking EEG Foundation Model Pretraining via Multi-Teacher Distillation

站在巨人肩膀上：通过多教师蒸馏重新思考EEG基础模型预训练

Chenqi Li, Yu Liu, Shuo Zhang, Timothy Denison, Tingting Zhu

机构 * Department of Engineering Science, University of Oxford（工程科学系，牛津大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出MTDP框架，通过多教师蒸馏预训练EEG基础模型，提升模型性能并减少预训练数据需求。

Narrow Finetuning Leaves Clearly Readable Traces in Activation Differences

细粒度微调在激活差异中留下明显可读的痕迹

Julian Minder, Clément Dumas, Stewart Slocum, Helena Casademunt, Cameron Holmes, Robert West, Neel Nanda

机构 * EPFL（苏黎世联邦理工学院） ； Ecole Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学校） ； Université Paris-Saclay（巴黎-萨克雷大学） ； Harvard University（哈佛大学） ； MATS 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究发现狭窄微调会在激活中留下明显痕迹，揭示了微调领域偏见，并警告了使用此类模型进行广泛微调研究的局限性。

Comments ICLR 2026

Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems

对齐反噬：在16种语言的LLM多智能体系统中语言依赖性的安全干预逆转

Hiroki Fukui

机构 * Research Institute of Criminal Psychiatry / Sex Offender Medical Center（犯罪精神病研究所以及性犯罪医疗中心） ； Department of Neuropsychiatry, Kyoto University（京都大学神经精神病学系） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现，在不同语言的LLM多智能体系统中，对齐干预可能导致安全措施的逆转，揭示了语言空间对对齐效果的决定性影响。

Comments 89 pages, 4 figures, 4 supplementary figures, 12 supplementary tables; preprint

HydroGEM: A Self Supervised Zero Shot Hybrid TCN Transformer Foundation Model for Continental Scale Streamflow Quality Control

HydroGEM：一种用于大陆尺度径流质量控制的自监督零样本混合TCN-Transformer基础模型

Ijaz Ul Haq, Byung Suk Lee, Julia N. Perdrial, David Baude

机构 * Department of Computer Science, University of Vermont（维珍尼亚大学计算机科学系） ； Water Resources Institute, University of Vermont（维珍尼亚大学水文资源研究所） ； Department of Geography and Geosciences, University of Vermont（维珍尼亚大学地理与地质学系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 HydroGEM通过自监督预训练和混合TCN-Transformer架构，实现了对大陆尺度径流质量控制的高效检测与重建，性能优于基线模型，展示了跨国家的泛化能力。

Comments Supplementary materials, datasets, and implementation code will be made publicly available upon acceptance for publication in a peer-reviewed journal

Controlled LLM Training on Spectral Sphere

在谱球上受控的大规模模型训练

Tian Xie, Haoming Luo, Haoyu Tang, Yiwen Hu, Jason Klein Liu, Qingnan Ren, Yang Wang, Wayne Xin Zhao, Rui Yan, Bing Su, Chong Luo, Baining Guo

机构 * Microsoft Research Asia（微软亚洲研究院） ； Renmin University（中国人民大学） ； Wuhan University（武汉大学） ； IQuest Research（IQuest研究） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出谱球优化器（SSO），通过严格约束权重和更新的谱特性，实现与最大更新参数化（μP）的完全对齐，从而在大规模模型训练中提升稳定性与性能。

When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining

当先验知识失效：在预训练模型中不可学习示例的易受性

Zhihao Li, Gezheng Xu, Jiale Cai, Ruiyi Fang, Di Wu, Qicheng Lao, Charles Ling, Boyu Wang

机构 * Western University（西方大学） ； Concordia University（康科迪亚大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出BAIT方法，通过双层优化机制有效对抗预训练先验对不可学习示例的干扰，保持数据不可学习性。

Comments ICLR 2026 camera-ready

PDE foundation model-accelerated inverse estimation of system parameters in inertial confinement fusion

偏微分方程基础模型加速惯性约束聚变系统参数反演

Mahindra Rautela, Alexander Scheinker, Bradley Love, Diane Oyen, Nathan DeBardeleben, Earl Lawrence, Ayan Biswas

机构 * AOT-IC Group, Los Alamos National Laboratory（AOT-IC组，洛斯阿拉莫斯国家实验室） ； CAI Division, Los Alamos National Laboratory（CAI部门，洛斯阿拉莫斯国家实验室） ； HPC Division, Los Alamos National Laboratory（HPC部门，洛斯阿拉莫斯国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究利用偏微分方程基础模型加速惯性约束聚变系统参数反演，通过微调和轻量级头部训练实现高精度超光谱重建与参数回归。

Revisiting Shape from Polarization in the Era of Vision Foundation Models

重新审视极化形变在视觉基础模型时代的应用

Chenhao Li, Taishi Ono, Takeshi Uemori, Yusuke Moriuchi

机构 * Sony Semiconductor Solutions Corporation（索尼半导体解决方案公司） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本研究通过极化线索和改进的数据增强方法，在少量训练数据下实现了优于传统RGB模型的表面法线估计性能。

Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos

学习驾驶是免费礼物：从未经处理的现实视频中进行大规模无标签自主性预训练

Matthew Strong, Wei-Jer Chang, Quentin Herau, Jiezhi Yang, Yihan Hu, Chensheng Peng, Wei Zhan

机构 * Applied Intuition ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)

AI总结 本文提出一种无标签、教师引导的框架，通过未经处理的现实视频学习自动驾驶表示，无需姿态、标签或LiDAR，实现高效的自动驾驶感知和规划。

Comments Accepted at CVPR 2026

Measuring Privacy vs. Fidelity in Synthetic Social Media Datasets

测量合成社交媒体数据集中的隐私与保真度

Henry Tari, Adriana Iamnitchi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究了合成Instagram帖子的隐私与保真度之间的平衡，通过作者归属攻击评估隐私风险，并发现保真度越高隐私泄露越严重。

Stan: An LLM-based thermodynamics course assistant

Stan：基于LLM的热力学课程助教

Eric M. Furst, Vasudevan Venkateshwaran

机构 * Department of Chemical ； Biomolecular Engineering, Allan P.\ Colburn Laboratory, University of Delaware, Newark, DE 19716, USA 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL

AI总结 Stan是一种基于LLM的热力学课程助教系统，通过本地硬件运行，提供学生查询回答和教师教学记录支持，确保数据隐私和可重复性。

Comments 17 pages, 6 figures. For associated code repository, see https://github.com/EntropicLearners/stan.git

Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer

迈向理解潜意识学习：何时以及如何隐藏偏见转移

Simon Schrodi, Elias Kempf, Fazl Barez, Thomas Brox

机构 * University of Freiburg（弗赖堡大学） ； University of Oxford（牛津大学） ； WhiteBox 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言模型在蒸馏过程中潜意识学习的机制，发现早期层的微调足以引发隐藏偏见的转移，并指出该现象对提示改写敏感。

Comments ICLR 2026

Replaying pre-training data improves fine-tuning

重放预训练数据提高微调

Suhas Kotha, Percy Liang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过重放预训练数据提升微调效果，提高目标任务性能

Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

Vevo2：一种用于语音和歌唱语音生成的统一且可控的框架

Xueyao Zhang, Junan Zhang, Yuancheng Wang, Chaoren Wang, Yuanzhe Chen, Dongya Jia, Zhuo Chen, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； ByteDance Seed（字节跳动种子） ； Shenzhen Loop Area Institute（深圳河套学院） ； City University of Macau（澳门城市大学） ； Amphion Technology Co., Ltd.（Amphion科技有限公司） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 Vevo2通过统一建模和可控框架实现语音与歌唱语音的生成，结合语调学习策略和多目标训练提升可控性和泛化能力。

Comments Accepted by the IEEE Transactions on Audio, Speech and Language Processing (TASLP)

Semantic Containment as a Fundamental Property of Emergent Misalignment

语义包容作为涌现偏差的根本属性

Rohan Saxena

机构 * Department of XXX, University of YYY, Location, Country（YYY大学XXX系） ； School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现语义触发器可自发诱导模型限制，无需混合无害和有害训练数据，揭示有害微调的潜在安全风险。

Optimizing What We Trust: Reliability-Guided QUBO Selection of Multi-Agent Weak Framing Signals for Arabic Sentiment Prediction

优化我们信任的内容：基于可靠性引导的多智能体弱标注信号QUBO选择用于阿拉伯语情感预测

Rabab Alkhalifa

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出一种基于可靠性的弱监督框架，通过QUBO选择优化多智能体弱标注信号，提升阿拉伯语情感预测的可靠性与结构迁移能力。

Induced Numerical Instability: Hidden Costs in Multimodal Large Language Models

诱导的数值不稳定性：多模态大语言模型中的隐藏成本

Wai Tuck Wong, Jun Sun, Arunesh Sinha

机构 * School of Computing（计算学院） ； Information Systems, Singapore Management University, Singapore（信息系统，新加坡管理大学，新加坡） ； Information Systems Department, Rutgers Business School, New Jersey, USA（信息系统系，罗格斯商学院，新泽西，美国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示多模态大语言模型在推理阶段因优化数值不稳定性导致性能退化的新故障模式。

Detection of Illicit Content on Online Marketplaces using Large Language Models

利用大语言模型检测在线市场上的非法内容

Quoc Khoa Tran, Thanh Thi Nguyen, Campbell Wilson

机构 * AiLECS Lab Monash University（AiLECS实验室 莫纳什大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了利用大语言模型检测在线市场非法内容的有效性，发现LLM在复杂分类任务中表现优于传统方法。

Comments Accepted for publication in the Proceedings of the 8th International Conference on Natural Language Processing (ICNLP 2026)

Large Language Model-driven Analysis of General Coordinates Network (GCN) Circulars

基于大语言模型的通用坐标网络（GCN）圆周分析

Vidushi Sharma, Ronit Agarwala, Judith L. Racusin, Leo P. Singer, Tyler Barna, Eric Burns, Michael W. Coughlin, Dakota Dutko, Courey Elliott, Rahul Gupta, Ashish Mahabal, Nikhil Mukund

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文利用大语言模型自动解析GCN圆周，实现暂现体观测信息的高效提取与分类，准确率达97.2%。

Comments 21 pages, 11 figures, 7 tables. Published in ApJS

Journal ref The Astrophysical Journal Supplement Series, 2026, Volume 283, Number 1, Pages 30

Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective

为何强化微调能更好地使大语言模型保留先验知识：从数据角度出发

Zhihao Zhang, Qiaole Dong, Qi Zhang, Jun Zhao, Enyu Zhou, Zhiheng Xi, Senjie Jin, Xiaoran Fan, Yuhao Zhou, Mingqi Wu, Yanwei Fu, Tao Ji, Tao Gui, Xuanjing Huang, Kai Chen

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 本文通过数据视角揭示强化微调（RFT）相较于监督微调（SFT）在保留大语言模型先验知识方面的优势，发现RFT通过强化正确样本与基模型对齐，有效减少对先验知识的干扰。

Comments Accepted by ICLR 2026

PromptTuner: SLO-Aware Elastic System for LLM Prompt Tuning

PromptTuner: 为LLM提示调优设计的SLO感知弹性系统

Wei Gao, Peng Sun, Dmitrii Ustiugov, Tianwei Zhang, Yonggang Wen

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 PromptTuner通过设计提示库和工作负载调度器，优化LLM提示调优的SLO目标，显著降低违规率和成本。

FireBench: Evaluating Instruction Following in Enterprise and API-Driven LLM Applications

FireBench: 评估企业及 API 驱动的 LLM 应用中的指令遵循

Yunfan Zhang, Yijie Bei, Jetashree Ravi, Pawel Garbacki

机构 * Columbia University（哥伦比亚大学） ； Fireworks AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL

AI总结 FireBench 是一个评估企业及 API 驱动 LLM 应用中指令遵循能力的基准测试，通过 2400 个样本评估六个核心能力维度，评估 11 个 LLM 的表现。

Flatness Guided Test-Time Adaptation for Vision-Language Models

基于平坦度引导的视觉-语言模型测试时适应

Aodi Li, Liansheng Zhuang, Xiao Long, Houqiang Li, Shafei Wang

机构 * School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络科学与技术学院） ； National Engineering Laboratory for Brain-Inspired Intelligence Technology and Applications, University of Science and Technology of China（中国科学技术大学脑启发式智能技术与应用国家工程实验室） ； Peng Cheng Laboratory, Shenzhen, China（深圳鹏城实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出基于平坦度引导的视觉-语言模型测试时适应框架，通过训练时的平坦最小值与测试时损失景观的对齐，提升模型在分布偏移下的适应性能。

TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings

TSEmbed: 解锁通用多模态嵌入中的任务扩展

Yebo Wu, Feng Liu, Ziwei Xie, Zhiyuan Liu, Changwang Zhang, Jun Wang, Li Li

机构 * State Key Laboratory of IOTSC, University of Macau（物联网科学与技术国家重点实验室，澳门大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TSEmbed通过融合MoE与LoRA，结合专家感知负采样策略，提升通用多模态嵌入的任务扩展能力，并在基准和工业数据集上取得最佳性能。

ZorBA: Zeroth-order Federated Fine-tuning of LLMs with Heterogeneous Block Activation

ZorBA: 零阶联邦微调LLM的异构块激活

Chuiyang Meng, Ming Tang, Vincent W. S. Wong

机构 * Department of Electrical and Computer Engineering, The University of British Columbia, Vancouver, Canada（电气与计算机工程系，不列颠哥伦比亚大学） ； Department of Computer Science and Engineering, Southern University of Science and Technology, China（计算机科学与工程系，南方科技大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ZorBA通过异构块激活和零阶优化，有效降低LLM联邦微调的VRAM使用和通信开销。

K-Gen: A Multimodal Language-Conditioned Approach for Interpretable Keypoint-Guided Trajectory Generation

K-Gen：一种多模态语言条件方法用于可解释的关键点引导轨迹生成

Mingxuan Mu, Guo Yang, Lei Chen, Ping Wu, Jianxun Cui

机构 * Harbin Institute of Technology Chongqing Research Inst. of HIT（哈尔滨工业大学重庆研究院） ； Changan Automobile Co., Ltd Chongqing, China（长安汽车有限公司重庆） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 K-Gen通过多模态语言模型结合关键点引导方法，提升自动驾驶轨迹生成的可解释性和准确性。