语言大模型 / LLM

Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

参数化知识并非全部：通过检索预训练数据实现诚实的语言模型

Christopher Adrian Kusuma, Muhammad Reza Qorib, Hwee Tou Ng

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对大语言模型在知识不足时产生幻觉的问题，提出利用公开预训练数据构建更鲁棒的诚实性评估基准，并设计检索预训练数据的方法提升模型诚实性。

Comments Findings of ACL 2026

Flaws in the LLM Automation Narrative

LLM自动化叙事中的缺陷

George Perrett, Javae Elliott, Jennifer Hill, Marc Scott

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过编写代码完成数据分析任务的新基准测试，发现前沿LLM在平均性能、方差和错误幅度上均不如人类专家，挑战了LLM达到人类专家水平的说法。

Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

谁写了这本书？检测与归因LLM代笔作者

Anudeex Shetty, Qiongkai Xu, Olga Ohrimenko, Jey Han Lau

机构 * School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算与信息学院） ； School of Computing, FSE, Macquarie University, Australia（麦考瑞大学计算学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出GhostWriteBench数据集和TRACE指纹方法，用于检测和归因LLM生成的长文本，在跨域和未见模型上达到SOTA性能。

Comments WIP

Emotion Profiling in LLM-Based Literary Translation: Systematic Shifts Across MT and Post-Editing

基于LLM的文学翻译中的情感特征：机器翻译与译后编辑的系统性转变

Antonio Castaldo, Johanna Monti, Sheila Castilho

机构 * University of Pisa（比萨大学） ； Dublin City University（都柏林城市大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究LLM翻译的情感特征及译后编辑如何使其接近人类翻译，通过对比《Oryx and Crake》的LLM翻译、译后编辑版本和人类翻译，发现MT系统引入特定情感指纹，削弱作者声音。

LLM-as-a-Discriminator: When Synthetic Tables Still Look Real

LLM作为判别器：当合成表格看起来仍然真实

Manel Slokom, Malek Slokom, Thierno Kante

机构 * Vrije Universiteit, Amsterdam（阿姆斯特丹自由大学） ； Equativ, Paris（Equativ，巴黎） ； EDICIA, Nantes（EDICIA，南特） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出用LLM区分真实与合成表格数据，测试不同设置和模型，发现LLM判别可作为实用的隐私审计信号。

Mix, Don't Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining

混合而非挑选：为什么合成语料组合对时间序列基础模型预训练至关重要

Aaryan Nagpal, Debdeep Sanyal, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * Birla AI Labs（巴尔拉人工智能实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型预训练中合成数据生成器选择困难的问题，提出简单等权混合所有生成器的方法，匹配或超越最优单个生成器，并与真实数据结合获得最强预训练语料。

Comments Accepted at the ICML 2026 Workshop on Foundation Models for Structured Data (FMSD), Seoul, South Korea

Unifying Local Communications and Local Updates for LLM Pretraining

统一大语言模型预训练中的本地通信与本地更新

Pietro Cagnasso, Eugene Belilovsky, Edouard Oyallon

机构 * Concordia University（康考迪亚大学） ； Mila ； CNRS, Sorbonne University（法国国家科学研究中心，索邦大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title)；分类 cs.AI、cs.LG

AI总结 提出GASLoC算法，通过去中心化训练框架统一本地通信与更新，在异构带宽下优于DiLoCo，支持自适应优化器和多本地步骤。

Comments 38 pages, 9 figures

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

数据受限的语言模型预训练：改进的正则化与缩放定律

Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

机构 * University of Michigan（密歇根大学） ； KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 研究数据受限下语言模型预训练的正则化与缩放，提出掩码输入正则化（MIR）改善验证损失，并设计SoftQ缩放定律更准确拟合重复数据下的模型与数据规模交互。

Time Series as Language: A Universal Tokenizer for General-Purpose Time Series Foundation Models

时间序列作为语言：通用时间序列基础模型的通用分词器

Yunhao Zhang, Ruiying Qi, Jiale Zheng, Jianfeng Zhang, Lujia Pan, Junchi Yan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出UniTok通用分词器将时间序列转化为离散令牌，并基于NTP预训练UniTok-FM基础模型，支持零样本预测、提示增强预测以及少样本生成和分类，无需任务特定修改。

Can Multi-Agent LLMs Identify Their Peers? Stylometric Fingerprinting in Role-Constrained Political Analysis

多智能体大语言模型能否识别其同类？角色约束政治分析中的笔迹风格指纹识别

Juergen Dietrich

机构 * Democracy Intelligence gGmbH 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多智能体LLM在政治分析中能否通过笔迹风格识别模型家族，提出SD-CV协议，T5模型在五类归属任务中达到F1=0.991，证明提示级匿名化无法消除模型身份信号。

Comments 24 pages, 3 figures

Provenance-Grounded Gating and Adaptive Recovery in Synthetic Post-Training Data Curation

基于来源的门控与自适应恢复在合成后训练数据筛选中的应用

Soham Bhattacharjee, Karun Sharma, Vinay Kumar Sankarapu, Pratinav Seth

机构 * Lexsi Labs 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究合成后训练数据筛选中的来源证据门控与样本自适应恢复，提出结合故障诊断与定向再生成的自适应恢复流水线，提高产量、恢复率和注入召回率。

Tractogram foundation model

TractFM：纤维束图基础模型

Guikun Chen, Yuqian Chen, Yijie Li, Yogesh Rathi, Nikos Makris, Fan Zhang, Wenguan Wang, Lauren J. O'Donnell

机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University, Hangzhou（脑机智能国家重点实验室，浙江大学，杭州） ； Department of Radiology, Brigham and Women’s Hospital, Mass General Brigham, Boston（放射科，布里洛妇女医院，马萨诸塞总医院，波士顿） ； Harvard Medical School, Boston（哈佛医学院，波士顿） ； Academy of Medical Engineering and Translational Medicine, Tianjin University, Tianjin（医学工程与转化医学研究院，天津大学，天津） ； School of Information and Communication Engineering, University of Electronic Science and Technology of China, Chengdu（信息与通信工程学院，电子科技大学，成都） ； Psychiatry Neuroimaging Laboratory, Brigham and Women’s Hospital, Mass General Brigham, Boston（精神病神经影像实验室，布里洛妇女医院，马萨诸塞总医院，波士顿） ； Department of Psychiatry, Center for Morphometric Analysis, Massachusetts General Hospital, Boston（精神病科，形态分析中心，马萨诸塞总医院，波士顿） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出TractFM基础模型，直接从全脑纤维束集学习可复用表示，结合局部纤维编码器和置换等变纤维束编码器，通过密集解剖束分割预训练，实现纤维束级和受试者级任务的迁移。

Securing Code Understanding: Detecting Natural Backdoor Vulnerability in Code Language Models

保障代码理解安全：检测代码语言模型中的自然后门漏洞

Yuchen Chen, Weisong Sun, Haocheng Huang, Yuan Xiao, Chunrong Fang, Yiran Zhang, Tingting Xu, Zhenpeng Chen, An Guo, Peizhuo Lv, Xiaofang Zhang, Zhenyu Chen, Yang Liu, Baowen Xu

专题命中 预训练与数据 ：language model(title,abstract)；post-training(abstract)

AI总结 本研究系统探究代码语言模型中的自然后门漏洞，通过44种场景证明其普遍性，分析其与注入后门的差异及迁移性，并提出检测方法ScanNBT。

Comments Accepted to IEEE Transactions on Software Engineering (TSE)

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

熵、分歧与基因组基础模型的局限性

Maxime Rochkoulets, Lovro Vrček, Mile Šikić

机构 * Genome Institute of Singapore, A*STAR（新加坡基因组研究院，A*STAR） ； KU Leuven（卢森堡大学） ； Faculty of Electrical Engineering and Computing, University of Zagreb（扎格雷布大学电子工程与计算学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过分析熵对模型学习的影响，发现基因组序列的高熵导致输出分布接近均匀、模型间分歧大和静态嵌入不稳定，且Fisher信息集中在嵌入层，表明仅靠序列自监督训练可能不适用于基因组数据。

Comments Accepted to LMLR Workshop at ICLR 2026

Improving Topic Modeling by Distilling Soft Labels from Language Models

DSL-Topic：通过从语言模型中蒸馏软标签改进主题建模

Raymond Li, Amirhossein Abaskohi, Chuyuan Li, Gabriel Murray, Giuseppe Carenini

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出DSL框架，通过从语言模型蒸馏软标签来增强主题模型训练，利用上下文感知的软标签重构信号，显著提升主题连贯性和分配准确性。

Comments 22 pages, 5 figures. Camera-ready version for ICML 2026

Advancing the State-of-the-Art in Empirical Privacy Auditing

推进经验隐私审计的最新水平

Nicole Mitchell, Galen Andrew, Arun Ganesh, Brendan McMahan, Peter Kairouz

机构 * Google Research（谷歌研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出通过高温采样生成合成金丝雀，用于经验隐私审计，并引入基于辅助模型的合成数据审计方法，系统研究模型容量与金丝雀熵对记忆化的交互影响。

The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws

训练过程至关重要：平均预训练参数计数统一了稀疏和密集的扩展规律

Tian Jin, Ahmed Imtiaz Humayun, Utku Evci, Suvinay Subramanian, Amir Yazdanbakhsh, Dan Alistarh, Gintare Karolina Dziugaite

机构 * MIT CSAIL（MIT 计算科学与人工智能实验室） ； Rice University（稻大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； IST Austria（奥地利科学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过研究80种不同的剪枝计划，发现预训练过程中在25%和75%的计算量启动和结束剪枝可获得最佳评估损失，提出新的扩展规律统一了稀疏和密集预训练的扩展规律。

Comments 17 pages

Journal ref The Thirteenth International Conference on Learning Representations (ICLR), 2025

Let ViT Speak: Generative Language-Image Pre-training

让ViT说话：生成式语言-图像预训练

Yan Fang, Mengcheng Lan, Zilong Huang, Weixian Lei, Yunqing Zhao, Yujie Zhong, Yingchen Yu, Qi She, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出GenLIP框架，通过语言建模目标直接训练ViT从视觉token预测语言token，无需对比学习或额外文本解码器，实现简单、可扩展且性能优异的视觉编码器。

Comments 27 pages, 11 figures. Code and models are available at https://github.com/YanFangCS/GenLIP

Piper: A Programmable Distributed Training System

Piper: 可编程的分布式训练系统

Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

机构 * University of Washington（华盛顿大学） ； University of Washington and Shanghai Jiao Tong University（华盛顿大学和上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出Piper系统，通过解耦策略与运行时实现，允许用户用少量注解和调度指令声明分布式训练策略，并编译为设备执行计划，支持常见策略并实现组合策略的联合调度优化。

STORM: Stepwise Token Optimization with Reward-Guided Beam Search

STORM: 基于奖励引导束搜索的逐步令牌优化

Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

机构 * MILA – Quebec AI Institute & ILLS（魁北克人工智能研究所与ILLs） ； Université Paris-Saclay & CentraleSupélec & CNRS（巴黎-萨克雷大学及CentraleSupélec与CNRS） ； Air Liquide ； Sorbonne Université & ISIR & CNRS（索邦大学及ISIR与CNRS） ； Sapienza, University of Rome（罗马大学Sapienza） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出STORM框架，通过检索奖励引导的束搜索在每一步优化令牌选择，实现词汇检索的查询扩展，在多个基准上匹配或超越大模型重写器，并零样本迁移至18种语言。

ConRAG: Consensus-Driven Multi-View Retrieval for Multi-Hop Question Answering

ConRAG: 用于多跳问答的共识驱动多视角检索

Yikai Zhu, Kunfeng Chen, Qihuang Zhong, Juhua Liu, Bo Du

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ConRAG框架，通过共识驱动的多视角检索（关系、实体、文本信号）优化查询和语料库，显著提升多跳问答性能，在MuSiQue上创下新纪录。

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO：遗忘感知正交化优化器

Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

机构 * School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） ； Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出FOGO优化器，通过谱正交化动量更新并利用紧凑码本记忆解决梯度干扰，在类别不平衡、持续学习和大模型微调等场景中提升收敛与知识保留。

CodeAlchemy: Synthetic Code Rewriting at Scale

CodeAlchemy：大规模合成代码重写

Ankit Gupta, Aditya Prasad, Rameswar Panda

机构 * MIT-IBM Watson AI Lab, IBM Research（MIT-IBM沃森人工智能实验室，IBM研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CodeAlchemy框架，通过5种策略生成超过500B token的合成代码数据，引入DevEval和TraceEval基准，3B模型在多项任务上超越10倍大小的前沿模型。

Integral Field Unit Spectroscopy with One Fiber

单光纤积分场单元光谱学

Zehao Peng, Biprateep Dey, Chris J. Maddison, Joshua S. Speagle

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI

AI总结 提出一种多模态概率基础模型，利用掩码自编码器从宽带图像预测星系任意空间位置的高分辨率光谱，无需IFU训练数据，性能与监督基线相当。

Comments Accepted for Conference on Physics and AI at Stanford University (PAI 2026)

$S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data

$S^3$-R1: 通过合成数据学习逐步检索与回答

Harsh Goel, Akhil Udathu, Susmija Jabbireddy, Pradnesh Kalkar, Atharva Parulekar

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 提出S^3-R1框架，通过合成数据生成和密集奖励信号，解决强化学习后训练中稀疏奖励和缺乏多跳问题数据的问题，提升模型搜索与问答能力。

Comments Under Review

Your Autoregressive Model Already Reveals the Causal Graph

你的自回归模型已经揭示了因果图

Hugo Math, Rainer Lienhart

机构 * Department of Machine Learning \& Computer Vision, University of Augsburg, Augsburg, Germany 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出TRACE框架，利用预训练自回归模型作为密度估计器进行条件独立性测试，从单序列离散事件中恢复时间因果图，并在大规模非线性SCM和真实车辆诊断日志上取得显著性能提升。

Comments 8 pages

Journal ref Structured Probabilistic Inference & Generative Modeling workshop ICML 2026

Influence Dynamics and Stagewise Data Attribution

影响动力学与分阶段数据归因

Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

机构 * University College London（伦敦大学学院） ； Independent（独立） ； University of Melbourne（墨尔本大学） ； Timaeus 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 针对神经网络训练中样本影响动态变化的问题，基于奇异学习理论提出分阶段数据归因框架，预测影响非单调变化（符号翻转、尖峰），并在玩具模型和语言模型中验证与模型学习阶段的对应。

Comments 28 pages, 15 figures

ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations

ARM: 一种具有统一离散表示的自回归大型多模态模型

Junke Wang, Xiao Wang, Jiacheng Pan, Xuefeng Hu, Feng Li, Jingxiang Sun, Chaorui Deng, Zilong Chen, Yunpeng Chen, Kaibin Tian, Matthew Gwilliam, Hao Chen, Danhui Guan, Kun Xu, Weilin Huang, Zuxuan Wu, Haoqi Fan, Yu-Gang Jiang, Zhenheng Yang

机构 * Shanghai Key Lab of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室） ； School of Computer Science, Fudan University（复旦大学计算机科学技术学院） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Youtu Lab, Tencent（腾讯优图实验室） ； Meta AI ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：preference optimization(abstract)

AI总结 提出ARM模型，通过离散语义视觉分词器将图像映射为紧凑token序列，结合自回归建模和强化学习，统一实现图像理解、生成和编辑，并提升任务性能与跨任务协同。

Comments technical report

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

OMG: 面向通用人形机器人的全模态运动生成

Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 提出OMG框架，通过精心策划的数据流程和扩散模型，实现基于语言、音频和参考动作的全模态全身控制，展示了最先进的性能和可扩展性。

Comments Project Page: https://tsinghua-mars-lab.github.io/OMG/