Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models
专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 预训练与数据 12318 篇
APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments Accepted at ACL 2023, code available at https://github.com/INK-USC/APOLLO
What Makes for Good Visual Tokenizers for Large Language Models?
专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)
Comments 15 pages, 3 figures. Project released at: https://github.com/TencentARC/GVT
Patton: Language Model Pretraining on Text-Rich Networks
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments ACL 2023. (Code: https://github.com/PeterGriffinJin/Patton)
DeepStruct: Pretraining of Language Models for Structure Prediction
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments ACL 2022
Robustification of Multilingual Language Models to Real-world Noise in Crosslingual Zero-shot Settings with Robust Contrastive Pretraining
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments Accepted and to be presented at the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL), 2023
SKILL: Structured Knowledge Infusion for Large Language Models
专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments NAACL 2022
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments to be published in ACL 2022. 16 pages, 4 figures
Controllable Generation from Pre-trained Language Models via Inverse Prompting
专题命中 预训练与数据 ：language model(title,abstract)；prompting(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments Slightly different from the KDD version
Frustratingly Simple Pretraining Alternatives to Masked Language Modeling
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Comments Accepted at EMNLP 2021
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG
Mix, Don't Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining
混合而非挑选：为什么合成语料组合对时间序列基础模型预训练至关重要
机构 * Birla AI Labs（巴尔拉人工智能实验室）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对时间序列基础模型预训练中合成数据生成器选择困难的问题，提出简单等权混合所有生成器的方法，匹配或超越最优单个生成器，并与真实数据结合获得最强预训练语料。
Comments Accepted at the ICML 2026 Workshop on Foundation Models for Structured Data (FMSD), Seoul, South Korea
Pretraining Strategies and Scaling for ECG Foundation Models: A Systematic Study
ECG基础模型的预训练策略与扩展：一项系统研究
机构 * AI4Health Division（AI4Health部门）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文系统评估了ECG基础模型的预训练方法，探讨了不同对比和非对比自监督学习目标在不同预训练数据集规模下的表现，发现对比预测编码在跨临床任务的迁移性能上表现最佳。
Comments 59 pages, 16 figures, 59 Tables. Code available at https://anonymous.4open.science/r/ecg-pretraining-strategies-4DE3
Noisy Channel Language Model Prompting for Few-Shot Text Classification
专题命中 预训练与数据 ：prompting(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI
Comments 15 pages, 6 figures. Published as a conference paper at ACL 2022 (long). Code available at https://github.com/shmsw25/Channel-LM-Prompting
The More Popular, The Harder to Forget: Adaptive Popularity for LLM Unlearning
越受欢迎，越难遗忘：用于大语言模型遗忘的自适应受欢迎度
机构 * AIRI ； Sber AI Lab（Sber AI实验室） ； Skoltech（斯科尔科沃科学技术研究院） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心）
专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(abstract)；分类 cs.CL
AI总结 针对现有LLM遗忘方法未区分训练数据频率的问题，提出AdaPop方法，经实验其在转述查询和对抗性重构下均能显著减少遗忘内容泄露。
Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?
已发布的大语言模型词汇表能否支持隐藏语料库的词元级估计？
机构 * Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团）
专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(abstract)；分类 cs.CL
AI总结 该研究针对隐藏语料库的词元级估计问题，提出分位数引导密度估计（QGDE）方法，利用已发布的LLM分词器词汇表实现了低误差的细粒度语料估计，为相关任务提供了新的有效信号来源。
EXPLORE: Exploration with Guided Search for Analog Topology Generation using Language Models
EXPLORE：使用语言模型进行引导搜索以生成模拟拓扑结构
机构 * Duke University（杜克大学） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） ； IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.LG
AI总结 本文针对自动化模拟电路拓扑设计难题，提出EXPLORE框架，集成模拟器引导蒙特卡罗树搜索与基于变压器的解码，利用语言模型先验优化搜索，在6组件基准测试中显著提升成功率、降低均方误差，推动LLM驱动设计自动化。
Comments MLCAD 26' accepted
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
重新思考语音-LLM集成用于ASR：通过交错实现有效的联合语音-文本训练
机构 * Microsoft（微软）
专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.CL
AI总结 提出JSTIP，一种面向ASR的预训练策略，通过构建词级和段级交错语音-文本序列，在38k小时数据上相比基线提升了实体识别准确率，并缩小了模态差距。
Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds
预算约束下的多智能体LLM“行动或延迟”协商与局部可靠性界限
机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； General Motors (GM)（通用汽车（GM））
专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI
AI总结 提出一种预算约束下的“行动或延迟”决策框架，通过k近邻下置信界评估LLM协商的可靠性，在满足用户指定的错误行动预算时自动执行，否则延迟人工审核，并在六个基准上验证了有效性和安全性。
How Does the Pretraining Distribution Shape In-Context Learning? A Fundamental Trade-Off
预训练分布如何塑造上下文学习？一个基本的权衡
专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 通过理论框架和实验，揭示预训练分布的统计特性（如重尾行为）在上下文学习中导致任务选择鲁棒性与泛化能力之间的基本权衡。
Comments 57 pages, 15 figures; to be presented at ICML 2026
Visored: A Controlled-Natural-Language Prover for LLM-Generated Mathematics
Visored: 一种面向LLM生成数学的受控自然语言证明器
机构 * University of Washington（华盛顿大学） ； University of Innsbruck（因斯布鲁克大学）
专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI
AI总结 提出一种基于依赖类型的证明器，其表面模仿数学自然语言，并通过规则驱动的自动化层填补常规步骤，使LLM无需专用训练数据即可在miniF2F基准上有效使用，并输出可检查的Lean文件。
Automated Attribution Graph Interpretation via Probe Prompting
通过探针提示实现自动化归因图解释
机构 * University of Cambridge（剑桥大学）
专题命中 预训练与数据 ：prompting(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 提出探针提示方法，利用跨提示激活签名将归因图特征分组为概念对齐的超节点，并通过因果干预验证标签，在Gemma-2-2B上实现100%的预测转向行为。
Comments 35 pages, 24 figures, 18 tables. Code and interactive demo available
From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents
从风险分类到行动方案修复：一种基于护栏反馈驱动的LLM代理框架
机构 * The University of Melbourne（墨尔本大学） ； Tsinghua University（清华大学）
专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI
AI总结 提出TRIAD框架，通过护栏生成的言语反馈引导代理在规划步骤中保持良性目标，实现安全与效用的最佳平衡。
Comments 32 pages
Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training
LLM持续预训练中最优超参数的可预测缩放定律
机构 * MeiTuan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Harbin Institute of Technology（哈尔滨工业大学）
专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文发现持续预训练中学习率和批大小等最优超参数遵循稳定可预测的缩放定律，并提出一个两阶段框架，通过小规模代理模型和状态感知预测，将超参数搜索开销降低90%且性能相当或更优。
Towards Pretraining Text Encoders for TabPFN
面向TabPFN的文本编码器预训练
机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维）
专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；language model(abstract)；foundation model(abstract)
AI总结 提出TabPFN文本适配器，通过轻量级适配器将文本嵌入映射到TabPFN的嵌入空间，避免PCA瓶颈，保留TabPFN数值优势，训练效率更高。
Need to Know: Contextual-Integrity-Grounded Query Rewriting for Privacy-Conscious LLM Delegation
须知：基于语境完整性的隐私意识LLM委托查询重写
机构 * Sun Yat-sen University（中山大学）
专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI
AI总结 针对LLM委托中查询隐私泄露问题，提出基于语境完整性的查询重写框架，通过CI引导的强化学习训练重写器，在保留任务关键信息的同时抑制非必要敏感披露，实现最佳隐私-效用权衡。
Needles at Scale: LLM-Assisted Target Selection for Windows Vulnerability Research
大规模针尖：LLM辅助的Windows漏洞研究目标选择
机构 * Microsoft（微软） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI
AI总结 提出Symbolicate-Enrich-Sample流水线，通过符号恢复、结构特征提取和低成本语言模型排序，从Windows系统数千万函数中筛选出约2.2万个候选目标，解决漏洞研究中目标选择瓶颈问题。
Comments 9 pages, 3 figures, 2 tables
$M^3$ Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models
$M^3$ 缩放定律：优化低资源语言模型的多周期、多语言和多阶段训练
机构 * NEC Corporation（日本电报电话株式会社）
专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)
AI总结 本文提出 $M^3$ 缩放定律，统一预测模型规模、目标语料周期数、平均目标语言比例和最终阶段目标语言比例对低资源语言模型预训练损失的影响，并推导出最优训练策略的实用指南。
Comments 35 pages, 14 figures, 17 tables
Enhancing LLM Training via Spectral Clipping
通过谱裁剪增强大语言模型训练
机构 * CISPA Helmholtz Center for Information Security（信息安全研究中心） ； EPFL（瑞士联邦理工学院）
专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)
AI总结 提出SPECTRA框架，通过对优化器更新进行谱裁剪以约束谱范数、对梯度进行预谱裁剪以抑制噪声尖峰，从而提升多种优化器在大语言模型预训练中的性能。
Comments v2: ICML 2026
Rethinking Visual Intelligence: Insights from Video Pretraining
机构 * Computer Vision Group, University of Bern（伯尔尼大学计算机视觉组） ； VITA Lab, EPFL（苏黎世联邦理工学院VITA实验室）
专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)
Comments Updated version from preprint arXiv:2506.07280 (Gen2Gen) focused on visual intelligence. This work can be considered as v2
