语言大模型 / LLM

Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

基于LLM的端到端口语对话状态跟踪的联合语音与文本训练

Katia Vendrame, Bolaji Yusuf, Santosh Kesiraju, Šimon Sedláček, Oldřich Plchot, Jan Černocký

机构 * Brno University of Technology（布拉格技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出联合训练口语DST数据和跨域文本DST数据的方法，解决口语数据稀缺和跨域泛化问题，无需目标域口语训练数据即可获得良好性能。

Comments accepted for Interspeech 2026

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

全栈FP4：通过量化投影、优化器和注意力进行稳定的语言模型预训练

Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Sichuan University（四川大学） ； Beijing Zhongguancun Academy（北京中关村科学院） ； Zhejiang University（浙江大学） ； Beijing Key Laboratory of Brain-Inspired General Intelligence Large Model（北京脑科学与类脑研究中心通用人工智能大模型北京市重点实验室） ； Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与脑机智能技术重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

AI总结 研究针对4位预训练中优化器状态等未充分探索的问题，提出全栈FP4框架。通过模块精度策略解决稳定性瓶颈，如用LoRA-SVD抑制量化噪声，设计优化器变换，采用混合精度方案，实现稳定高效的端到端预训练。

Comments Fix experiment bugs and some statement, update current developed hardware efficiency result on 5090

LLM generation novelty through the lens of semantic similarity

通过语义相似性视角探讨大语言模型的生成新颖性

Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过语义相似性视角探讨大语言模型生成新颖性的评估方法，揭示模型在预训练数据中的长序列抽取能力及任务领域对生成新颖性的影响

How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data

如何合成高质量的预训练数据？提示设计、生成模型和源数据的系统研究

Joel Niklaus, Atsuki Yamaguchi, Michal Štefánik, Guilherme Penedo, Hynek Kydlíček, Elie Bakouch, Lewis Tunstall, Edward Emanuel Beeching, Thibaud Frere, Colin Raffel, Leandro von Werra, Thomas Wolf

机构 * Hugging Face ； University of Sheffield（谢菲尔德大学） ； National Institute of Informatics（日本信息处理研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过大规模实验探讨提示设计、生成模型和源数据对合成预训练数据质量的影响，发现结构化输出格式优于现有方法，且生成模型参数超过1B无额外收益，提出开源数据集FinePhrase。

Comments Accepted to COLM 2026

Recognition Without Mitigation: Ethical Frameworks in Autonomous Offensive-LLM Agent Research

自主渗透测试代理研究中的伦理声明

Andreas Happe, Jürgen Cito

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文分析利用大语言模型进行进攻性安全研究的论文，探讨伦理考量的表达与合理性，揭示学术社区在创新与伦理责任之间的平衡现状。

Comments Accepted at AutonomousCyber 2026

PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

PathFLIP：面向多功能计算病理学的细粒度语言-图像预训练

Fengchun Liu, Songhan Jiang, Linghan Cai, Ziyue Wang, Yongbing Zhang

机构 * Harbin Institute of Technology, Shenzhen, School of Computer Science and Technology（哈尔滨工业大学（深圳）计算机科学与技术学院） ； National University of Singapore, Department of Electronic and Computer Engineering（新加坡国立大学电子与计算机工程系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PathFLIP框架，通过将幻灯片级描述分解为区域级子描述并生成文本条件区域嵌入，实现细粒度视觉-语言对齐，在多个基准上优于现有模型且训练数据更少。

From Large Language Model Predicates to Logic Tensor Networks: Neurosymbolic Offer Validation in Regulated Procurement

从大型语言模型谓词到逻辑张量网络：神经符号学在受规制采购中的投标验证

Cedric Haufe, Frieder Stolzenburg

机构 * Harz University of Applied Sciences（哈尔茨应用科学大学） ； Merseburg University of Applied Sciences（梅泽堡应用科学大学） ； University of New South Wales (UNSW)（新南威尔士大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 本文提出一种结合符号与子符号人工智能的神经符号方法，用于验证受规制公共机构的投标文件，通过语言模型提取信息并结合逻辑张量网络（LTN）进行可审计决策，提升决策的可解释性和合规性。

Comments 17 pages, 2 figures, 4 tables, extended version, with appendix

Journal ref In Diedrich Wolter and Gesina Schwalbe, editors, KI 2026: Advances in Artificial Intelligence -- 49th German Conference on AI, LNAI 16830, pages 236--243, Bremen, Germany, 2026

Environment-free Synthetic Data Generation for API-Calling Agents

用于 API 调用智能体的无环境合成数据生成

Seanie Lee, Sanjoy Chowdhury, Chao Jiang, Cheng-Yu Hsieh, Ting-Yao Hu, Alexander T Toshev, Oncel Tuzel, Raviteja Vemulapalli

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对训练 API 调用 LLM 智能体数据收集瓶颈问题，提出无环境合成数据生成方法，利用 LLMs 生成任务、响应等，经评判器过滤轨迹，在相关基准上评估，结果表明此方法可有效训练智能体，是实用可扩展方案。

Towards a General Intelligence and Interface for Wearable Health Data

迈向可穿戴健康数据的通用智能与接口

Girish Narayanswamy, Maxwell A. Xu, A. Ali Heydari, Samy Abdel-Ghaffar, Marius Guerard, Kara Vaillancourt, Zhihan Zhang, Jake Garrison, Levi Albuquerque, Dimitris Spathis, Hong Yu, Hamid Palangi, Xuhai "Orson" Xu, David G. T. Barrett, Joseph Breda, Jed McGiffin, Yubin Kim, Yuwei Zhang, Naghmeh Rezaei, Samuel Solomon, Karan Ahuja, Tim Althoff, Jake Sunshine, Ming-Zher Poh, Benjamin Yetton, Ari Winbush, Nicholas B. Allen, James M. Rehg, Isaac Galatzer-Levy, Yun Liu, John Hernandez, Anupam Pathak, Conor Heneghan, Yuzhe Yang, Ahmed A. Metwally, Pushmeet Kohli, Mark Malhotra, Shwetak Patel, Xin Liu, Daniel McDuff

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） ； University of Oregon（俄勒冈大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出一个基于超过一万亿分钟无标签传感器数据预训练的可穿戴健康基础模型，通过联合扩展模型容量和预训练数据量，在35项健康预测任务上实现系统性性能提升，并利用LLM代理自动搜索下游预测头，集成到个人健康代理中以提高相关性和安全性。

Comments Narayanswamy and Xu are co-first authors. McDuff and Liu are co-last authors

Predicting the Emergence of Induction Heads in Language Model Pretraining

预测语言模型预训练中归纳头的出现

Tatsuya Aoyama, Ethan Gotlieb Wilcox, Nathan Schneider

机构 * Department of Linguistics, Georgetown University（语言学系，乔治城大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL

AI总结 研究训练数据统计特性与归纳头形成关系，通过自然和合成数据设置，发现简单公式可预测归纳头形成点，表面二元重复频率等影响其形成并找到决策边界，局部依赖也影响其形成。

Comments Accepted to ICML 2026

OLaPh: Optimal Language Phonemizer

OLaPh: 最优语言音素化器

Johannes Wirth

机构 * Institute for Information Systems at Hof University of Applied Sciences（霍夫应用科学大学信息学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OLaPh混合框架，结合多语言词典、NLP技术和统计子词分割，在WikiPron基准上显著优于基线，并通过LLM合成语料探索神经泛化能力。

Comments 12 pages, 1 figure, 4 tables

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

言语化采样：如何减轻模式坍塌并释放大语言模型的多样性

Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi

专题命中 预训练与数据 ：LLM(title,abstract)；post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现偏好数据中的典型性偏差致大语言模型模式坍塌，引入言语化采样策略。该策略能促使模型说出响应概率分布，经实验验证可显著提升创意写作等多方面性能，为模式坍塌提供新视角及实用补救方法。

Comments 83 pages, 31 figures, 44 tables. Code is available at https://github.com/CHATS-lab/verbalize-sampling

Small edits, large models: How Wikipedia advocacy shapes LLM values

小编辑，大模型：维基百科倡导如何塑造LLM价值观

Jasmine Brazilek, Maria Navas, Alexa Gnauck

机构 * Compassion Aligned Machine Learning (CaML)（慈悲对齐机器学习实验室） ； Independent researcher（独立研究者） ； Pro-Animal Wikipedians (PAW)（亲动物维基人组织） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过梯度归因和反事实影响估计，发现维基百科上一个小型倡导组织的编辑活动显著影响了语言模型在动物福利话题上的行为。

Learn-To-Learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM

在任意文本条件下学习：一种超网络驱动的元门控大语言模型

Luo Ji, Qi Qin, Ningyuan Xi, Teng Chen, Qingqing Gu, Hongyan Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 提出一种超网络驱动的元门控机制，通过动态调整SwiGLU块中的β参数，使LLM适应不同文本条件，优于微调和元学习基线。

Comments Accepted by ICML2026

Finding the Minimal Parameter Budget for Implicit Reasoning: A Data Complexity Driven Scaling Law for Language Models

寻找隐式推理的最小参数预算：一种基于数据复杂度的语言模型缩放定律

Xinyi Wang, Shawn Tan, Shenbo Xu, Mingyu Jin, William Yang Wang, Rameswar Panda, Yikang Shen

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） ； University of Tokyo（东京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过控制合成环境中的预训练实验，发现语言模型隐式推理所需的最小参数预算与图搜索熵之间存在缩放定律，并确定了每参数最多可处理约0.008比特信息的容量上限。

Comments Accepted to ICML 2026

Evaluating LLM-Based Regression Test Generation

基于大语言模型的回归测试生成评估

Jing Liu, Seongmin Lee, Eleonora Losiouk, Marcel Böhme

机构 * MPI-SP（Max Planck Institute for Software Process Engineering） ； University of California at Los Angeles（加州大学洛杉矶分校） ； University of Padua（帕多瓦大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究利用大语言模型为特定程序即时生成回归测试，将其作为机器翻译任务，通过对多个项目测试，反馈导向的零样本原型Cleverest表现良好，还探讨了提交消息对其效果的影响。

Comments 23 pages. Published in PACMSE Volume 3, Issue FSE. Artifact of Paper "Evaluating LLM-based Regression Test Generation": https://dl.acm.org/do/10.5281/zenodo.19616584

SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection

SPA：一个简单但难以被击败的基线模型用于知识注入

Kexian Tang, Jiani Wang, Shaowen Wang, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出SPA基线模型，通过精心设计的提示生成大规模合成数据以增强模型知识，实验表明其优于现有方法，并揭示了先前方法的两个关键局限。

R1-SyntheticVL: Is Synthetic Data from Generative Models Ready for Multimodal Large Language Model?

R1-SyntheticVL：生成模型的合成数据是否已为多模态大语言模型做好准备？

Jingyi Zhang, Tianyi Lin, Huanjin Yao, Xiang Lan, Shunyu Liu, Jiaxing Huang

机构 * Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出集体对抗数据合成（CADS）方法，通过集体智能和对抗学习自动生成高质量、多样且具有挑战性的多模态数据，用于增强多模态大语言模型（MLLM）在复杂现实任务中的性能。

Comments ICML 2026 Camera Ready

Hamilton-Zero: A Neural Tensor-Network Foundation Model for Ground States of Arbitrary Quadratic Qubit Hamiltonians

Hamilton-Zero：适用于任意二次量子比特哈密顿量基态的神经张量网络基础模型

Timothy Heightman, Elena Orlova, Philip Mantrov, Aleksei Ustimenko

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出Hamilton-Zero基础模型，将二次量子比特哈密顿量基态学习转化为流形变分优化，经预训练、微调后可在8100量子比特系统上评估，突破经典模拟局限，实现量子基态的高效计算。

Comments 22 pages main text

A foundation model of numerical intelligence with cross-disciplinary generalization

具备跨学科泛化能力的数值智能基础模型

Chenghan Wu, Zongmin Yu, Liu Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出UNICON这一数值智能基础模型，可跨学科泛化，结合语言模型智能体后能超越训练未涉及学科的最先进专业人员，训练语料库多样性可提升泛化能力。

Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions

利用经验下一个token分布追踪大语言模型行为到训练数据

Zachary Izzo

机构 * NEC Labs America（美国 NEC 实验室） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究大语言模型输出分布与训练数据的联系，通过经验下一个token分布追踪。发现多数输入下二者近乎完美一致且随模型规模等提升，也存在差异，探讨了差异来源，鼓励以数据为中心的机制可解释性研究。

Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers

语言模型的物理：第4.1部分，架构设计与Canon层的魔力

Zeyuan Allen-Zhu

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本研究提出Canon层，通过轻量级架构组件提升语言模型的推理深度和广度，验证了其在不同架构中的有效性，并展示了其在学术预训练中的潜力。

Comments V1.1 appeared in NeurIPS 2025 main conference; V2 adds GDN experiments, tightens others for a stronger, fairer comparison, and reorganizes sections; V3 adds Result 2.1 and Section 5.2 on how Canon layers improve hierarchical feature learning, from our Jan 2026 talk

Scalable Visual Pretraining for Language Intelligence

用于语言智能的可扩展视觉预训练

Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Huanze Tang, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究挑战语言模型仅在文本表示上训练的假设，通过对直接利用视觉文档的无监督视觉预训练范式进行系统研究，发现其在多主干和基准上优于仅文本预训练，为可扩展语言智能提供有效途径。

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

多语言教师：评估语言模型用于多语言合成数据生成

Lester James V. Miranda, Ivan Vulić, Anna Korhonen

机构 * Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文评估了多语言教师模型的有效性，通过Polyglot Score衡量数据质量和学生模型表现，发现Gemma 3和Aya Expanse在不同学生模型家族中表现优异，数据质量如提示多样性、长度和响应流畅度对教学效果影响显著。

Comments Added human evaluation experiment results. Code is in https://github.com/ljvmiranda921/polyglot-teachers

Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining

先复制，后翻译：在多语言预训练中解读翻译动态

Felicia Körner, Maria Matveev, Florian Eichin, Gitta Kutyniok, Barbara Plank, Michael A. Hedderich

机构 * MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Department of Mathematics, LMU Munich（数学系，慕尼黑大学） ； Department of Physics and Technology, University of Tromsø（物理与技术系，特罗姆瑟大学） ； DLR-German Aerospace Center（德国航空航天中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过多语言预训练模型探索语言和翻译能力的早期发展，发现模型在早期阶段通过token级复制获取基本语言能力，翻译能力分两阶段发展。

Comments 10 pages

Provable Training Data Identification for Large Language Models

大语言模型训练数据的可证明识别

Zhenlong Liu, Hao Zeng, Weiran Huang, Hongxin Wei

机构 * Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学） ； Shanghai Innovation Institute（上海创新研究院） ； School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 本文提出PTDI方法，通过集级推断实现大语言模型训练数据识别的可证明误差控制。

Agentic generation of verifiable rules for deterministic, self-expanding reaction classification

用于确定性、自扩展反应分类的可验证规则的智能体生成

Daniel Armstrong, Maarten Dobbelaere, Valentas Olikauskas, Helena Avila, Octavian Susanu, Jérôme Waser, Philippe Schwaller

机构 * École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Laboratory for Chemical Technology, Ghent University（根特大学化学技术实验室） ； NCCR Catalysis（瑞士国家研究能力中心催化项目） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出多智能体LLM框架，通过验证循环自动生成反应规则，将标准分类从68类扩展到14,073类，并实现97.7%的未知反应分类准确率。

To Memorize or to Retrieve: Scaling the Interaction Between Pretraining and Retrieval

记忆还是检索：考虑RAG的缩放规律

Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

机构 * Stanford University（斯坦福大学） ； Independent Researcher（独立研究员） ； Patronus AI ； The Ohio State University（俄亥俄州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了预训练知识与检索知识的平衡，提出三维缩放框架，揭示在不同模型规模和任务类型下检索的边际效用，为语言模型设计提供数据资源分配指导。

Comments Code available at https://github.com/DegenAI-Labs/RAG-Scaling-Laws

Cochise: A Reference Harness for Autonomous Penetration Testing

Cochise：自主渗透测试的参考框架

Andreas Happe, Jürgen Cito

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI

AI总结 Cochise提供了一个简洁的自主渗透测试框架，支持通过SSH连接LLM代理与Linux主机，并通过分离的规划-执行架构实现可控环境，同时提供重放和分析工具以支持研究。

Design-Specification Tiling for ICL-based CAD Code Generation

基于ICL的CAD代码生成的Design-Specification Tiling设计

Yali Du, San-Zhuo Xi, Hui Sun, Ming Li

机构 * National Key Laboratory for Novel Software Technology, School of Artificial Intelligence, Nanjing University（新型软件技术国家实验室，人工智能学院，南京大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；prompting(abstract)；分类 cs.LG

AI总结 本文提出DST方法，通过量化知识充分性提升CAD代码生成质量，优于现有ICL示例选择策略。