语言大模型 / LLM

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

全栈FP4：通过量化投影、优化器和注意力进行稳定的语言模型预训练

Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Sichuan University（四川大学） ； Beijing Zhongguancun Academy（北京中关村科学院） ； Zhejiang University（浙江大学） ； Beijing Key Laboratory of Brain-Inspired General Intelligence Large Model（北京脑科学与类脑研究中心通用人工智能大模型北京市重点实验室） ； Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与脑机智能技术重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

AI总结 研究针对4位预训练中优化器状态等未充分探索的问题，提出全栈FP4框架。通过模块精度策略解决稳定性瓶颈，如用LoRA-SVD抑制量化噪声，设计优化器变换，采用混合精度方案，实现稳定高效的端到端预训练。

Comments Fix experiment bugs and some statement, update current developed hardware efficiency result on 5090

SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection

SPA：一个简单但难以被击败的基线模型用于知识注入

Kexian Tang, Jiani Wang, Shaowen Wang, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出SPA基线模型，通过精心设计的提示生成大规模合成数据以增强模型知识，实验表明其优于现有方法，并揭示了先前方法的两个关键局限。

To Memorize or to Retrieve: Scaling the Interaction Between Pretraining and Retrieval

记忆还是检索：考虑RAG的缩放规律

Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

机构 * Stanford University（斯坦福大学） ； Independent Researcher（独立研究员） ； Patronus AI ； The Ohio State University（俄亥俄州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了预训练知识与检索知识的平衡，提出三维缩放框架，揭示在不同模型规模和任务类型下检索的边际效用，为语言模型设计提供数据资源分配指导。

Comments Code available at https://github.com/DegenAI-Labs/RAG-Scaling-Laws

LF${}^{2}$AR: Accounting for Layerwise Dynamics to Improve Multimodal Adaptation of Language Models

LF²AR：考虑分层动态以改进语言模型的多模态适配

Santiago Cuervo, Adel Moumen, Yanis Labrak, Sameer Khurana, Antoine Laurent, Mickael Rouvier, Phil Woodland, Ricard Marxer

机构 * Université de Toulon, Aix-Marseille Université, CNRS, LIS, France（法国图卢兹大学、马赛大学、CNRS、LIS） ； Department of Engineering, University of Cambridge, UK（剑桥大学工程系） ； Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA, USA（三菱电机研究实验室（MERL）） ； LIA, Avignon Université, France（法国阿维尼翁大学LIA） ； LIUM, Le Mans Université, France（法国勒芒大学LIUM） ； Zenidoc, Marseille, France（法国马赛Zenidoc） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出LF²AR架构，通过分层抽象-细化动态设计适配机制，在文本转图像、语音模态上提升语言模型性能，支持1.9倍生成加速。

Comments Published as a conference paper at COLM 2026

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

DataComp-VLM: Improved Open Datasets for Vision-Language Models

DataComp-VLM：改进的视觉语言模型开放数据集

Matteo Farina, Vishaal Udandarao, Thao Nguyen, Selim Kuzucu, Maximilian Böther, Andreas Hochlehnert, Adhiraj Ghosh, Marianna Nezhurina, Karsten Roth, Joschka Struber, Yuhui Zhang, Sebastian Dziadzio, Elaine Sui, Soumya Jahagirdar, Dhruba Ghosh, Hasan Hammoud, Thomas De Min, Simone Caldarella, Jehanzeb Mirza, Sedrick Keh, Mehdi Cherti, Hilde Kuehne, Bernt Schiele, Serena Yeung-Levy, Muhammad Ferjad Naeem, Federico Tombari, Ana Klimovic, Elisa Ricci, Matthias Bethge, Sewoong Oh, Ameya Prabhu, Alessio Tonioni, Jenia Jitsev, Massimiliano Mancini, Ludwig Schmidt, Nikhil Parthasarathy

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出DataComp-VLM基准，通过数据混合（而非过滤）策略提升视觉语言模型训练效果，在8B模型上达到63.6%准确率，比现有最优数据集提升5.4个百分点。

Comments Preprint

OATS: Online Data Augmentation for Time Series Foundation Models

OATS: 用于时间序列基础模型的在线数据增强

Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Griffith University（格里菲斯大学） ； Datadog AI Research（Datadog AI研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 OATS通过动态生成合成数据提升时间序列基础模型的性能，采用探索-利用机制和扩散框架，在多个数据集上优于传统方法。

From Alignment to Synthesis Contrastive Volumetric Grounding for Text-to-CT Generation

从对齐到合成：用于文本到CT生成的对比体 grounding

Daniele Molino, Camillo Maria Caruso, Filippo Ruffini, Paolo Soda, Valerio Guarrasi

机构 * Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，工程系，罗马生物医学大学） ； Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与干预部门，生物医学工程与放射物理学，乌梅拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 该研究针对文本到CT生成的视觉-语言对齐瓶颈，提出带结构化难负样本的3D-CLIP编码器，结合端到端潜在扩散模型，在CT-RATE数据集上实现了优于现有方法的性能。

Comments Accepted at BMVC 2026

From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

从假到真：基于平衡合成图像的预训练以防止图像识别中的虚假相关性

Maan Qraitem, Kate Saenko, Bryan A. Plummer

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

AI总结 针对图像识别模型易受虚假相关性影响的问题，提出从假到真（FFR）两步训练流程，先在平衡合成数据预训练，再用真实数据微调，在三个数据集上使最差组准确率较SOTA提升最高20%

Comments Accepted at ECCV 2024

MetaLint: Easy-to-Hard Generalization for Code Linting

MetaLint: 代码检查的易到难泛化

Atharva Naik, Lawanya Baghel, Dhakshin Govindarajan, Darsh Agrawal, Yiqing Xie, Daniel Fried, Carolyn Rose

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 MetaLint通过元学习框架将代码检查转化为指令遵循任务，能根据自然语言规范评估代码是否符合最佳实践，实现无需重新训练的泛化能力，且在不同编程语言和场景中表现优异。

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

破碎的组合性：变换器在算术中的反直觉学习动态

Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系） ； Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现变换器在学习算术任务时表现出反直觉的组合性，其学习动态受训练数据相关性影响而非因果或程序性组合。

Comments 37 pages, 29 figures

PAM: Training Policy-Aligned Moderation Filters at Scale

PAM：在大规模上训练策略对齐的 moderation 过滤器

Masoomali Fatehkia, Enes Altinisik, Mohamed Osman, Husrev Taha Sencar

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 PAM 提出了一种灵活的框架，用于训练基于用户定义策略的定制 moderation 过滤器，能够在大规模上实现更广泛的对齐需求，并在多个基准测试中表现优于现有方法。

Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation

Traj-VLN：通过自回归轨迹生成学习像素空间交互

Changfei Fu, Guangcheng Chen, Aoxiang Gu, Haoxiang Liang, Wenjun Xu, Hong Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； Peng Cheng National Laboratory（鹏城国家实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究连续环境中视觉与语言导航问题，提出通过自回归轨迹生成在2D像素空间微调视觉语言模型来学习导航交互的方法，实验验证该方法能显著提升性能，旗舰模型在有限资源和数据下达最优水平。

NeuroBridge: Bridging Multi-Task MRI Knowledge for Neurodegenerative Disease Diagnosis

NeuroBridge：桥接多任务MRI知识用于神经退行性疾病诊断

Mengyu Li, Guoyao Shen, Chad W. Farris, Xin Zhang

机构 * Department of Mechanical Engineering, Boston University（波士顿大学机械工程系） ； The Photonics Center, Boston University（波士顿大学光子中心） ； Rafik B. Hariri Institute for Computing and Computational Science & Engineering, Boston University（波士顿大学拉菲克·B·哈里里计算与计算科学与工程研究所） ； Department of Radiology, Boston University Chobanian & Avedisian School of Medicine（波士顿大学切博尼亚与阿维迪亚安医学学院放射科） ； Department of Radiology, Boston Medical Center（波士顿医学中心放射科） ； Department of Electrical and Computer Engineering, Boston University（波士顿大学电气与计算机工程系） ； Department of Biomedical Engineering, Boston University（波士顿大学生物医学工程系） ； Division of Materials Science and Engineering, Boston University（波士顿大学材料科学与工程系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出NeuroBridge框架，通过大规模自监督MRI预训练与多任务学习（海马分割、萎缩分类、重建）及门控融合微调，在AD和MCI诊断中达到88.17%准确率，优于单任务方法。

Comments 5 figures. 3 tables

A Comparative Study in Surgical AI: Potential and Limitations of Data, Compute, and Scaling

外科AI的比较研究：数据、计算和扩展的潜力与局限

Kirill Skobelev, Eric Fithian, Yegor Baranovski, Jack Cook, Sandeep Angara, Shauna Otto, Zhuang-Fang Yi, John Zhu, Neeraj Mainkar, Margaux Masson-Forsythe, Daniel A. Donoho, X. Y. Han

机构 * Center for Applied AI, Chicago Booth（应用人工智能中心，芝加哥商学院） ； Surgical Data Science Collective（外科数据科学集体） ； Children’s National Hospital（儿童医学中心） ； Operations Management & Tolan Center for Healthcare, Chicago Booth（运营管理与托兰医疗中心，芝加哥商学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过2026年最先进的AI方法，研究了外科手术工具检测中的性能和限制，发现即使使用多十亿参数模型和大量训练数据，当前的视觉语言模型在神经外科手术工具检测任务中仍表现不足，且模型规模和训练时间的增加对性能提升效果有限，表明当前AI在手术应用中仍面临显著挑战。

Knowledge Graph-Enhanced Zero-Shot Topic Classification: A Multi-Strategy Comparative Study

知识图谱增强的零样本主题分类：多策略比较研究

Shahana Akter, Yatharth Vohra, Ankita Shukla, Souvika Sarkar

机构 * A2I Lab, School of Computing, Wichita State University（A2I实验室，计算学院，威斯康星州立大学） ； EIS Lab, College of Engineering, University of Nevada, Reno（EIS实验室，工程学院，内华达大学，里诺） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 提出零样本多标签主题分类框架，通过知识图谱增强文档表示，实验表明对小型模型有正面影响，对大型模型有负面影响。

Comments 12 pages, 1 figure, IEEE TDKE format. This paper proposes a KG-augmented zero-shot multi-label topic classification framework and evaluates multiple strategies

Human-Level Text-to-SQL via Reinforcement Learning on Verified Data, Without Pipeline Engineering

ReViSQL：实现人水平的文本到SQL

Yuxuan Zhu, Tengjun Jin, Yoojin Choi, Daniel Kang

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出ReViSQL框架，通过高质量训练数据提升SQL推理能力，首次在BIRD基准上达到人水平准确率，且在不同模型规模下均表现优异。

Test-time Generalization for Physics through Neural Operator Splitting

通过神经算子分裂实现物理中的测试时泛化

Louis Serrano, Jiequn Han, Edouard Oyallon, Shirley Ho, Rudy Morel

机构 * Flatiron Institute, New York（Flatiron 机构，纽约） ； New York University（纽约大学） ； Princeton University（普林斯顿大学） ； Sorbonne Université, CNRS, ISIR, Paris（索邦大学，CNRS，ISIR，巴黎） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出通过神经算子分裂在测试时增强泛化能力，实现零样本泛化并恢复底层PDE参数。

Stop Means Stop: Measuring and Repairing the Enforcement Gap in Agent-Framework Control Primitives

停止即停止：测量和修复智能体框架控制原语中的执行差距

Sajjad Khan

专题命中 预训练与数据 ：LLM(abstract)

AI总结 研究生产型大语言模型智能体框架控制原语执行差距，用无模型差分探针发现漏洞及差距，提出SOUNDGATE修复，能强制执行多种属性，端到端阻止违规，释放合法效果。

Comments 32 pages, 3 figures, 11 tables. Code: pip install soundgate (PyPI)

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

回溯应达到何种程度？探索SFT与RL在增强大语言模型推理能力中的相互作用

Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

机构 * Duke University（杜克大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究探索SFT与RL在LLM推理中的相互作用，提出回溯是关键算子，发现最优回溯深度随任务难度变化，引入以回溯为核心的训练方案，证实合理回溯可提升模型推理能力。

Understanding Reasoning from Pretraining to Post-Training

理解从预训练到训练后阶段的推理

Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov

机构 * New York University（纽约大学） ； Modal Labs（模态实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；pretraining(title,abstract)；post-training(title,abstract)；LLM(abstract,abstract_cn)

AI总结 研究强化学习在大语言模型从预训练到训练后阶段对推理的作用，以国际象棋为测试平台，按标准流程训练模型，发现预训练损失可预测RL后性能，RL奖励曲线斜率与预训练令牌有关，还揭示RL对SFT策略的影响，且在数学领域也有相同模式。

Large Language Models Align with the Human Brain during Creative Thinking

大型语言模型在创造性思维过程中与人类大脑对齐

Mete Ismayilzada, Simone A. Luchini, Abdulkadir Gokce, Badr AlKhamissi, Antoine Bosselut, Antonio Laverghetta, Lonneke van der Plas, Roger E. Beaty

机构 * EPFL（瑞士联邦理工学院洛桑） ； Università della Svizzera italiana (USI)（意大利语区大学（瑞士）） ； Wesleyan University（卫斯理大学） ； Paris Brain Institute (ICM)（巴黎大脑研究所） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 研究探讨了在创造性思维过程中，fMRI数据揭示了大脑与不同规模LLM之间的对齐关系，发现模型大小和想法原创性影响对齐程度，且训练目标影响表示与人类创造力神经几何的匹配程度。

Comments Accepted at COLM 2026

Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

学习协调符号工具：用于验证平方和（SOS）证书的大语言模型（LLM）智能体

Bohan Chen, Shivam N. Patel, Richard Hoffmann, Sam Looi, Tony Yue Yu

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究开发结合领域训练、符号工具和验证反馈的LLM智能体，在加权SOS验证任务上达到78.96%成功率，为可精确检查输出领域的工具调用智能体设计提供案例。

Comments 15 pages, 4 figures

Beyond Static Models: An Evolving Framework for Continual Learning in Large Language Models across Training Stages

在大型语言模型中进行持续学习：方法、挑战与机遇

Hongyang Chen, Zhongwu Sun, Hongfei Ye, Kunchi Li, Xuemin Lin

机构 * Research Center for Scientific Data Hub, Zhejiang Lab（科学数据枢纽研究中心，浙江实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文综述了针对大型语言模型的持续学习方法，分析了持续预训练、微调和对齐的核心阶段，探讨了传统方法在持续学习中的适应性与改进，并指出在跨任务和时间尺度的知识整合中仍存在挑战。

SuperCoder: Assembly Program Superoptimization with Large Language Models

SuperCoder：基于大语言模型的汇编程序超优化

Anjiang Wei, Tarun Suresh, Huanmi Tan, Yinglun Xu, Gagandeep Singh, Ke Wang, Alex Aiken

机构 * Stanford University（斯坦福大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 SuperCoder利用大语言模型实现汇编程序超优化，通过强化学习微调后，正确性达95%且平均速度提升1.46倍。

Quokka: Accelerating Program Verification with LLMs via Invariant Synthesis

Quokka：通过不变式合成加速程序验证

Anjiang Wei, Tianran Sun, Tarun Suresh, Haoze Wu, Ke Wang, Alex Aiken

机构 * Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amherst College（阿默斯特学院） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Quokka通过利用大语言模型生成有用的循环不变式，提升程序验证效率，其评价导向框架在多个模型家族中表现出色，优于现有基于LLM的验证器。

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

大语言模型作为导师：不可验证强化学习中的策略感知提示适应

Yujin Kim, Namgyu Ho, Sangmin Hwang, Joonkee Kim, Yongjin Yang, Sangmin Bae, Seungone Kim, Jaehun Jung, Se-Young Yun, Hwanjun Song

机构 * KAIST（韩国科学技术院） ； Upstage ； University of Toronto（多伦多大学） ； Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对不可验证强化学习中训练提示静态导致的问题，提出LLM-as-a-Tutor框架，让大语言模型从评判扩展为导师，通过对比策略展开检测无挑战性提示并添加约束，提升性能。

Benchmarking Parameter-Efficient Fine-Tuning of Large Language Models for Low-Resource Tajik Text Generation with the Tajik Web Corpus

针对低资源塔吉克语文本生成的大语言模型参数高效微调基准测试：基于塔吉克网络语料库

Mullosharaf K. Arabov

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 该研究发布塔吉克网络语料库，测试9种架构17种配置的三种微调策略，得出Mistral 7B搭配QLoRA r=8为最优方案，是首个针对塔吉克语文本生成的PEFT基准测试。

Comments LaTeLL 2026

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

数据重复胜过数据扩展在长链推理监督微调中

Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

机构 * University of Technology Nuremberg（图恩大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本研究发现，在长链推理监督微调中，数据重复训练比数据扩展更有效，通过token准确率作为停止标准可替代昂贵的数据扩展。

SPRInG: Continual LLM Personalization via Selective Parametric Adaptation and Retrieval-Interpolated Generation

SPRInG: 通过选择性参数适应和检索插值生成实现连续大语言模型个性化

Seoyeon Kim, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SPRInG通过选择性参数适应和检索插值生成，实现连续大语言模型个性化，有效应对用户偏好变化带来的挑战。

Comments under review, 29 pages