语言大模型 / LLM

Fixing It in Post: A Comparative Study of LLM Post-Training Data Quality and Model Performance

事后修复：对LLM事后训练数据质量和模型性能的比较研究

Aladin Djuhera, Swanand Ravindra Kadhe, Syed Zawad, Farhan Ahmed, Heiko Ludwig, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文通过对比两个开源事后训练数据集，提出了一种系统化编纂方法，生成性能更优的TuluTalk数据集，提升模型表现。

Journal ref The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS), 2025

Instability of LLM Pre-Pretraining: It Doesn't Always Help. An Investigation on Multiple Languages

大语言模型的预预训练：并非总能带来帮助——多语言调查

Sofiia Riazhskykh, Nam Luu, Ondřej Bojar

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；分类 cs.CL

AI总结 该研究调查了 LLM 预预训练在多语言场景下的 token 效率增益，发现其受实验设置和随机种子影响，仅在特定条件下稳定，建议部分实验需多次运行以规避不稳定方法。

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

Tangent: An Empirical Study of Testing Practices for LLM-Based Agent Applications

Tangent：基于大语言模型的智能体应用测试实践的实证研究

Rangeet Pan, Tyler Stennett, Divya Sankar, Bridget McGinn, Alessandro Orso, Raju Pavuluri, Saurabh Sinha, Maja Vukovic

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 Tangent通过对开源项目和行业从业者的研究，分析了LLM智能体应用的测试现状，发现其以单元测试为主、存在覆盖不足等问题，并提出了相关研究方向。

Comments Accepted at ASE'26

InforMask: Unsupervised Informative Masking for Language Model Pretraining

Nafis Sadeq, Canwen Xu, Julian McAuley

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

Journal ref Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022)

Reducing Pretraining-Generation Mismatch in Diffusion Language Models

减少扩散语言模型中的预训练-生成不匹配

Xiaocheng Lu, Huabin Liu, Song Guo, Jianguo Li

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 该研究针对扩散语言模型的预训练-生成不匹配问题，提出 PCD 方法，在不改变推理模式的情况下，在 LLaDA2-Mini 和 Qwen 模型上显著提升了性能。

Comments 12 pages, 9 figures, 1 table

NeuPAT: Neuron-aware Plasticity Allocation Tuning for Language-Preserving MLLMs

NeuPAT：面向语言保留多模态大语言模型的神经元感知可塑性分配调优

Jiayue Jin, Jingwei Zhang, Chen Wang, Jing Liu, Longteng Guo

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 NeuPAT是一种轻量架构无关框架，通过选择性保护语言敏感神经元、促进高可塑性神经元适配多模态，在11个语言基准上恢复了普通调优94.5%的语言能力下降，同时保持相当多模态性能，实现了能力保留型多模态大语言模型扩展。

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

全栈FP4：通过量化投影、优化器和注意力进行稳定的语言模型预训练

Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Sichuan University（四川大学） ； Beijing Zhongguancun Academy（北京中关村科学院） ； Zhejiang University（浙江大学） ； Beijing Key Laboratory of Brain-Inspired General Intelligence Large Model（北京脑科学与类脑研究中心通用人工智能大模型北京市重点实验室） ； Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与脑机智能技术重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

AI总结 研究针对4位预训练中优化器状态等未充分探索的问题，提出全栈FP4框架。通过模块精度策略解决稳定性瓶颈，如用LoRA-SVD抑制量化噪声，设计优化器变换，采用混合精度方案，实现稳定高效的端到端预训练。

Comments Fix experiment bugs and some statement, update current developed hardware efficiency result on 5090

Subjective Multi-Bias Detection with Large Language Models

基于大语言模型的主观多偏见检测

Ruiyu Li, Zhiying Zhu

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 本研究针对文本中的主观多偏见问题，采用大语言模型，在WIKIBIAS数据集上检测三类偏见，相关代码已公开。

The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism

大语言模型中混合专家架构的演进：路由、拓扑、负载均衡与专家并行

Jiguo Li

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本技术综述梳理了大语言模型混合专家架构的演进，通过五个维度和四个控制平面分析关键技术，揭示其从激活稀疏参数到解耦路由、预算与执行的趋势。

SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection

SPA：一个简单但难以被击败的基线模型用于知识注入

Kexian Tang, Jiani Wang, Shaowen Wang, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出SPA基线模型，通过精心设计的提示生成大规模合成数据以增强模型知识，实验表明其优于现有方法，并揭示了先前方法的两个关键局限。

Towards an LLM-based method for quantifying the sexual content in song lyrics

面向基于大语言模型的歌曲歌词性内容量化方法

Ignacio M. Sticco

专题命中 预训练与数据 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种基于大语言模型的可复现方法，量化歌曲歌词主题内容（含性内容），并将其应用于12位雷鬼顿艺术家的1259首歌曲，还发布相关代码与语料库供他人复现或扩展。

Comments 17 pages, 10 figures. Code, scoring prompt, and corpus: https://github.com/ignaciosticco/open-lyrics-scorer

To Memorize or to Retrieve: Scaling the Interaction Between Pretraining and Retrieval

记忆还是检索：考虑RAG的缩放规律

Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

机构 * Stanford University（斯坦福大学） ； Independent Researcher（独立研究员） ； Patronus AI ； The Ohio State University（俄亥俄州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了预训练知识与检索知识的平衡，提出三维缩放框架，揭示在不同模型规模和任务类型下检索的边际效用，为语言模型设计提供数据资源分配指导。

Comments Code available at https://github.com/DegenAI-Labs/RAG-Scaling-Laws

DoGMA: A Central-Dogma-Guided Foundation Model for Multi-Omics Alignment and Multi-Task Learning in Oncology

DoGMA：一种用于肿瘤学多组学对齐与多任务学习的中心法则引导基础模型

Junfei Ling, Bangzheng Pu, Bingsen Xue, Tianle Li, Ruying Hu, Cheng Jin

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出中心法则引导的多组学基础模型DoGMA，通过Transformer-MoE架构结合定向注意力与掩码分层多组学重构预训练，在泛癌多组学下游任务中展现出优异性能，为多组学注意力机制设计提供新方向。

LF${}^{2}$AR: Accounting for Layerwise Dynamics to Improve Multimodal Adaptation of Language Models

LF²AR：考虑分层动态以改进语言模型的多模态适配

Santiago Cuervo, Adel Moumen, Yanis Labrak, Sameer Khurana, Antoine Laurent, Mickael Rouvier, Phil Woodland, Ricard Marxer

机构 * Université de Toulon, Aix-Marseille Université, CNRS, LIS, France（法国图卢兹大学、马赛大学、CNRS、LIS） ； Department of Engineering, University of Cambridge, UK（剑桥大学工程系） ； Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA, USA（三菱电机研究实验室（MERL）） ； LIA, Avignon Université, France（法国阿维尼翁大学LIA） ； LIUM, Le Mans Université, France（法国勒芒大学LIUM） ； Zenidoc, Marseille, France（法国马赛Zenidoc） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出LF²AR架构，通过分层抽象-细化动态设计适配机制，在文本转图像、语音模态上提升语言模型性能，支持1.9倍生成加速。

Comments Published as a conference paper at COLM 2026

Training-Free Universal Approximation by Prompting Random Transformers

通过提示随机Transformer实现无训练的通用逼近

Alexander Hsu, Rongjie Lai

机构 * Purdue University（普渡大学） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 该研究证明预训练Transformer可选，随机未训练的单层softmax注意力网络经软提示引导可实现通用逼近，其继承核回归的极小极大最优速率，还揭示了提示相关参数的权衡关系。

Comments 31 pages, 5 figures. Comments welcome!

Guardian Crawler: Retrieval-First Knowledge Discovery with Bounded LLM Augmentation for Noisy Web Intelligence

Guardian Crawler：面向噪声网络智能的、结合受限大语言模型增强的检索优先型知识发现方法

Joshua Castillo, Santosh Nukavarapu, Ravi Mukkamala

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Guardian Crawler是面向噪声网络智能的检索优先型测试平台，结合BM25与风险感知重排序等技术，在合成语料库实验中取得较高检索分数，可用于知识发现与证据摘要生成。

Comments 8 pages, 2 figures. Accepted as a Short Paper at KDIR 2026 (International Conference on Knowledge Discovery and Information Retrieval)

DINO-3DRA: Leveraging 2D Foundation Model Semantics for 3D Cerebral Aneurysm Segmentation

DINO-3DRA：利用二维基础模型语义实现三维颅内动脉瘤分割

Jiayang Lu, Fengming Lin, Alejandro F. Frangi, Ali Sarrami-Foroushani

机构 * University of Manchester（曼彻斯特大学） ； Christabel Pankhurst Institute, University of Manchester（曼彻斯特大学克里斯塔贝尔·潘克赫斯特研究所） ； NIHR Manchester Biomedical Research Centre（NIHR曼彻斯特生物医学研究中心） ； Manchester Academic Health Sciences Centre（曼彻斯特学术健康科学中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 DINO-3DRA是一种双路径框架，通过将冻结的DINOv3特征注入3D U-Net实现跨维度语义迁移，在多中心3DRA数据上以572万参数达到最优动脉瘤分割性能，且泛化能力强。

Comments Accepted by MICCAI 2026

SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs

SignLlama：通过优先考虑视觉特征增强无词素手语翻译的大语言模型

Shiwei Gan, Xiao Liu, Yafeng Yin, Zhiwei Jiang, Bowen Guo, Lie Xie, Sanglu Lu, Hongkai Wen

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； University of Warwick（华威大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对无词素手语翻译（GFSLT）中LLMs的视觉特征利用问题，提出SignLlama模型，通过过滤伪词素CTC预训练与视觉优先蒸馏策略，在多数据集上取得极具竞争力的性能。

Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production

昨日之盾，今日之矛：生产环境中的自演进安全护栏

Cong Ming, Jingyi Chen, Bin Liu, Qi Chu, Tao Gong, Nenghai Yu, Yingfei Xiang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； Sangfor Technologies（深信服科技） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对静态LLM安全护栏无法应对新威胁的问题，提出自演进安全护栏SESG多智能体系统，可快速适配新威胁，性能优于静态护栏及自适应基线，已应用于深信服护栏并取得良好效果。

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

PolicyKG: An Agentic LLM Pipeline for Translating Institutional Policies into SHACL Knowledge Graphs

PolicyKG：一种用于将机构政策转换为SHACL知识图谱的智能体大语言模型流水线

Ponkrit Kaewsawee, Chaklam Silpasuwanchai, Chutiporn Anutariya

机构 * Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出PolicyKG流水线，可自动将机构政策转换为SHACL知识图谱，在AIT语料库上取得高分类准确率，适配新领域仅需替换注册表，解决了人工转换的效率问题。

Comments 23 pages, 3 figures, 4 tables. Under review at IJCKG 2026, Bangkok, Thailand

DataComp-VLM: Improved Open Datasets for Vision-Language Models

DataComp-VLM：改进的视觉语言模型开放数据集

Matteo Farina, Vishaal Udandarao, Thao Nguyen, Selim Kuzucu, Maximilian Böther, Andreas Hochlehnert, Adhiraj Ghosh, Marianna Nezhurina, Karsten Roth, Joschka Struber, Yuhui Zhang, Sebastian Dziadzio, Elaine Sui, Soumya Jahagirdar, Dhruba Ghosh, Hasan Hammoud, Thomas De Min, Simone Caldarella, Jehanzeb Mirza, Sedrick Keh, Mehdi Cherti, Hilde Kuehne, Bernt Schiele, Serena Yeung-Levy, Muhammad Ferjad Naeem, Federico Tombari, Ana Klimovic, Elisa Ricci, Matthias Bethge, Sewoong Oh, Ameya Prabhu, Alessio Tonioni, Jenia Jitsev, Massimiliano Mancini, Ludwig Schmidt, Nikhil Parthasarathy

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出DataComp-VLM基准，通过数据混合（而非过滤）策略提升视觉语言模型训练效果，在8B模型上达到63.6%准确率，比现有最优数据集提升5.4个百分点。

Comments Preprint

OATS: Online Data Augmentation for Time Series Foundation Models

OATS: 用于时间序列基础模型的在线数据增强

Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Griffith University（格里菲斯大学） ； Datadog AI Research（Datadog AI研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 OATS通过动态生成合成数据提升时间序列基础模型的性能，采用探索-利用机制和扩散框架，在多个数据集上优于传统方法。

From Alignment to Synthesis Contrastive Volumetric Grounding for Text-to-CT Generation

从对齐到合成：用于文本到CT生成的对比体 grounding

Daniele Molino, Camillo Maria Caruso, Filippo Ruffini, Paolo Soda, Valerio Guarrasi

机构 * Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，工程系，罗马生物医学大学） ； Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与干预部门，生物医学工程与放射物理学，乌梅拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 该研究针对文本到CT生成的视觉-语言对齐瓶颈，提出带结构化难负样本的3D-CLIP编码器，结合端到端潜在扩散模型，在CT-RATE数据集上实现了优于现有方法的性能。

Comments Accepted at BMVC 2026

Task-Adaptive 3D Cross-Field MRI Translation via Field-Conditioned Content-Style Pretraining

基于场条件内容-风格预训练的任务自适应3D跨场MRI转换

Haowen Pang, Yingqi Hao, Pengli Zhu

机构 * School of Integrated Circuits and Electronics, Beijing Institute of Technology（北京理工大学集成电路与电子学院） ； School of Biomedical Engineering, Tsinghua Medicine, Tsinghua University（清华大学医学院生物医学工程学院） ； Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 针对跨场MRI转换的域偏移问题，提出基于场条件内容-风格预训练的3D非配对转换框架，适配三项挑战赛任务，可保留三维解剖结构。

Comments MICCAI 2026 Workshop on MRIxFields

BAP-MOS: Bandit-Based Adaptive Prompting for Boundary-Sensitive Multi-Organ Segmentation

BAP-MOS：面向边界敏感型多器官分割的基于多臂老虎机的自适应提示

Satvik Praveen, Shengji Jin, Ahmed Lamidi, Xin Qian, Yi Sheng

专题命中 预训练与数据 ：prompting(title,abstract)

AI总结 该研究提出BAP-MOS自适应提示框架，将提示选择转化为多臂老虎机问题，在多器官超声分割基准上显著降低边界误差，泛化能力良好且无需修改模型主干。

Comments 9 pages, 5 figures. Source code available at https://github.com/SatvikPraveen/BAP-MOS

AgriField-40K: Adapting Vision Models to Agriculture With Efficient Continual Pretraining

AgriField-40K：通过高效持续预训练使视觉模型适配农业场景

Vasileios Tzouras, Paraskevas Pegios, Lazaros Nalpantidis

机构 * Technical University of Denmark (DTU)（丹麦技术大学（DTU）） ； Pioneer Centre for Artificial Intelligence（人工智能先锋中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 针对农业计算机视觉依赖昂贵标注与模型适配成本高的问题，构建含17种公开资源的AgriField-40K数据集，提出参数高效的AgriMAE方法，可少用9倍可训练参数实现与全微调相当甚至更优的下游性能，为农业视觉持续预训练提供实用资源。

Comments Accepted at the Computer Vision in Plant Phenotyping and Agriculture (CVPPA) Workshop at the European Conference on Computer Vision (ECCV) 2026

Superposition Yields Robust Neural Scaling

叠加产生稳健的神经扩展

Yizhou Liu, Ziming Liu, Jeff Gore

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现表示叠加是神经扩展定律的核心驱动因素，揭示了损失与模型规模之间的反比关系。

Comments Best Paper Runner-up at NeurIPS 2025

Journal ref Advances in Neural Information Processing Systems 38 (2025) 159269--159305

From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

从假到真：基于平衡合成图像的预训练以防止图像识别中的虚假相关性

Maan Qraitem, Kate Saenko, Bryan A. Plummer

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

AI总结 针对图像识别模型易受虚假相关性影响的问题，提出从假到真（FFR）两步训练流程，先在平衡合成数据预训练，再用真实数据微调，在三个数据集上使最差组准确率较SOTA提升最高20%

Comments Accepted at ECCV 2024