AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
网络规模LLM预训练数据中的叙事内容特征化
机构 * University of Colorado Boulder（科罗拉多大学波尔德分校） ； ETH Zürich（苏黎世联邦理工学院） ； McGill University（麦吉尔大学）
专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.CL
AI总结 首次细粒度研究LLM预训练语料库Dolma的叙事特征，提出涵盖三个核心叙事元素（能动性、场景、事件）的框架，构建NarraBERT模型并发布NarraDolma数据集，揭示叙事结构在异构数据中可测量且分布不均。
Comments 8 pages of main content, 28 total pages. 30 figures
重新思考LLM FP4预训练中的收缩偏差：几何起源、系统影响与UFP4方案
机构 * Ling Team, Ant Group（蚂蚁集团灵团队）
专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI
AI总结 本文发现E2M1格式因几何不对称导致收缩偏差，该偏差经随机哈达玛变换放大，造成训练不稳定；提出均匀网格E1M2/INT4及UFP4训练方案，在多种模型上实现更低损失。
Comments 18 pages, 12 figures
BLISS: 一种用于语言模型预训练数据选择的轻量级双层影响评分方法
机构 * Department of Computer Science, George Mason University, USA（乔治·马歇尔大学计算机科学系） ； IBM T.J. Watson Research Center, USA（IBM T.J. Watson研究部） ； Department of Statistics, Rice University（里士大学统计系） ； Department of System Engineering & Operations Research, George Mason University, USA（乔治·马歇尔大学系统工程与运营管理系）
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)
AI总结 提出一种无需外部预训练模型的轻量级数据选择方法BLISS，通过双层优化和代理模型估计训练样本的长期影响，实现高效数据筛选，在C4数据集上预训练多种规模模型，显著加速收敛并提升下游任务性能。
LLM在硬件设计的RTL编码中如何失败与泛化？
机构 * NVIDIA Research（英伟达研究院）
专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)
AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。
Comments Preview, under submission for EMNLP 2026
流式干预：视频大语言模型能否在错误发生时即时纠正？
机构 * Qualcomm AI Research（高通人工智能研究院） ； York University（约克大学） ； Vector Institute for AI（向量人工智能研究所）
专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.LG
AI总结 提出Ego-MC-Bench基准评估视频LLM在烹饪场景中的实时干预能力，并构建Ego-CoMist反事实合成数据集提升小模型性能。
Comments The project page is available at https://apratimbh.github.io/livecookv2/
从流行病预测理解时间序列基础模型的关键特征
机构 * Department of Computer Science, School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院计算机科学系） ； School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Biocomplexity Institute, University of Virginia（弗吉尼亚大学生物复杂性研究所） ； Department of Electrical and Computer Engineering, School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院电气与计算机工程系）
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 系统评估多种时间序列模型在流感预测中的表现，发现混合专家模型性能最优，预训练在长时域提升显著，而LLM方法效果较差。
Comments 15 pages, 2 figures, 9 tables
HumanScale: 以自我为中心的人类视频在具身预训练中可超越真实机器人数据
机构 * PKU（北京大学） ； NUS（新加坡国立大学） ； MIT（麻省理工学院） ； UCSB（加州大学圣塔芭芭拉分校） ； NVIDIA（英伟达）
专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)
AI总结 本文通过系统比较发现，经过精心设计的过滤和标注流程，以自我为中心的人类视频在具身基础模型预训练中不仅可行，而且性能优于遥操作真实机器人数据，验证了“预训练于人类视频+少量机器人数据适配”的可扩展范式。
Comments Github: https://github.com/DAGroup-PKU/HumanNet/
迈向基于预训练数据组成的工程化缩放定律
机构 * Department of Applied Physics（应用物理系） ； Stanford University（斯坦福大学） ； Department of Physics and Astronomy（物理与天文学系） ； University of California, Irvine（加州大学尔湾分校） ； SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究通过工程化预训练数据组成（增加多样性和与下游任务的对齐）来改变粒子物理中神经网络的缩放行为，使其更偏向数据扩展而非模型扩展。
RadEx：基于大型语言模型的结构化信息提取框架
机构 * Institute for Patient-centered Digital Health, Bern University of Applied Sciences, Biel, Switzerland（以患者为中心的数字健康研究所，伯恩应用科学大学，比尔，瑞士） ； ID Suisse AG, St. Gallen, Switzerland（ID瑞士股份有限公司，圣加尔，瑞士）
专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI
AI总结 RadEx框架通过15个软件组件和10个工具，实现从放射科报告中自动提取结构化信息，支持生成式和编码器模型，提升临床应用中的信息处理效率与系统互操作性。
IHUBERT: 面向波斯语资源的基于向量的语义去重与领域平衡预训练
机构 * Department of Artificial Intelligence and Cognitive Science, Imam Hossein Comprehensive University（人工智能与认知科学系，伊玛目·侯赛因综合大学）
专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出IHUBERT，一个基于RoBERTa-base的波斯语预训练模型，通过多阶段预处理（包括基于向量数据库的语义去重和领域平衡）在45GB语料上训练，在多项NLU任务上取得领先结果，尤其抽取式问答表现突出。
强化学习基础模型本应已经存在
机构 * École normale supérieure de Paris, PSL University, Paris, France（巴黎高等师范学院，PSL大学，法国巴黎） ； Soda team, Inria Saclay, Palaiseau, France（Soda团队，法国国家信息与自动化研究所萨克雷中心，法国帕莱索）
专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出通过合成MDP构建强化学习基础模型，利用固定大小的充分统计量使注意力架构适用，在线和离线实验均优于传统算法。
SleepMaMi：一种融合宏观与微观结构的通用睡眠基础模型
机构 * Graduate School of Data Science, Seoul National University, Seoul, South Korea（首尔国立大学数据科学研究生院，韩国首尔） ； Department of Biomedical Sciences, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院生物医学科学系，韩国首尔） ； Obstructive Upper Airway Research (OUaR) Laboratory, Department of Pharmacology, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院药理学系阻塞性上气道研究（OUaR）实验室，韩国首尔） ； Department of Otorhinolaryngology-Head and Neck Surgery, Seoul National University Hospital, Seoul, Republic of Korea（首尔国立大学医院耳鼻喉头颈外科系，韩国首尔）
专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG
AI总结 提出SleepMaMi睡眠基础模型，通过分层双编码器设计（宏观编码器建模整夜时间依赖，微观编码器捕捉生物信号短时特征），结合人口统计引导对比学习和混合掩码自编码器训练，在超过2万条PSG记录上预训练，在下游任务中优于或匹配现有基础模型。
Comments 8 pages, Appendix 9 pages
MixProLAP：混合诱导的不确定性建模用于概率性语言-音频预训练
机构 * LINE WORKS Corporation（LINE WORKS公司） ； NAVER Cloud Corporation（NAVER Cloud公司）
专题命中 预训练与数据 ：pretraining(title,abstract)
AI总结 提出概率性音频-语言预训练框架MixProLAP，通过混合音频-文本对模拟重叠声音，建模多对多对应不确定性，并引入多级包含损失，在音频-文本检索中优于确定性基线。
Comments Accepted to Interspeech 2026
Patronus: 识别和缓解预训练语言模型中的可迁移后门
专题命中 预训练与数据 ：language model(title,abstract)
AI总结 针对预训练语言模型供应链中可迁移后门的安全威胁，提出Patronus防御框架，通过输入侧不变性检测和双阶段缓解策略，在15个模型和9个任务上实现≥98.3%后门检测召回率。
Comments Work in progress
使用大语言模型进行Qiskit代码迁移
专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 针对量子软件开发套件版本演进导致的代码维护问题，提出结合大语言模型与检索增强生成（RAG）的混合方法，利用自动生成的迁移场景分类体系引导模型，实现Qiskit代码跨版本自动迁移，有效减少幻觉并提升迁移建议质量。
无标注合成数据生成中风格多样性的重要性
机构 * University of Amsterdam（阿姆斯特丹大学）
专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG
AI总结 提出无需人工标注的对话生成框架，利用主题和风格属性增强多样性，并设计两种后处理风格化模型，实验表明风格多样性比主题多样性更关键，性能可达人工标注数据的93.3%。
Telenor Nordics 客户服务自助语料库
机构 * Research and Innovation, Telenor Group（Telenor集团研究与创新）
专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL
AI总结 本文构建了一个包含芬兰语、丹麦语、挪威语和瑞典语的多语言客户服务自助语料库，共1122篇文档，用于支持北欧NLP和信息检索研究。
Comments 8 pages, 2 figures, 5 tables. Submitted to Nordic Machine Intelligence. Dataset: https://zenodo.org/records/19493152
Journal ref Nordic Machine Intelligence 6(1), 2026
TerraMind：面向地球观测的大规模生成式多模态模型
机构 * IBM Research – Europe（IBM欧洲研究院） ； ETH Zurich（苏黎世联邦理工学院） ； Forschungszentrum Jülich（尤利希研究中心） ； European Space Agency（欧洲航天局） ； Φ \Phi -Lab（Φ实验室） ； NASA IMPACT ； University of Iceland（爱沙尼亚大学）
专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI
AI总结 提出首个任意到任意生成式多模态基础模型TerraMind，通过双尺度表示（token级和像素级）预训练，实现零样本/少样本应用，并引入“模态思考”能力，在PANGAEA等基准上达到领先性能。
Comments Accepted at ICCV'25
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈