语言大模型 / LLM

The Culture Funnel: You Can't Align What isn't in the Data

文化漏斗：你无法对齐不在数据中的内容

Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee

机构 * Cohere Labs（Cohere实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)；分类 cs.CL

AI总结 针对当前文化对齐方法依赖推理时干预而忽视训练数据的问题，提出文化数据漏斗概念，通过多维标签框架分析预训练、微调、对齐和推理数据集，发现后训练阶段文化信号急剧下降，多语言性虽增强地理多样性但未能确保平衡，所提标签可提升下游文化基准性能。

Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution

Influcoder：将解码器的梯度影响排名蒸馏到编码器用于数据归因

Dimitri Kachler, Damien Sileo, Pascal Denis

机构 * Centre Inria de l’Université de Lille, CRIStAL, Université de Lille（里尔大学Inria中心，CRIStAL，里尔大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大型语言模型训练数据归因中影响函数方法计算和存储成本高的问题，提出Influcoder方法，通过将解码器梯度影响排名蒸馏到编码器，实现快速且成本高效的大规模数据归因。

Comments 8 pages, 2 figures

Operationalizing Linguistic Methods through Prompt-Engineering Skills: An Automatic Chinese Web Neologism Detection Pipeline

通过提示工程技能操作化语言学方法：一种自动中文网络新词检测流水线

Yufeng Wu, Meichun Liu

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出一种自动中文网络新词检测方法，将传统语言学识别原则转化为提示工程技能，通过四阶段流水线从2.67亿文档中检测出4853个新词，并揭示候选覆盖和LLM语义判断为瓶颈。

PolicyKG: An Agentic LLM Pipeline for Translating Institutional Policies into SHACL Knowledge Graphs

PolicyKG：一种用于将机构政策转换为SHACL知识图谱的智能体大语言模型流水线

Ponkrit Kaewsawee, Chaklam Silpasuwanchai, Chutiporn Anutariya

机构 * Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出PolicyKG流水线，可自动将机构政策转换为SHACL知识图谱，在AIT语料库上取得高分类准确率，适配新领域仅需替换注册表，解决了人工转换的效率问题。

Comments 23 pages, 3 figures, 4 tables. Under review at IJCKG 2026, Bangkok, Thailand

Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction

在小型合成数据上预训练，免费实现大规模扩展：用于逻辑规则归纳的感知对称性基础模型

Yin Jun Phua

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出一种感知对称性的逻辑规则归纳基础模型，通过构造强制对称性将小型合成数据预训练的Neural Rule Inducer扩展至更大模式，提升了规则的可迁移性与保真度。

Comments Accepted at 20th Conference on Neurosymbolic Learning and Reasoning (NeSy 2026)

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

证据类型竞争：干预数据何时能教会语言模型因果方向？

Xining Xun

机构 * Tsingjiao Information Science (Beijing) Co., Ltd（北京清教信息科技有限公司） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现干预数据训练语言模型因果推理的金标准假设存在局限，观测上下文会抑制模型的因果方向判断能力，提出证据平均方案可降低符号错误率。

Comments 13 pages, 6 figures, 4 tables

Point2Radio: A Foundation Model for Cross-Scene Radio Fields from Material-Aware Point Clouds

Point2Radio：面向材料感知点云的跨场景无线电场基础模型

Chaozheng Wen, Chenghong Bian, Hongze Chen, Jun Zhang

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Point2Radio是从多环境学习可迁移传播先验的基础模型，基于材料感知点云实现跨场景无线电场预测，在路径增益预测上较UNet基线误差降76.7%，轻量微调可提升环境适应性。

Bridging Compute- and Data-Optimal Pretraining

弥合计算最优和数据最优预训练之间的差距

Tian Qin, Kimia Hamidieh, David Alvarez-Melis

机构 * Harvard University（哈佛大学） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对计算增长快于高质量数据可用性的问题，提出计算-数据（CD）缩放定律框架，通过引入令牌有效性函数η拟合数据扩展策略，划分训练操作模式，指出经典计算最优分配在多数实际设置下次优。

SynPre-FL: Synthetic data-driven pretraining integrated Federated Learning training framework

SynPre-FL：合成数据驱动的预训练集成联邦学习训练框架

Akarsh K Nair, Muhammad Arifur Rahman, Nicholas Shopland, Andy Burton, Jun He, Yuan Shen, David Baldwin, Emma O'Dowd, Amna Burzic, Mufti Mahmud, David J. Brown

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对联邦学习在临床风险预测中面临的问题及局限，提出SynPre-FL框架，结合合成EHR生成与合成预训练联邦学习，通过潜在自动编码器扩散模型等技术，提升非IID条件下预测的稳健性、可扩展性与可解释性。

Comments 18 pages, 10 figures

A Foundation Model for Multimodal Event Sequences in Financial Applications

金融应用中多模态事件序列的基础模型

Nikita Rusakov, Vladislav Meshkov, Konstantin Zorin, Gleb Zaripov, Alexander Uglov, Alexey Vasilev, Anton Klenitskiy

机构 * Sber（俄罗斯储蓄银行） ； Sber AI Lab（俄罗斯储蓄银行人工智能实验室） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究金融应用中多模态事件序列预测建模，提出预训练基础变压器模型统一多源事件成序列，经下一个事件预测学习通用表示，结合现有特征训练轻量级神经模型用于多下游任务，优于传统模型并减少开发开销且已应用取得业务改进。

Neural Collapse Is Forbidden: Information Floors in Language Models

语言模型中的信息下限：神经坍缩是被禁止的

Bruno Abrahao

机构 * NYU Shanghai Leonard N. Stern School of Business, New York University（纽约大学上海纽约大学斯特恩商学院） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型中信息分配定律，通过单行中心化恒等式等方法，揭示宏观类别结构与令牌内上下文方差占比，理论上说明权重衰减影响，证明二元类别下限，表明定律在多方面成立及预训练中类别份额变化规律。

ProsMAE: Multi-Source MAE Pretraining for ISUP Grade Classification

ProsMAE：用于ISUP分级分类的多源MAE预训练

Anna Jung, Kyeonghun Kim, Youngung Han, Eunseob Choi, Jiwon Yang, Ken Ying-Kai Liao, Hyuk-Jae Lee, Nam-Joon Kim

机构 * Seoul National University（首尔国立大学） ； GIST（韩国科学技术院） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对全切片图像模型训练难题，提出多源MAE框架ProsMAE，利用多数据集切片预训练编码器，通过ProsCLS用于ISUP分级分类，在不相交PANDA分割下比普通MAE冻结线性探针基线有更高QWK。

Comments Accepted to APCCAS 2026

Pretraining Curricula Enable Selective Fine-tuning

预训练课程实现选择性微调

Sebastian A. Bruijns, Jirko Rubruck, Mia H. Whitefield, Kai J. Sandbrink, Fazl Barez, Christopher Summerfield

机构 * University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究预训练课程如何影响学习、泛化和微调选择性，对比平衡与不平衡预训练方式，发现不平衡预训练促进上下文学习并提高拒绝微调选择性，还扩展到合成语言学习任务。

CRISP: A Spatiotemporal Camera-Radar Backbone for Driving via Forecasting-Based World-Model Pretraining

CRISP：一种通过基于预测的世界模型预训练实现驾驶的时空相机-雷达主干网络

Jingyu Song, Yi Liu, Katherine A. Skinner

机构 * Department of Robotics, University of Michigan（密歇根大学机器人系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究通过基于预测的表示学习预训练时空相机-雷达主干网络CRISP，利用历史多视图图像和雷达扫描，通过预测未来激光雷达点云学习统一鸟瞰图表示，介绍相关组件，实验表明其能提升点云预测并有效迁移至下游任务。

Comments 17 pages, under review

Attention is Just Another Name for Coupling? A Fast-Slow ODE Perspective on Hierarchical Pretraining

注意力只是耦合的另一个名字？：关于层级预训练的快速-慢速ODE视角

Zhengyuan Gao

机构 * Independent scholar（独立学者） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种快慢ODE视角，将因果自注意力视为耦合机制，并引入一个通过零初始化门控反馈到快路径的慢子系统，在理论证明和实验验证中揭示了其与主方程平稳分布的联系。

Reinforcement Learning Foundation Models Should Already Be A Thing

强化学习基础模型本应已经存在

Abdelrahman Zighem, Jill-Jênn Vie

机构 * École normale supérieure de Paris, PSL University, Paris, France（巴黎高等师范学院，PSL大学，法国巴黎） ； Soda team, Inria Saclay, Palaiseau, France（Soda团队，法国国家信息与自动化研究所萨克雷中心，法国帕莱索） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出通过合成MDP构建强化学习基础模型，利用固定大小的充分统计量使注意力架构适用，在线和离线实验均优于传统算法。

Sumi: Open Uniform Diffusion Language Model from Scratch

Sumi: 从头训练的开放均匀扩散语言模型

Mengyu Ye, Keito Kudo, Wataru Ikeda, Ryosuke Matsuda, Keisuke Sakaguchi, Jun Suzuki

机构 * Tohoku University（东北大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Sumi，一个从零开始预训练的70亿参数均匀扩散语言模型，在1.5T tokens上训练，性能与同规模自回归模型相当，并开源所有资源。

A Causal Foundation Model for Structure and Outcome Prediction

用于结构与结果预测的因果基础模型

Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

机构 * University of Cambridge, United Kingdom（英国剑桥大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出TabPFN-CFM，一种能处理多种因果问题的因果基础模型，从观测数据预测因果结构和结果，支持Pearl因果层次所有三层查询，在合成数据上训练并泛化到真实数据，优于结构和结果预测基线。

Comments 20 pages, 7 figures, 17 tables, 43rd ICML Workshop on Foundation Models for Structured Data

Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming

智能体对抗智能体：一种用于自动提示注入红队测试的智能体系统

Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 本研究提出PIMiner智能体系统，用于自动提示注入红队测试，该系统构建可迁移策略库，仅需少量查询即可在IPIArena、AgentDojo基准上对多款LLM实现高攻击成功率，解决现有方法泛化性差的问题。

Comments Our code is available at https://github.com/wang-yanting/PIMiner

Dive Into the Implicit Biases of Low-rank Vision-language Alignment

深入探究低秩视觉-语言对齐中的隐式偏差

Mingjia Shi, Shuo Wang, Xiaobo Wang, Sifan Zhou, Kai Wang, Tianyu Fu, Chenxu Zhao, Anyang Su, Ping Jiang, Minghui Wu

机构 * Shenzhen University of Advanced Technology（深圳先进技术研究院） ； National University of Singapore（新加坡国立大学） ； Mininglamp（明略科技） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 挑战视觉-语言对齐需全参数更新的观点，研究低秩适应在此阶段的应用，发现其能降成本且性能优。通过实证、几何分析和理论推导探究现象原因，并进行多方面消融实验。

Comments Accepted by ECCV 2026

ATGBuilder: Feature-Assisted Graph Learning for Activity Transition Graph Construction with Seed Supervision

ATGBuilder: 基于特征辅助图学习的活动转换图构建与种子监督

Chenhui Cui, Zixiang Xian, Danyu Li, Tao Li, Rubing Huang, Dave Towey, Shikai Guo, Jiakun Liu

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ATGBuilder，利用大语言模型总结UI布局元数据，并将控件触发信息建模为边属性，通过辅助重构目标进行图学习，在种子监督下构建高质量活动转换图，显著优于现有方法。

Cultural Targets, Structural Frames, Binding Morals: A Cross-Lingual Audit of Online Hate in Multicultural Singapore

文化目标、结构框架、约束道德：多元文化新加坡中在线仇恨的跨语言审计

Emilio Ferrara

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 通过分析新加坡多语言社交媒体语料，发现仇恨言论的目标群体因语言而异，但威胁框架和道德基础（圣洁与忠诚）跨语言高度一致，且反移民仇恨被优先放大。

Bayesian-Calibrated Detection of Hallucinated Package Imports in AI-Assisted Code

AI辅助代码中幻觉包导入的贝叶斯校准检测

Lom M. Hillah, Jean-Marc Richard, Ryan Hasnaoui

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出贝叶斯校准层，基于三元认知分类法输出Beta后验概率，并利用PyPI元数据检测注册但可疑的包，优于二元基线。

Comments 23 pages, 2 figures, 5 tables

Balancing ASR and diarization in end-to-end LLMs for multi-talker speech recognition

在端到端大语言模型中平衡ASR与说话人日志以进行多说话人语音识别

Naijun Zheng, Yuke Lin, Sanli Tian, Mengtian Li, Zhiwei Lin, Longshuai Xiao, Dandan Tu

机构 * Huawei Technologies, China（华为技术有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 提出双编码器架构、特征交错格式、长度感知说话人ID损失和自适应阈值ASR损失策略，在有限真实数据下高效训练LLM系统，平衡ASR与说话人日志任务，在AliMeeting和Aishell4语料库上分别实现18%和24%的相对改进。

Comments Accepted in Interspeech 2026

Advancing the State-of-the-Art in Empirical Privacy Auditing

推进经验隐私审计的最新水平

Nicole Mitchell, Galen Andrew, Arun Ganesh, Brendan McMahan, Peter Kairouz

机构 * Google Research（谷歌研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出通过高温采样生成合成金丝雀，用于经验隐私审计，并引入基于辅助模型的合成数据审计方法，系统研究模型容量与金丝雀熵对记忆化的交互影响。

PrivCode++: Latent-Conditioned Differentially Private Code Generation for Comprehensive Guarantees

PrivCode++: 潜在条件差分隐私代码生成以实现全面保障

Zheng Liu, Chen Gong, Terry Yue Zhuo, Zhou Yang, Kecen Li, Wenlong Meng, Xinwen Hou, Yu Liu, Xiaochen Li

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对指令-代码对微调的大语言模型可能泄露敏感数据的问题，提出PrivCode-Plus，首个在微调中同时保护提示和代码的差分隐私代码生成方法，通过两阶段DP框架和无隐私潜在条件模块实现高效合成。

Comments Accepted at ICML 2026

The Windows IOCTL Census: A Corpus-Scale, Multi-Architecture Database of the Driver Control-Code Surface

Windows IOCTL 普查：驱动程序控制码界面的语料规模、多架构数据库

Michael J. Bommarito

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 通过确定性、架构无关的静态分析，构建了27,087个签名Windows驱动程序的IOCTL控制码分发表数据库，覆盖x86和x64，并利用LLM对可达处理程序进行排序。

Comments 15 pages, 4 figures, 4 tables. Companion structural-tier dataset: huggingface.co/datasets/mjbommar/ioctl-census

CytoBERT: A Foundation Model for Cytometry Data

CytoBERT：用于细胞计数数据的基础模型

Syed Abdul Haseeb Qadri, Bjarne C. Hiller, Felix Blanke, Vanja Sophie Cangalovic, Kutalmış Coşkun, Amin Mirzaei, Tom Siegl, Sebastian Bader, Thomas Kirste, Martin Becker

机构 * University of Rostock（罗斯托克大学） ； Marburg University（马尔堡大学） ； Hessian Center for Artificial Intelligence（黑森人工智能中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对细胞计数数据异质性与非标准化导致机器学习难以应用的问题，推出开源基础模型CytoBERT，经5000万细胞数据预训练后可实现跨数据集迁移学习，为通用细胞计数分析提供新方案。

Frozen Brain-MRI Foundation Models Are Site Fingerprints

冻结的脑MRI基础模型是站点指纹

Saman Rahbar

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI

AI总结 该研究发现冻结脑MRI基础模型的嵌入包含采集站点的指纹，该指纹可线性解码且与预训练无关，可通过特定方法移除，同时指出其对共享嵌入的影响及密集分割的代价，并发布了审计工具包。

Comments 15 pages, 5 figures, 7 tables. Code: https://github.com/saman-rahbar/scanner-fingerprints

Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

测量跨语言理解差距：证据语言如何影响语言模型的理解能力

Rafael da Silva, Jeff Eicher

机构 * Eastern University（东方大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究定义跨语言理解差距（CLCG），通过ParallelQA-18评估5种模型，发现英语能力无法同等迁移，低资源语言用户的模型质量可能被英语中心评估高估。

Comments 55 pages, 17 figures. Submitted to Computational Linguistics (MIT Press / ACL). Supplementary Material: 55 pages, 4 figures