语言大模型 / LLM

CuratorKIT : Data Curation and Synthetic Data Generation for LLM Post-Training

CuratorKIT：用于LLM后训练的数据策展与合成数据生成

Soham Bhattacharjee, Karun Sharma, Vinay Kumar Sankarapu, Pratinav Seth

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出开源库CuratorKIT，集成数据摄取、去重、合成生成和质量过滤的全生命周期，通过可配置管道和可审计的样本溯源链提升后训练数据管道的透明度和可复现性。

LLM-Guided Test-Time Discovery of Quantum-Chemical Approximation Algorithms

LLM引导的量子化学近似算法测试时发现

Masaya Hagai, Yuta Suzuki, Tomoya Murata, Shuhei Kurita, Masaki Adachi

机构 * Lattice Lab, Toyota Motor Corporation（丰田汽车公司格子实验室） ； Department of Chemistry, Graduate School of Science, Nagoya University（名古屋大学理学部化学科） ； National Institute of Informatics（国家信息研究所） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 提出LADeQ框架，利用LLM在测试时自动发现、实现并评估量子化学近似算法，无需预训练或特定数据，可加速CCSD和CISD计算并控制误差。

Comments 13 main pages, 6 main figures, and 2 tables

Scaling LLM Knowledge Boundaries via Distribution-Optimized Synthesis

通过分布优化合成扩展LLM知识边界

Songze Li, Yarong Lan, Zhongpu Bo, Zhaoyang Wang, Zhiqiang Liu, Yuan Yuan, Chengtao Gan, Menghao Qian, Enpei Niu, Xiaoke Guo, Yuanxiang Liu, Zhaoyan Gong, Xiangjin Hu, Liangyurui Liu, Jingdian Lu, Lei Liang, Jun Zhou, Huajun Chen, Wen Zhang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； ZJU-Ant Group Joint Lab of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出KDoS框架，通过知识密度驱动的三阶段反馈机制优化合成数据的知识分布，显著扩展LLM知识边界，并在多模型和多数据规模上验证了最优分布的稳定性和有效性。

Comments ACL ARR May (EMNLP 2026) Submission

LLM-assisted gNB Parameter Configuration for Radio Access Network

LLM辅助的无线接入网gNB参数配置

Yao-Cong Dong, Maria Amparo Canaveras Galdon, Ari Uskudar, Kuntal Chowdhury, Edwin K. P. Chong, Ray-Guang Cheng

机构 * Dept. of Electronic and Computer Engineering, National Taiwan University of Science and Technology, Taiwan（电子与计算机工程系，台湾科技大学） ； NVIDIA, USA（NVIDIA公司） ； Colorado State University, USA（科罗拉多州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LLM辅助框架，通过合成数据生成和微调，自动从错误日志中生成正确的gNB参数配置，在OAI测试中准确率达92.7%。

Gender Disparities in LLM-Based Intimate Partner Violence Detection

基于LLM的亲密伴侣暴力检测中的性别差异

Tabia Tanzin Prama, Mikaela Irene Fudolig, Abigail M. Crocker, Christopher M. Danforth, Peter Sheridan Dodds

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 研究通过反事实变体测试LLM在亲密伴侣暴力检测中的性别偏见，发现当受害者为男性时，暴力检测率系统性降低，女性施暴者身份是暴力识别的负向预测因子。

Comments Accepted at the Seventh Workshop on NLP and Computational Social Science (at ACL) 2026

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

数据受限语言模型预训练的数据增强

Michael K. Chen, Xikun Zhang, Fan Bai, Zhengding Hu, Zhen Wang

机构 * UC San Diego（加州大学圣地亚哥分校） ； RMIT University（皇家墨尔本理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对数据受限下标准自回归预训练严重过拟合的问题，提出三类数据增强方法（token级噪声、序列排列、目标偏移预测），有效降低验证损失并支持数百epoch训练。

Libretto: Giving LLM Agents a Sense of Musical Structure

Libretto：赋予LLM智能体音乐结构感

Yichen Xu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Libretto框架，通过LLM原生语法（显式起始槽、声部、小节组织）和基于语料库的统计评估（节奏、和声、旋律等），实现符号音乐的生成、诊断与迭代自修正，将符号音乐转化为可测量、可编辑的对象。

Co-Construction Blindness and Asymmetric Epistemic Vulnerability in Human-LLM Interaction

人机交互中的共构盲点与非对称认知脆弱性

Bianca Helena Ximenes

机构 * Independent Researcher（独立研究者） ； Universidade Federal de Pernambuco（巴伊亚联邦大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出共构盲点与非对称认知脆弱性两个概念，揭示用户与LLM交互中因忽视输出共构性而产生的结构性风险，并以道金斯案例说明权威地位差异导致的不对称后果。

Comments 12 pages, out of which 2 are transcripts; Target venue: CHI 2027

Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining

信号在哪里？医学编码器预训练的网页数据配方

Bofeng Huang, Jacques Sun, Diane Bouchacourt, Nicolas Barascud, Fajwel Fogel

机构 * Doctolib 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对医学领域编码器预训练数据稀缺问题，提出医学术语密度过滤和信号放大改写两种互补方法，在法语医学NLP上构建FineMed语料库和DoctoBERT编码器，性能优于现有方法。

Comments Code, models, and data: https://github.com/doctolib-lab/doctobert

EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

EPSVec: 通过数据集向量实现高效且私密的合成数据生成

Amin Banayeeanzade, Qingchuan Yang, Deqing Fu, Spencer Hong, Erin Babinsky, Alfy Samuel, Anoop Kumar, Robin Jia, Sai Praneeth Karimireddy

机构 * Capital One 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出EPSVec，一种轻量级差分隐私方法，通过提取并净化数据集向量来引导LLM生成合成文本，在低数据场景下实现高保真度，且计算开销低。

Comments Accepted at ICML 2026. Camera-ready version

Brain-DiT: A Universal Multi-state fMRI Foundation Model with Metadata-Conditioned Pretraining

Brain-DiT：一种基于元数据条件预训练的通用多状态fMRI基础模型

Junfeng Xia, Wenhao Ye, Xuanye Pan, Xinke Shen, Mo Wang, Quanying Liu

机构 * Department of Biomedical Engineering, Southern University of Science and Technology, China（南方科技大学生物医学工程系，中国） ； School of Biomedical Engineering, Shenzhen University, China（深圳大学生物医学工程学院，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 提出Brain-DiT，一种基于扩散Transformer和元数据条件预训练的通用多状态fMRI基础模型，在24个数据集上预训练，通过生成式预训练学习多尺度表示，在7个下游任务中优于重建和对齐方法。

Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior

量化数据影响与数据相似性之间的一致性以理解LLM行为

Christopher J. Anders, Henrique Da Silva Gameiro, Nico Daheim, Mohammad Emtiyaz Khan

机构 * RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（日本东京理化学研究所先进智能项目中心） ； Section of Computer Science, EPFL Lausanne, Switzerland（瑞士洛桑联邦理工学院计算机科学系） ； Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt（达姆施塔特工业大学计算机科学系泛在知识处理实验室） ； National Research Center for Applied Cybersecurity ATHENE, Germany（德国国家应用网络安全研究中心ATHENE） ； TU Darmstadt & Hessian Center for AI (hessian.AI), Darmstadt, Germany（达姆施塔特工业大学与黑森州人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 通过排序重叠量化数据相似性与数据影响在输出追踪中的一致性和不对称性，并利用不对称性实现成本-精度权衡。

Comments 37 pages, 35 figures, preprint

Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

基于LLM的端到端口语对话状态跟踪的联合语音与文本训练

Katia Vendrame, Bolaji Yusuf, Santosh Kesiraju, Šimon Sedláček, Oldřich Plchot, Jan Černocký

机构 * Brno University of Technology（布拉格技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出联合训练口语DST数据和跨域文本DST数据的方法，解决口语数据稀缺和跨域泛化问题，无需目标域口语训练数据即可获得良好性能。

Comments accepted for Interspeech 2026

One Image is All You Need: Agentic One-Shot Image Generation via Text-Based World Models for Long-Tail Spatial Perception

一图足矣：基于文本世界模型的智能体单样本图像生成用于长尾空间感知

Keqin Zeng, Shuting Su, Shihao Lin, Ziyue Li, Rui Zhao

机构 * Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） ； Sun Yat-Sen University（中山大学） ； Technical University of Munich（慕尼黑工业大学） ； Heilbronn Data Science Center（海尔布隆数据科学中心） ； Munich Data Institute（慕尼黑数据研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出WMGen-v1框架，利用单张参考图像通过LVLM构建结构化场景表示，LLM进行物理合理的场景扩展，再由扩散模型生成多样化的长尾训练数据，缓解空间感知中的数据稀缺问题。

Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts

基于队列锚定的电子健康记录基础模型：从风险评分到可审计的同行队列

Kaiping Zheng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出CAFM框架，将患者队列作为一等对象融入学习流程，通过四个阶段提升数据质量、组织表示并支持可审计决策，以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。

B[FM]$^2$: Brain Foundation Model via Flow Matching with SplitUNet

B[FM]$^2$: 基于流匹配与SplitUNet的脑基础模型

Jaedong Hwang, Kathleen Zhang, Wei Dai, Konstantinos Kontras, Maarten Vanmarcke, Maarten De Vos, Ila Fiete, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； KU Leuven（鲁汶大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出B[FM]$^2$，通过连续时间流匹配直接在原始EEG信号上预训练，避免离散化带来的时间动态损失，并设计SplitUNet网络处理时间-电极不对称性，在9个下游任务中7个达到最优，预训练数据量减少约30倍。

Nothing from Something: Can a Language Model Discover 0?

无中生有：语言模型能否发现0？

Phoebe Zeng, Thomas L. Griffiths, Brenden M. Lake

机构 * Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型能否独立发现“零”的概念，通过算术任务测试，发现GPT-2规模模型无法在测试时泛化，但少量示例训练后显著提升，且语言预训练减少所需示例约50%。

Lightweight 3D Feature Pretraining by Bayesian Inversion of 2D Foundation Models

轻量级3D特征预训练：基于2D基础模型的贝叶斯反演

Marwane Hariat, Gianni Franchi, David Filliat, Antoine Manzanera

机构 * U2IS, ENSTA – Institut Polytechnique de Paris, Palaiseau, France（U2IS，ENSTA – 巴黎综合理工学院，法国帕莱索） ； Pôle Recherche, Agence Ministérielle pour l’IA de Défense, Palaiseau, France（研究部，国防人工智能部级机构，法国帕莱索） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(title)

AI总结 提出Casper3D，一种轻量级概率框架，通过贝叶斯反演将多视图2D基础模型嵌入转换为潜在3D语义表示，实现开放词汇3D理解。

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

moBERTo: 通过ModernBERT的持续预训练实现的现代葡萄牙语编码器

Thiago Laitz, Thales Sales Almeida, João Guilherme Alves Santos, Giovana Kerche Bonás

机构 * UNICAMP（坎皮纳斯州立大学） ； Tropic AI ； Maritaca AI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出moBERTo，通过对ModernBERT-base在600亿token上持续预训练得到葡萄牙语编码器，在检索、分类、NER和NLU任务上表现优异，并揭示了持续预训练优于从头训练、分词器适配和长上下文后训练的影响。

Atomistic Language Models Understand and Generate Materials

原子语言模型理解与生成材料

Sathya Edamadaka, Krithik Ramesh, Ju Li, Rafael Gómez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Lyra Labs ； Lila Sciences 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 提出原子语言模型（ALMs），通过连续投影和分阶段训练统一原子编码器、大语言模型和去噪扩散模型，实现从自然语言生成和优化晶体结构，在晶体结构预测和从头生成上达到最优。

Prompting Diffusion Models for Zero-Shot Instance Segmentation

提示扩散模型用于零样本实例分割

Irem Zeynep Alagöz, Nils Morbitzer, Andrea Ramazzina, Nassir Navab, Federico Tombari, Stefano Gasperini

机构 * Technical University of Munich (TUM)（慕尼黑工业大学） ； Munich Center of Machine Learning (MCML)（慕尼黑机器学习中心） ； Mercedes-Benz AG（梅赛德斯-奔驰集团） ； Visualais 纠错

专题命中 预训练与数据 ：prompting(title)；foundation model(abstract)；pretraining(abstract)

AI总结 提出Prompt2Seg框架，通过空间条件化增强扩散模型，利用2D高斯或置信度图作为提示，实现零样本实例分割，在多个数据集上优于基线。

Comments Under review

Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

SysML v2中的自动化语义故障定位：一种使用知识图谱增强大语言模型的人机协同框架

Haitham Al-Shami, Rohail Malik, Riku Ala-Laurinaho, Jari Vepsäläinen, Raine Viitala

机构 * Aalto University（艾洛大学） 纠错

专题命中 预训练与数据 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 提出一种人机协同框架，结合微调小语言模型与领域知识图谱，自动识别并修复SysML v2模型中保持语法有效但违反领域规则的语义错误，在车辆系统领域验证中故障修复率从低于3%提升至91%以上。

Comments 12 pages, 4 figures. Presented at INCOSE International Symposium 2026

Cultural Targets, Structural Frames, Binding Morals: A Cross-Lingual Audit of Online Hate in Multicultural Singapore

文化目标、结构框架、约束道德：多元文化新加坡中在线仇恨的跨语言审计

Emilio Ferrara

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 通过分析新加坡多语言社交媒体语料，发现仇恨言论的目标群体因语言而异，但威胁框架和道德基础（圣洁与忠诚）跨语言高度一致，且反移民仇恨被优先放大。

MCP-SandboxScan: WASM-based Secure Execution and Runtime Analysis for MCP Tools

MCP-SandboxScan：基于WASM的MCP工具安全执行与运行时分析

Zhuoran Tan, Run Hao, Jeremy Singer, Yutian Tang, Christos Anagnostopoulos

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出MCP-SandboxScan框架，通过WASM环境执行工具并提取运行时证据，结合语义分析识别MCP工具的风险，验证其在跨语言项目、 evasion基准和100个仓库中的有效性。

ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models

ROMEVA: 罗马乌尔都语语言模型的几何保持词汇扩展

Mahnoor Khan, Afsheen Asif, Milhan Afzal Khan, Seemab Latif, Mehwish Fatima

机构 * Department of Computer Science, University of Agriculture Faisalabad（费萨拉巴德农业大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 针对罗马乌尔都语拼写变异导致的子词碎片化问题，提出ROMEVA方法，结合子词平均初始化和PCA引导的锚点损失来稳定词汇扩展中的嵌入，实验发现下游性能与嵌入稳定性存在脱节。

Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning

对抗模仿学习的可证明高效策略-奖励联合预训练

Tian Xu, Zexuan Chen, Zhilong Zhang, Yi-Chen Li, Chenyang Wang, Lei Yuan, Yang Yu

机构 * National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 针对对抗模仿学习（AIL）需大量在线交互的问题，提出基于奖励塑形分析的理论框架，设计策略-奖励联合预训练方法CoPT-AIL，首次从理论上证明预训练能提升AIL的模仿性能。

Comments Paper accepted by ICML 2026

A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws

基础模型的极限理论：从极限理论角度理解涌现智能与扩展定律的数学方法

Jun Shu, Junxiong Jia, Deyu Meng, Zongben Xu

机构 * School of Mathematics and Statistics（数学与统计学学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文通过极限理论构建数学框架，量化智能行为，揭示涌现智能源于参数极限架构，并推导基础模型的扩展定律。

Comments There exist some typos and inaccurate expression in this version

GraphPFN: A Prior-Data Fitted Graph Foundation Model

GraphPFN：一种先验数据拟合的图基础模型

Dmitry Eremeev, Oleg Platonov, Gleb Bazhenov, Artem Babenko, Liudmila Prokhorenkova

机构 * HSE University（莫斯科国立高等经济学院） ； Yandex Research（Yandex研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对图基础模型的可迁移性和数据稀缺问题，提出GraphPFN，基于先验数据拟合网络框架，设计多级随机块模型和优先连接过程生成合成图，结合图感知结构化因果模型生成属性，并扩展LimiX模型以融合图邻域聚合层，在节点级任务上实现上下文学习和微调的最优性能。

ECGFlowCMR: Pretraining with ECG-Generated Cine CMR Helps Cardiac Disease Classification and Phenotype Prediction

ECGFlowCMR: 利用心电图生成电影心脏磁共振的预训练助力心脏病分类和表型预测

Xiaocheng Fang, Zhengyao Ding, Guangkun Nie, Jieyi Cai, Yujie Xiao, Bo Liu, Jiarui Jin, Haoyu Wang, Shun Huang, Ting Chen, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Polytechnic Institute of Zhejiang University, Zhejiang University（浙江大学 polytechnic 院） ； Institute of Computing Technology, University of the Chinese Academy of Sciences（中国科学院计算技术研究所） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； Institute of Microelectronics, University of the Chinese Academy of Sciences（中国科学院微电子研究所） ； Department of Cardiology, Zhejiang University（浙江大学心内科部） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出ECGFlowCMR框架，通过相位感知掩码自编码器和解剖运动解耦流解决ECG与CMR的跨模态时序错配和解剖可观测性差距，生成逼真电影CMR序列，提升下游心脏病分类和表型预测性能。

Comments Accepted to KDD 2026

Revisiting Text Ranking in Deep Research

重新审视深度研究中的文本排序

Chuan Meng, Litu Ou, Sean MacAvaney, Jeff Dalton

机构 * The University of Edinburgh（爱丁堡大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过复现实验，从检索单元、流水线配置和查询特性三个角度评估文本排序方法在深度研究中的有效性，并提出Q2Q方法缓解查询不匹配问题。

Comments Accepted at the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)