语言大模型 / LLM

SLAP: Scalable Language-Audio Pretraining with Variable-Duration Audio and Multi-Objective Training

SLAP: 可扩展的语言-音频预训练与可变时长音频及多目标训练

Xinhao Mei, Gael Le Lan, Haohe Liu, Zhaoheng Ni, Varun Nagaraja, Yang Liu, Yangyang Shi, Vikas Chandra

机构 * Meta 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 SLAP通过可变时长音频和多目标训练，提升语言-音频预训练的规模和效果，实现更丰富的音频表示并在多个任务中取得新突破。

Comments Accepted to ICASSP 2026

GLAP: General contrastive audio-text pretraining across domains and languages

GLAP: 跨领域和语言的通用对比音频-文本预训练

Heinrich Dinkel, Zhiyong Yan, Tianzi Wang, Yongqing Wang, Xingwei Sun, Yadong Niu, Jizhong Liu, Gang Li, Junbo Zhang, Jian Luan

机构 * MiLM Plus, Xiaomi Inc., China（小米公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 GLAP通过多语言和多领域能力扩展CLAP，实现跨语言和跨领域的音频-文本预训练，在多个基准测试中表现优异。

Comments ICASSP 2026

Reliable Graph-RAG for Codebases: AST-Derived Graphs vs LLM-Extracted Knowledge Graphs

可靠的代码库图-RAG：基于AST的图与LLM提取的知识图谱

Manideep Reddy Chinthareddy

机构 * Software Engineer, Centerville, USA（美国辛斯维尔软件工程师） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文比较了基于AST的图谱和LLM提取的知识图谱在代码库中的检索性能，发现确定性AST图谱在索引成本和多跳推理方面更具优势。

Comments 46 pages, 2 figures

MITRA: A Large-Scale Parallel Corpus and Multilingual Pretrained Language Model for Machine Translation and Semantic Retrieval for Pāli, Sanskrit, Buddhist Chinese, and Tibetan

MITRA：一种大规模并行语料库和多语言预训练语言模型，用于机器翻译和语义检索（巴利语、梵语、佛教汉语和藏语）

Sebastian Nehrdich, Kurt Keutzer

机构 * Center for Integrated Japanese Studies, Tohoku University（东京东京大学综合日语研究机构） ； University of California, Berkeley（加州大学伯克利分校） ； Berkeley Artificial Intelligence Research (BAIR)（伯克利人工智能研究（BAIR）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 MITRA框架通过大规模并行语料库和预训练模型，实现了对梵语、巴利语、佛教汉语和藏语的机器翻译和语义检索，达到英语翻译的最先进性能。

Learnable Multipliers: Freeing the Scale of Language Model Matrix Layers

可学习的乘数：解放语言模型矩阵层的尺度

Maksim Velikanov, Ilyas Chahed, Jingwei Zuo, Dhia Eddine Rhaiem, Younes Belkada, Hakim Hacid

机构 * Falcon LLM Team（Falcon 语言模型团队） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出可学习乘数方法，通过引入可学习的行和列乘数来优化语言模型矩阵层的尺度，提升性能并减少计算开销。

SyncLipMAE: Contrastive Masked Pretraining for Audio-Visual Talking-Face Representation

SyncLipMAE：用于音频视觉谈话面部表示的对比掩码预训练

Zeyu Ling, Xiaodong Gu, Jiangnan Tang, Changqing Zou

机构 * State Key Laboratory of CAD&CG（CAD与CG国家重点实验室） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 SyncLipMAE通过对比掩码预训练实现音频视觉谈话面部的同步感知表示，适用于多下游任务。

MotivNet: Evolving Meta-Sapiens into an Emotionally Intelligent Foundation Model

MotivNet: 将元人进化为情感智能基础模型

Rahul Medicharla, Alper Yilmaz

机构 * Photogrammetric Computer Vision Lab（摄影测量计算机视觉实验室） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.LG

AI总结 MotivNet通过使用元人作为骨干网络，在不进行跨领域训练的情况下实现了面部情绪识别的泛化能力，验证了其作为Sapiens下游任务的有效性。

Comments 6 pages, 4 figures

VLM-PAR: A Vision Language Model for Pedestrian Attribute Recognition

VLM-PAR：一种用于行人属性识别的视觉语言模型

Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Fadi Dornaika, Cosimo Distante, Abdenour Hadid

机构 * Department of Innovation Engineering（创新工程系） ； University of Salento, Italy（意大利萨伦托大学） ； Institute of Applied Sciences and Intelligent Systems - CNR（应用科学与智能系统研究所 - CNR） ； University of the Basque Country UPV/EHU（巴斯克国家大学UPV/EHU） ； IKERBASQUE, Basque Foundation for Science（伊基塔斯克巴塞克基金会） ； Sorbonne University Abu Dhabi（索邦大学阿布扎比分校） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.AI

AI总结 VLM-PAR通过整合大规模视觉语言预训练与跨模态细化，提升行人属性识别在类别不平衡和泛化挑战中的性能。

Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling

Abacus: 为序列用户建模的自监督事件计数对齐分布预训练

Sullivan Castro, Artem Betlei, Thomas Di Martino, Nadir El Manouzi

机构 * Criteo AI Lab（Criteo人工智能实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 Abacus通过自监督预训练方法提升序列用户建模，结合事件计数统计与序列学习目标，提高下游任务性能。

From Minutes to Days: Scaling Intracranial Speech Decoding with Supervised Pretraining

从分钟到天：通过监督预训练扩展颅内语音解码

Linnea Evanson, Mingfang Zhang, Hubert Banville, Saarang Panchavati, Pierre Bourdillon, Jean-Rémi King

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 通过监督预训练扩展颅内语音解码，利用长期数据提升解码性能并解决跨天变化问题。

Comments Linnea Evanson* and Mingfang (Lucy) Zhang* are joint first authors. Pierre Bourdillon** and Jean-Rémi King** are joint last authors

AIR: Post-training Data Selection for Reasoning via Attention Head Influence

AIR：通过注意力头影响进行推理的后训练数据选择

Jinrui Liu, Jeff Wu, Xuanguang Pan, Gavin Cheung, Shuai Ma, Chongyang Tao

机构 * Beihang University（北洋大学） ； Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；分类 cs.CL

AI总结 AIR通过注意力头影响机制，提升大语言模型推理能力的后训练数据选择效率。

Comments 19 pages

Practical Hybrid Quantum Language Models with Observable Readout on Real Hardware

实用的混合量子语言模型在真实硬件上实现可观测量读取

Stefan Balauca, Ada-Astrid Balauca, Adrian Iftene

机构 * FreeYaMind Campus（FreeYaMind校区） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出混合量子语言模型QRNNs和QCNNs，在真实量子硬件上实现端到端训练，通过多样本SPSA策略克服噪声影响，验证了NISQ设备上生成语言模型的可行性。

Radiance-Field Reinforced Pretraining: Scaling Localization Models with Unlabeled Wireless Signals

基于辐射场的强化预训练：利用未标记无线信号扩展定位模型

Guosheng Wang, Shen Wang, Lei Yang

机构 * Department of Computing, The Hong Kong Polytechnic University, Hong Kong, China（计算系，香港理工大学，香港，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出RFRP框架，通过结合大规模未标记无线信号数据提升定位模型的跨场景泛化能力，实验表明其显著降低定位误差。

Understanding Syntactic Generalization in Structure-inducing Language Models

理解结构诱导语言模型中的句法泛化

David Arps, Hassan Sajjad, Laura Kallmeyer

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了结构诱导语言模型中的句法泛化问题，通过训练三种不同架构评估其句法表示和性能，发现GPST在长距离依赖性上表现最佳。

Comments Code available at https://github.com/davidarps/silm

ARC-AGI Without Pretraining

ARC-AGI无需预训练

Isaac Liao, Albert Gu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 CompressARC通过最小化描述长度（MDL）在无需预训练的情况下解决ARC-AGI谜题，展示了深度学习在极低数据条件下产生智能的可行性。

Coefficient of Variation Masking: A Volatility-Aware Strategy for EHR Foundation Models

方差系数掩码：一种考虑波动性的电子健康记录基础模型策略

Rajna Fani, Rafi Al Attrach, David Restrepo, Yugang Jia, Leo Anthony Celi, Peter Schüffler

机构 * Massachusetts Institute of Technology (MIT)（麻省理工学院） ； Technical University of Munich (TUM)（慕尼黑技术大学） ； MICS CentraleSupélec – Université Paris-Saclay（巴黎萨克雷大学CentraleSupélec研究所） ； Harvard Medical School（哈佛医学院） ； Beth Israel Deaconess Medical Center（贝斯以色列医疗中心） ； Institute of Pathology Technical University of Munich（慕尼黑技术大学病理研究所） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出CV-Masking策略，通过考虑特征波动性改进EHR基础模型的预训练，提升重建性能和下游任务表现。

Comments 16 pages, 9 figures, 1 table, 1 algorithm. Accepted at Machine Learning for Health (ML4H) 2025, Proceedings of the Machine Learning Research (PMLR)

Hypergraph Foundation Model

超图基础模型

Yue Gao, Yifan Feng, Shiquan Liu, Xiangmin Han, Shaoyi Du, Zongze Wu, Han Hu

机构 * School of Software, BNRist, THUIBCS, BLBCI, Tsinghua University（软件学院，BNRist，THUIBCS，BLBCI，清华大学） ； Institute of Artificial Intelligence and Robotics, College of Artificial Intelligence, Xi’an Jiaotong University（人工智能与机器人研究院，人工智能学院，西安交通大学） ； College of Mechatronics and Control Engineering, Shenzhen University（机械与控制工程学院，深圳大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 Hyper-FM是一种多领域知识提取的超图基础模型，通过层次化高阶邻居引导的顶点知识嵌入和结构知识提取，提升超图建模能力，并提出超图基础模型的扩展定律。

SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models

SAT：多模态语言模型的动态空间能力训练

Arijit Ray, Jiafei Duan, Ellis Brown, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko

机构 * Boston University（波士顿大学） ； University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） ； Microsoft Research（微软研究院） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 SAT通过模拟数据提升多模态语言模型在动态空间推理中的能力，实验表明其在多个基准测试中优于现有方法。

Comments Accepted to COLM 2025. Project webpage: https://arijitray.com/SAT/

Pretraining Transformer-Based Models on Diffusion-Generated Synthetic Graphs for Alzheimer's Disease Prediction

基于扩散生成合成图的Transformer模型预训练用于阿尔茨海默病预测

Abolfazl Moslemi, Hossein Peyvandi

机构 * Sharif University of Technology（谢里夫理工学院） ； Pasargad Institute for Advanced Innovative Solutions（帕萨尔加德先进创新解决方案研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本研究提出基于扩散生成合成图的Transformer模型，通过预训练提升阿尔茨海默病预测的准确性和泛化能力。

Comments 14 pages. Preprint

Filter Like You Test: Data-Driven Data Filtering for CLIP Pretraining

像测试一样过滤：基于数据的数据驱动数据过滤用于CLIP预训练

Mikey Shechter, Yair Carmon

机构 * Tel Aviv University, Israel（特拉维夫大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 FLYT通过数据驱动的方法提升CLIP预训练效果，实现DataComp基准上的准确率提升。

CTSyn: A Foundation Model for Cross Tabular Data Generation

CTSyn：跨表格数据生成的基准模型

Xiaofeng Lin, Chenheng Xu, Matthew Yang, Guang Cheng

机构 * Department of Statistics and Data Science, University of California Los Angeles（统计与数据科学系，加州大学洛杉矶分校） ； Department of Computer Science, University of California Los Angeles（计算机科学系，加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 CTSyn提出了一种基于扩散的生成性基准模型，用于跨表格数据生成，通过统一潜在空间和条件潜在扩散模型提升表格合成的实用性和多样性。

Concept-Aware Batch Sampling Improves Language-Image Pretraining

概念感知的批量采样提升语言-图像预训练

Adhiraj Ghosh, Vishaal Udandarao, Thao Nguyen, Matteo Farina, Mehdi Cherti, Jenia Jitsev, Sewoong Oh, Elisa Ricci, Ludwig Schmidt, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Trento（特伦托大学） ； LAION ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.LG

AI总结 本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。

Comments Tech Report

Tiny-TSM: Efficiently Training a Lightweight SOTA Time Series Foundation Model

Tiny-TSM：高效训练轻量级SOTA时间序列基础模型

Felix Birkel

机构 * Prior Labs（Prior实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 Tiny-TSM通过高效训练方法，在资源受限环境下实现了轻量级时间序列基础模型的最先进性能。

LLM-Driven Kernel Evolution: Automating Driver Updates in Linux

基于大语言模型的内核进化：自动化Linux驱动更新

Arina Kharlamova, Jiawen Liu, Tianyi Zhang, Xinrui Yang, Humaid Alqasimi, Youcheng Sun, Chun Jason Xue

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 基于大语言模型的AUTODRIVER系统通过整合提示工程、多智能体协作等技术，实现了Linux驱动程序的自动化维护，提升了驱动与内核协同进化的安全性与效率。

Assessing the alignment between infants' visual and linguistic experience using multimodal language models

利用多模态语言模型评估婴儿的视觉和语言经验一致性

Alvin Wei Ming Tan, Jane Yang, Tarun Sepuri, Khai Loong Aw, Robert Z. Sparks, Zi Yin, Virginia A. Marchman, Michael C. Frank, Bria Long

机构 * Department of Psychology, Stanford University（心理学系，斯坦福大学） ； Department of Psychology, University of California, San Diego（心理学系，加州大学圣地亚哥分校） ； Department of Psychology, Tsinghua University（心理学系，清华大学） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 基于多模态语言模型评估婴儿视觉与语言经验一致性，揭示日常学习中视觉与语言对齐的稀有性及跨儿童差异。

VITA: Variational Pretraining of Transformers for Climate-Robust Crop Yield Forecasting

Adib Hasan, Mardavij Roozbehani, Munther Dahleh

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Generalization Can Emerge in Tabular Foundation Models From a Single Table

Junwei Ma, Nour Shaheen, Alex Labach, Amine Mhedhbi, Frank Hutter, Anthony L. Caterini, Valentin Thomas

机构 * University of Toronto（多伦多大学） ； Polytechnique Montréal（蒙特利尔大学） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； Layer 6 AI（Layer 6 AI公司） ； Prior Labs（Prior实验室） ； ELLIS Institute（ELLIS研究所） ； Tübingen University of Freiburg（弗赖堡大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Pretraining Finnish ModernBERTs

Akseli Reunamo, Laura-Maria Peltonen, Hans Moen, Sampo Pyysalo

机构 * University of Turku, Department of Computing（图尔库大学计算机系） ； University of Eastern Finland and Kuopio University Hospital（东方芬兰大学和库奥皮奥大学医院） ； University of Turku and Turku University Hospital（图尔库大学和图尔库大学医院） ； Aalto University, Department of Computer Science（艾尔沃普大学计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Can Language Models Handle a Non-Gregorian Calendar? The Case of the Japanese wareki

Mutsumi Sasaki, Go Kamoda, Ryosuke Takahashi, Kosuke Sato, Kentaro Inui, Keisuke Sakaguchi, Benjamin Heinzerling

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments Accepted to IJCNLP-AACL 2025 (Main). Code available at https://github.com/cl-tohoku/Non-Gregorian-Calendar

Generate, Evaluate, Iterate: Synthetic Data for Human-in-the-Loop Refinement of LLM Judges

Hyo Jin Do, Zahra Ashktorab, Jasmina Gajcin, Erik Miehling, Martín Santillán Cooper, Qian Pan, Elizabeth M. Daly, Werner Geyer

机构 * IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments 29 pages, 4 figures