语言大模型 / LLM

PDR: A Plug-and-Play Positional Decay Framework for LLM Pre-training Data Detection

PDR: 一种用于LLM预训练数据检测的即插即用位置衰减框架

Jinhan Liu, Yibo Yang, Ruiying Lu, Piotr Piekos, Yimeng Chen, Peng Wang, Dandan Guo

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 PDR是一种无需训练的即插即用框架，通过位置衰减重加权提升LLM预训练数据检测的鲁棒性与准确性。

A Unified Shape-Aware Foundation Model for Time Series Classification

面向时间序列分类的统一形状感知基础模型

Zhen Liu, Yucheng Wang, Boyuan Li, Junhao Zheng, Emadeldeen Eldele, Min Wu, Qianli Ma

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 UniShape是一种面向时间序列分类的统一形状感知基础模型，通过自适应聚合多尺度判别子序列提升模型可解释性，并在多个数据集上实现最先进的分类性能。

Comments Accepted in AAAI 2026

Stochastic Siamese MAE Pretraining for Longitudinal Medical Images

随机时序Siamese MAE预训练用于纵向医学图像

Taha Emre, Arunava Chakravarty, Thomas Pinetz, Dmitrii Lachinov, Martin J. Menten, Hendrik Scholl, Sobha Sivaprasad, Daniel Rueckert, Andrew Lotery, Stefan Sacu, Ursula Schmidt-Erfurth, Hrvoje Bogunović

机构 * Institute of Artificial Intelligence, Center for Medical Data Science, Medical University of Vienna（人工智能研究所，医学数据科学中心，维也纳医科大学） ； Department of Ophthalmology and Optometry, Medical University of Vienna（眼科学与视光学系，维也纳医科大学） ； Ophthalmic Image Analysis Group (OPTIMA), Medical University of Vienna（眼科影像分析组（OPTIMA），维也纳医科大学） ； BioMedIA, Department of Computing, Imperial College London（BioMedIA，计算系，伦敦帝国理工学院） ； Chair for AI in Healthcare and Medicine, Technical University of Munich（医学与健康人工智能教授职位，慕尼黑技术大学） ； Moorfields National Institute for Health and Care Biomedical Research Centre, Moorfields Eye Hospital（莫尔菲尔兹国家健康与护理生物医学研究中心，莫尔菲尔兹眼科医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 STAMP通过随机过程和条件变分推断，提升纵向医学图像中疾病进展的建模能力。

Comments Under review. Code is available in https://github.com/EmreTaha/STAMP

PI-MFM: Physics-informed multimodal foundation model for solving partial differential equations

PI-MFM：基于物理的多模态基础模型用于求解偏微分方程

Min Zhu, Jingmin Sun, Zecheng Zhang, Hayden Schaeffer, Lu Lu

机构 * Department of Statistics and Data Science, Yale University（统计与数据科学系，耶鲁大学） ； Department of Applied Mathematics and Statistics, Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学） ； Department of Applied Computational Mathematics and Statistics, University of Notre Dame（应用计算数学与统计学系，圣母大学） ； Department of Mathematics, University of California Los Angeles（数学系，加州大学洛杉矶分校） ； Department of Chemical and Environmental Engineering, Yale University（化学与环境工程系，耶鲁大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 PI-MFM是一种基于物理的多模态基础模型，通过强制执行偏微分方程在预训练和适应过程中，提高求解PDE的效率和鲁棒性。

Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Consulting, Data Analyst, and Management Tasks

经济生产力的扩展定律：在LLM辅助咨询、数据分析师和管理任务中的实验证据

Ali Merali

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过实验发现，LLM训练计算量和算法进展可提升专业任务效率，非代理分析任务的生产力增益更大，预计未来十年美国生产力将提升约20%。

Investigating Spatial Attention Bias in Vision-Language Models

探究视觉-语言模型中的空间注意力偏差

Aryan Chaudhary, Sanchit Goyal, Pratik Narang, Dhruv Kumar

机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学研究院，帕利尼，印度） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文研究了视觉-语言模型在处理水平拼接图像时存在的系统性空间注意力偏差，发现模型倾向于优先描述左位置内容，且该偏差在不同架构和语言训练下均存在。

Overcoming the Generalization Limits of SLM Finetuning for Shape-Based Extraction of Datatype and Object Properties

超越基于形状的抽取数据类型和对象属性的SLM微调泛化限制

Célian Ringwald, Fabien Gandon, Catherine Faron, Franck Michel, Hanna Abi Akl

机构 * Univ. Côte d’Azur（里昂大学） ； Inria（法国国家信息与自动化技术研究院） ； CNRS（法国国家科学研究中心） ； I3S（信息科学与系统研究所） 纠错

专题命中 预训练与数据 ：SLM(title)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 本文提出通过构建训练集确保属性出现次数超过阈值，以提升SLM在抽取数据类型和对象属性时的泛化能力。

Comments Accepted at KCAP 2025

Enhanced Spatiotemporal Consistency for Image-to-LiDAR Data Pretraining

增强的时空一致性用于图像到LiDAR数据预训练

Xiang Xu, Lingdong Kong, Hui Shuai, Wenwei Zhang, Liang Pan, Kai Chen, Ziwei Liu, Qingshan Liu

机构 * College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； School of Computing, Department of Computer Science, National University of Singapore（新加坡国立大学计算机学院） ； School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院） ； Shanghai AI Laboratory（上海人工智能实验室） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 SuperFlow++通过整合时空线索提升图像到LiDAR数据预训练效果，实现更鲁棒的特征表示和更高效的自动驾驶感知。

Comments IEEE Transactions on Pattern Analysis and Machine Intelligence

Bootstrapping Fuzzers for Compilers of Low-Resource Language Dialects Using Language Models

通过语言模型构建编译器低资源语言方言的模糊测试器

Sairam Vaidya, Marcel Böhme, Loris D'Antoni

机构 * University of California San Diego（加州大学圣地亚哥分校） ； Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 通过语言模型构建编译器低资源语言方言的模糊测试器，利用语法和覆盖引导技术生成种子输入，提升测试效率和覆盖率。

EgoDTM: Towards 3D-Aware Egocentric Video-Language Pretraining

EgoDTM: 向3D感知的自体视频-语言预训练迈进

Boshen Xu, Yuting Mei, Xinbi Liu, Sipeng Zheng, Qin Jin

机构 * AIM3 Lab, Renmin University of China（中国人民大学人工智能3实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 EgoDTM通过结合大规模3D感知视频预训练和视频-文本对比学习，提升视频-语言模型的3D感知能力，实现更丰富的空间理解。

Comments Code: https://github.com/xuboshen/EgoDTM

Multi-Aspect Knowledge-Enhanced Medical Vision-Language Pretraining with Multi-Agent Data Generation

多方面知识增强的医学视觉-语言预训练与多代理数据生成

Xieji Li, Siyuan Yan, Yingsheng Liu, H. Peter Soyer, Monika Janda, Victoria Mar, Zongyuan Ge

机构 * Department of Data Science and AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学） ； Victorian Melanoma Service, Alfred Health（维多利亚黑色素瘤服务，阿尔弗雷德健康） ； Frazer Institute, The University of Queensland, Dermatology Research Centre（弗雷泽研究所，昆士兰大学，皮肤科研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究提出一种多代理数据生成与多方面知识增强的医学视觉-语言预训练框架，通过提升数据质量和细粒度对齐，实现零样本性能的突破。

Comments 10 pages. Under Review

LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving

LargeAD: 大规模跨传感器数据预训练用于自动驾驶

Lingdong Kong, Xiang Xu, Youquan Liu, Jun Cen, Runnan Chen, Wenwei Zhang, Liang Pan, Kai Chen, Ziwei Liu

机构 * WorldBench Team（WorldBench团队） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 LargeAD通过跨传感器数据预训练提升自动驾驶中的三维场景理解，结合多模态对比学习和时间一致性，实现更鲁棒的感知性能。

Comments IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

Leveraging AI multimodal geospatial foundation models for improved near-real-time flood mapping at a global scale

利用AI多模态地理空间基础模型实现全球范围内的改进型实时洪水制图

Mirela G. Tulbure, Julio Caineta, Mark Broich, Mollie D. Gaines, Philippe Rufin, Leon-Friedrich Thomas, Hamed Alemohammad, Jan Hemmerling, Patrick Hostert

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本研究利用AI多模态地理空间基础模型提升全球实时洪水制图能力，通过微调TerraMind模型并对比不同配置，展示多模态数据整合在洪水检测中的有效性。

Discover, Learn, and Reinforce: Scaling Vision-Language-Action Pretraining with Diverse RL-Generated Trajectories

发现、学习与强化：通过多样化强化学习生成轨迹扩展视觉-语言-动作预训练

Rushuai Yang, Zhiyuan Feng, Tianxiang Zhang, Kaixin Wang, Chuheng Zhang, Li Zhao, Xiu Su, Yi Chen, Jiang Bian

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Central South University（中南大学） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出DLR框架，通过多样化强化学习生成轨迹，提升VLA预训练的多样性和扩展性，实现更广泛的状态-动作空间覆盖。

Majority Rules: LLM Ensemble is a Winning Approach for Content Categorization

多数决策：LLM集成是内容分类的获胜方法

Ariel Kamen, Yakov Kamen

机构 * RingCentral Inc.（环中央公司） ； Relevad Corporation（Relevad公司） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出eLLM集成方法，通过整合多个模型提升无结构文本分类的准确性和鲁棒性，实现接近人类专家水平的性能。

Comments 17 pages, 7 figures

Synergizing Multigrid Algorithms with Vision Transformer: A Novel Approach to Enhance the Seismic Foundation Model

Huiwen Wu, Shuo Zhang, Yi Liu, Hongbin Ye

机构 * Research Center for Scientific Data Hub Zhejiang Laboratory（科学数据枢纽研究中心 浙江实验室） ； State Key Laboratory of Mathematical Sciences (SKLMS)（数学科学国家重点实验室） ； State Key Laboratory of Scientific and Engineering Computing (LSEC)（科学与工程计算国家重点实验室） ； Institute of Computational Mathematics and Scientific/Engineering Computing Academy of Mathematics and Systems Science, Chinese Academy of Sciences, Beijing, China（数学系统科学学院，中国科学院，北京，中国） ； School of Mathematical Sciences, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学数学科学学院，北京，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

A Systematic Study of Model Extraction Attacks on Graph Foundation Models

Haoyan Xu, Ruizhi Qian, Jiate Li, Yushun Dong, Minghao Lin, Hanson Yan, Zhengtao Yao, Qinghua Liu, Junhao Dong, Ruopeng Huang, Yue Zhao, Mengyuan Li

机构 * University of Southern California（南加州大学） ； Florida State University（佛罗里达州立大学） ； The Ohio State University（俄亥俄州立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

EEG-X: Device-Agnostic and Noise-Robust Foundation Model for EEG

Navid Mohammadi Foumani, Soheila Ghane, Nam Nguyen, Mahsa Salehi, Geoffrey I. Webb, Geoffrey Mackellar

机构 * Emotiv Research（Emotiv研究） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

LLM Teacher-Student Framework for Text Classification With No Manually Annotated Data: A Case Study in IPTC News Topic Classification

Taja Kuzman, Nikola Ljubešić

机构 * Jožef Stefan International Postgraduate School（乔塞夫·斯塔芬国际研究生学校） ； University of Ljubljana（卢布尔雅那大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments This work has been accepted and published in the IEEE Access journal. This arXiv version is retained for archival purposes. Readers should use and cite the IEEE Access Version available at https://ieeexplore.ieee.org/document/10900365

Journal ref IEEE Access 2025

RoMA: Scaling up Mamba-based Foundation Models for Remote Sensing

Fengxiang Wang, Yulin Wang, Mingshuo Chen, Haiyan Zhao, Yangang Sun, Shuo Wang, Hongzhen Wang, Di Wang, Long Lan, Wenjing Yang, Jing Zhang

机构 * College of Computer Science and Technology, National University of Defense Technology, China（国防科技大学计算机科学与技术学院） ； Tsinghua University, China（清华大学） ； Beijing University of Posts and Telecommunications, China（北京邮电大学） ； School of Computer Science, Wuhan University, China（武汉大学计算机学院） ； Zhongguancun Academy, China（中关村学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

Comments NeurIPS 2025

Reversal Invariance in Autoregressive Language Models

Mihir Sahasrabudhe

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments 7 pages, theoretical note

Seeing, Signing, and Saying: A Vision-Language Model-Assisted Pipeline for Sign Language Data Acquisition and Curation from Social Media

Shakib Yazdani, Yasser Hamidullah, Cristina España-Bonet, Josef van Genabith

机构 * German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH）） ； Saarland Informatics Campus（萨尔兰州信息技术校区） ； Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心（BSC-CNS）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments Accepted by RANLP 2025

Language Model Behavioral Phases are Consistent Across Architecture, Training Data, and Scale

James A. Michaelov, Roger P. Levy, Benjamin K. Bergen

机构 * Department of Brain and Cognitive Sciences, MIT（麻省理工学院脑科学与认知科学系） ； MIT Libraries CREOS（麻省理工学院图书馆 CREOS） ； Deparmtent of Cognitive Science, UCSD（加州大学圣地亚哥分校认知科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments To be presented at NeurIPS 2025

Tahakom LLM Guidelines and Recipes: From Pre-training Data to an Arabic LLM

Areej AlOtaibi, Lina Alyahya, Raghad Alshabanah, Shahad Alfawzan, Shuruq Alarefei, Reem Alsabti, Nouf Alsubaie, Abdulaziz Alhuzaymi, Lujain Alkhelb, Majd Alsayari, Waad Alahmed, Omar Talabay, Jalal Alowibdi, Salem Alelyani, Adel Bibi

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

Decoding-Free Sampling Strategies for LLM Marginalization

David Pohl, Marco Cognetta, Junyoung Lee, Naoaki Okazaki

机构 * nlp.c.titech.ac.jp（东京技术大学自然语言处理研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL

Comments 10 pages, 3 figures

SEMPO: Lightweight Foundation Models for Time Series Forecasting

Hui He, Kun Yi, Yuanchi Ma, Qi Zhang, Zhendong Niu, Guansong Pang

机构 * Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡管理大学） ； State Information Center（国家信息中心） ； Tongji University（同济大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments Accepted by NeurIPS 2025

From TOWER to SPIRE: Adding the Speech Modality to a Translation-Specialist LLM

Kshitij Ambilduke, Ben Peters, Sonal Sannigrahi, Anil Keshwani, Tsz Kin Lam, Bruno Martins, André F. T. Martins, Marcely Zanon Boito

机构 * ENS Paris-Saclay（巴黎-萨克雷大学） ； INESC-ID ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； University of Edinburgh（爱丁堡大学） ； TransPerfect ； NAVER LABS Europe（NAVER欧洲实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments EMNLP 2025 (Findings) camera ready

GeoRecon: Graph-Level Representation Learning for 3D Molecules via Reconstruction-Based Pretraining

Shaoheng Yan, Zian Li, Muhan Zhang

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

Leveraging Robust Optimization for LLM Alignment under Distribution Shifts

Mingye Zhu, Yi Liu, Zheren Fu, Yongdong Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知国家重点实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments NeurIPS 2025

NeurIPT: Foundation Model for Neural Interfaces

Zitao Fang, Chenxuan Li, Hongting Zhou, Shuyang Yu, Guodong Du, Ashwaq Qasem, Yang Lu, Jing Li, Junsong Zhang, Sim Kuan Goh

机构 * Xiamen University Malaysia（马来西亚厦门大学） ； Columbia University（哥伦比亚大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Xiamen University（厦门大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments Accepted by The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025). Project Page: https://ZzzitaoFang.github.io/projects/NeurIPT/