语言大模型 / LLM

FusionDP: Foundation Model-Assisted Differentially Private Learning for Partially Sensitive Features

Linghui Zeng, Ruixuan Liu, Atiquer Rahman Sarkar, Xiaoqian Jiang, Joyce C. Ho, Li Xiong

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Diffusion Language Models are Super Data Learners

Jinjie Ni, Qian Liu, Longxu Dou, Chao Du, Zili Wang, Hang Yan, Tianyu Pang, Michael Qizhe Shieh

机构 * National University of Singapore（新加坡国立大学） ； Sea AI Lab（Sea AI实验室） ； StepFun ； Shanghai Qiji Zhifeng Co Ltd（上海启峰科技有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

SLIP: Structural-aware Language-Image Pretraining for Vision-Language Alignment

Wenbo Lu

机构 * Department of Data Science（数据科学系） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments Capstone Paper

Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation

Idriss Nguepi Nguefack, Mara Finkelstein, Toadoum Sari Sakayo

机构 * AIMS Senegal（塞内加尔AIMS） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Comments 8 pages, 1. figure

Journal ref ACL2025

Are ASR foundation models generalized enough to capture features of regional dialects for low-resource languages?

Tawsif Tashwar Dipto, Azmol Hossain, Rubayet Sabbir Faruque, Md. Rezuwan Hassan, Kanij Fatema, Tanmoy Shome, Ruwad Naswan, Md. Foriduzzaman Zihad, Mohaymen Ul Anam, Nazia Tasnim, Hasan Mahmud, Md Kamrul Hasan, Md. Mehedi Hasan Shawon, Farig Sadeque, Tahsin Reasat

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.CL

Comments The manuscript has to be withdrawn to address an authorship and intellectual property clarification

Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models

Xiyuan Zhang, Danielle C. Maddix, Junming Yin, Nick Erickson, Abdul Fatir Ansari, Boran Han, Shuai Zhang, Leman Akoglu, Christos Faloutsos, Michael W. Mahoney, Cuixiong Hu, Huzefa Rangwala, George Karypis, Bernie Wang

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments NeurIPS 2025. We released both classifier (autogluon/mitra-classifier) and regressor (autogluon/mitra-regressor) model weights on HuggingFace

Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning

Subhojyoti Mukherjee, Josiah P. Hanna, Qiaomin Xie, Robert Nowak

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Comments Accepted in Reinforcement Learning Conference 2025

Journal ref Reinforcement Learning Journal,vol. 6, 2025, pp. 1681-1723

LAPRAD: LLM-Assisted PRotocol Attack Discovery

R. Can Aygun, Yehuda Afek, Anat Bremler-Barr, Leonard Kleinrock

机构 * UCLA（加州大学洛杉矶分校） ； Tel-Aviv University（特拉维夫大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments IFIP Networking 2025 Proceedings (Accepted on 05.05.2025)

Journal ref Published in IFIP Networking 2025 Proceedings

Foundation Model for Composite Microstructures: Reconstruction, Stiffness, and Nonlinear Behavior Prediction

Ting-Ju Wei, Chuin-Shan Chen

机构 * Department of Civil Engineering（土木工程系） ； National Taiwan University（台湾大学） ； Department of Materials Science and Engineering（材料科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

Cross-Genre Authorship Attribution via LLM-Based Retrieve-and-Rerank

Shantanu Agarwal, Joel Barry, Steven Fincke, Scott Miller

机构 * Information Sciences Institute（信息科学研究所） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

Adversarial Defence without Adversarial Defence: Enhancing Language Model Robustness via Instance-level Principal Component Removal

Yang Wang, Chenghao Xiao, Yizhi Li, Stuart E. Middleton, Noura Al Moubayed, Chenghua Lin

机构 * The University of Manchester, UK（曼彻斯特大学） ； Durham University, UK（杜伦大学） ； The University of Southampton, UK（南安普顿大学） ； Automated Analytics, UK（自动化分析） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments This paper was accepted with an A-decision to Transactions of the Association for Computational Linguistics. This version is the pre-publication version prior to MIT Press production

Heptapod: Language Modeling on Visual Signals

Yongxin Zhu, Jiawei Chen, Yuanzhe Chen, Zhuo Chen, Dongya Jia, Jian Cong, Xiaobin Zhuang, Yuping Wang, Yuxuan Wang

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Surgeons Are Indian Males and Speech Therapists Are White Females: Auditing Biases in Vision-Language Models for Healthcare Professionals

Zohaib Hasan Siddiqui, Dayam Nadeem, Mohammad Masudur Rahman, Mohammad Nadeem, Shahab Saquib Sohail, Beenish Moalla Chaudhry

机构 * University of Louisiana at Lafayette（路易斯安那大学拉斐特分校） ； Aligarh Muslim University（阿尔瓦格穆斯林大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

From Cheap Geometry to Expensive Physics: Elevating Neural Operators via Latent Shape Pretraining

Zhizhou Zhang, Youjia Wu, Kaixuan Zhang, Yanjia Wang

机构 * Corporate Research Bosch (China) Investment Co., Ltd.（博世（中国）投资有限公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Understanding and Enhancing Mask-Based Pretraining towards Universal Representations

Mingze Dong, Leda Wang, Yuval Kluger

机构 * Yale University（耶鲁大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Comments NeurIPS 2025

Informative Text-Image Alignment for Visual Affordance Learning with Foundation Models

Qian Zhang, Lin Zhang, Xing Fang, Mingxin Zhang, Zhiyuan Wei, Ran Song, Wei Zhang

机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

Comments Submitted to the IEEE International Conference on Robotics and Automation (ICRA) 2026

Learning from Gene Names, Expression Values and Images: Contrastive Masked Text-Image Pretraining for Spatial Transcriptomics Representation Learning

Jiahe Qian, Yaoyu Fang, Ziqiao Weng, Xinkun Wang, Lee A. Cooper, Bo Zhou

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments 9 pages, 3 figures

AfroXLMR-Social: Adapting Pre-trained Language Models for African Languages Social Media Text

Tadesse Destaw Belay, Israel Abebe Azime, Ibrahim Said Ahmad, David Ifeoluwa Adelani, Idris Abdulmumin, Abinew Ali Ayele, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

机构 * Instituto Politécnico Nacional（智利国家理工学院） ； Saarland University（萨尔兰大学） ； Northeastern University（东北大学） ； Bayero University Kano（卡诺巴耶罗大学） ； Mila-Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； University of Pretoria（比勒陀利亚大学） ； Bahir Dar University（巴赫达尔大学） ； Imperial College London（伦敦帝国理工学院） ； University of Hamburg（汉堡大学） ； Wollo University（沃尔洛大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025

Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

Zhaoyang Chu, Yao Wan, Zhikun Zhang, Di Wang, Zhou Yang, Hongyu Zhang, Pan Zhou, Xuanhua Shi, Hai Jin, David Lo

机构 * Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） ； University of Alberta（阿尔伯塔大学） ； Chongqing University（重庆大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments Accepted at the 48th IEEE/ACM International Conference on Software Engineering (ICSE 2026)

Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling

Yongchao Huang, Hassan Raza

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments 16 pages

A Structured Review of Underwater Object Detection Challenges and Solutions: From Traditional to Large Vision Language Models

Edwine Nabahirwa, Wei Song, Minghua Zhang, Yi Fang, Zhou Ni

机构 * Shanghai Ocean University（上海海洋大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments 72 Pages, 11 Figures

Multimodal Contrastive Pretraining of CBCT and IOS for Enhanced Tooth Segmentation

Moo Hyun Son, Juyoung Bae, Zelin Qiu, Jiale Peng, Kai Xin Li, Yifan Lin, Hao Chen

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Division of Paediatric Dentistry and Orthodontics, Faculty of Dentistry（牙科学院儿童牙科与正畸科） ； The University of Hong Kong（香港大学） ； Delun Dental Hospital（德尔伦牙科医院） ； Department of Chemical and Biological Engineering（化学与生物工程系） ； Division of Life Science（生命科学系） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） ； State Key Laboratory of Nervous System Disorders（神经系统紊乱国家重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Curia: A Multi-Modal Foundation Model for Radiology

Corentin Dancette, Julien Khlaut, Antoine Saporta, Helene Philippe, Elodie Ferreres, Baptiste Callard, Théo Danielou, Léo Alberge, Léo Machado, Daniel Tordjman, Julie Dupuis, Korentin Le Floch, Jean Du Terrail, Mariam Moshiri, Laurent Dercle, Tom Boeken, Jules Gregory, Maxime Ronot, François Legou, Pascal Roux, Marc Sapoval, Pierre Manceron, Paul Hérent

机构 * Raidium ； Hôpital Européen Georges Pompidou, AP-HP（欧洲乔治·蓬皮杜医院, AP-HP） ； Université Paris-Cité（巴黎城市大学） ； INRIA（法国国家信息与自动化技术研究所） ； INSERM（法国国家卫生与医学研究中心） ； Beaujon Hospital（贝琼医院） ； Medical University of South Carolina（南卡罗来纳医科大学） ； Columbia University Irving Medical Center（哥伦比亚大学伊万斯医学中心） ； Centre Cardiologique du Nord（北心脑血管中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

WindFM: An Open-Source Foundation Model for Zero-Shot Wind Power Forecasting

Hang Fan, Yu Shi, Zongliang Fu, Shuo Chen, Wei Wei, Wei Xu, Jian Li

机构 * School of Economics and Management, North China Electric Power University（经济管理学院，华北电力大学） ； Tsinghua University（清华大学） ； Institute for Interdisciplinary Information Sciences（交叉信息学院） ； Department of Automation（自动化系） ； Department of Electrical Engineering（电气工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

REVS: Unlearning Sensitive Information in Language Models via Rank Editing in the Vocabulary Space

Tomer Ashuach, Martin Tutek, Yonatan Belinkov

机构 * Technion – Israel Institute of Technology（技术离子–以色列理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 Findings, 24 pages, 4 figures

Demystifying optimized prompts in language models

Rimon Melamed, Lucas H. McCabe, H. Howie Huang

机构 * The George Washington University（乔治·华盛顿大学） ； LMI Consulting（LMI咨询公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025 Main

LLM-HyPZ: Hardware Vulnerability Discovery using an LLM-Assisted Hybrid Platform for Zero-Shot Knowledge Extraction and Refinement

Yu-Zheng Lin, Sujan Ghimire, Abhiram Nandimandalam, Jonah Michael Camacho, Unnati Tripathi, Rony Macwan, Sicong Shao, Setareh Rafatirad, Rozhin Yasaei, Pratik Satam, Soheil Salehi

机构 * Department of Electrical and Computer Engineering, University of Arizona, Tucson, AZ, USA（电气与计算机工程系，亚利桑那大学） ； Department of Systems and Industrial Engineering, University of Arizona, Tucson, AZ, USA（系统与工业工程系，亚利桑那大学） ； College of Information Science, University of Arizona, Tucson, AZ, USA（信息科学学院，亚利桑那大学） ； School of Electrical Engineering and Computer Science, University of North Dakota, Grand Forks, ND, USA（电气工程与计算机科学学院，北达科他大学） ； Department of Computer Science, University of California Davis, CA, USA（计算机科学系，加州大学戴维斯分校） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments 10 pages, 6 figures

SatDINO: A Deep Dive into Self-Supervised Pretraining for Remote Sensing

Jakub Straka, Ivan Gruber

机构 * University of West Bohemia in Pilsen（西波西米亚大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

BrainGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training

Tongtian Yue, Xuange Gao, Shuning Xue, Yepeng Tang, Longteng Guo, Jie Jiang, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments This work has been submitted to the IEEE for possible publication

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG