语言大模型 / LLM

Probabilistic Pretraining for Neural Regression

Boris N. Oreshkin, Shiv Tavker, Dmitry Efimov

机构 * Amazon（亚马逊） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)；分类 cs.LG

Rethinking the Bias of Foundation Model under Long-tailed Distribution

Jiahao Chen, Bin Qin, Jiangmeng Li, Hao Chen, Bing Su

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments Published as a conference paper in ICML 2025

Privileged Contrastive Pretraining for Multimodal Affect Modelling

Kosmas Pinitas, Konstantinos Makantasis, Georgios N. Yannakakis

机构 * Institute of Digital Games University of Malta（数字游戏研究所马耳他大学） ； Department of Artificial Intelligence University of Malta（人工智能系马耳他大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

No LLM Solved Yu Tsumura's 554th Problem

Simon Frieder, William Hart

机构 * University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.LG

Comments 67 pages

Urban In-Context Learning: Bridging Pretraining and Inference through Masked Diffusion for Urban Profiling

Ruixing Zhang, Bo Wang, Tongyu Zhu, Leilei Sun, Weifeng Lv

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

LLaVA-Video: Video Instruction Tuning With Synthetic Data

Yuanhan Zhang, Jinming Wu, Wei Li, Bo Li, Zejun Ma, Ziwei Liu, Chunyuan Li

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； BUPT（北京邮电大学） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：instruction tuning(title,abstract)；分类 cs.CL

Comments Project page: https://llava-vl.github.io/blog/2024-09-30-llava-video/; Accepted at TMLR

Zero-Shot Learning with Subsequence Reordering Pretraining for Compound-Protein Interaction

Hongzhi Zhang, Zhonglie Liu, Kun Meng, Jiameng Chen, Jia Wu, Bo Du, Di Lin, Yan Che, Wenbin Hu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Engineering Research Center for Big Data Application in Private Health Medicine of Fujian Universities, Putian University（福建省私人健康医学大数据应用工程研究中心，莆田大学） ； Macquarie University（麦考瑞大学） ； Wuhan University Shenzhen Research Institute（武汉大学深圳研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Data Caricatures: On the Representation of African American Language in Pretraining Corpora

Nicholas Deas, Blake Vente, Amith Ananthram, Jessica A. Grieser, Desmond Patton, Shana Kleiner, James Shepard, Kathleen McKeown

机构 * Columbia University, Department of Computer Science（哥伦比亚大学计算机科学系） ； University of Michigan, Department of Linguistics（密歇根大学语言学系） ； University of Pennsylvania, School of Social Policy and Practice, Annenberg School for Communications（宾夕法尼亚大学社会政策与实践学院、安纳伯格通讯学院） ； University of Tennessee, Knoxville, Department of English（田纳西大学基洛纳分校英语系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Comments ACL 2025

LLM-based Embedders for Prior Case Retrieval

Damith Premasiri, Tharindu Ranasinghe, Ruslan Mitkov

机构 * School of Computing and Communications, Lancaster University, UK（计算与通讯学院，兰卡斯特大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

Comments Accepted in Recent Advancements in Natural Language Processing (RANLP 2025) conference

AGENTS-LLM: Augmentative GENeration of Challenging Traffic Scenarios with an Agentic LLM Framework

Yu Yao, Salil Bhatnagar, Markus Mazzola, Vasileios Belagiannis, Igor Gilitschenski, Luigi Palmieri, Simon Razniewski, Marcel Hallgarten

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

UniEmoX: Cross-modal Semantic-Guided Large-Scale Pretraining for Universal Scene Emotion Perception

Chuang Chen, Xiao Sun, Zhi Liu

机构 * School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥国家综合科学中心人工智能研究所） ； Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machines, School of Computer Science and Information Engineering, Hefei University of Technology（安徽省情感计算与先进智能机器重点实验室，合肥工业大学计算机科学与信息工程学院） ； Department of Computer and Network Engineering, The University of Electro-Communications（电子通信大学计算机与网络工程系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments Accepted by IEEE TIP

PhysiX: A Foundation Model for Physics Simulations

Tung Nguyen, Arsh Koneru, Shufan Li, Aditya Grover

机构 * UCLA（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments 21 pages, 10 figures

Impact of Pretraining Word Co-occurrence on Compositional Generalization in Multimodal Models

Helen Qu, Sang Michael Xie

机构 * Flatiron Institute（Flatiron研究所） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models

Zhihao Chen, Tao Chen, Chenhui Wang, Qi Gao, Huidong Xie, Chuang Niu, Ge Wang, Hongming Shan

机构 * Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（脑启发智能科学与技术研究院，复旦大学） ； Department of Biomedical Engineering, Yale University（生物医学工程系，耶鲁大学） ； Biomedical Imaging Center, Center for Biotechnology and Interdisciplinary Studies, Department of Biomedical Engineering, Rensselaer Polytechnic Institute（生物医学成像中心，生物技术与跨学科研究所在生物医学工程系，罗切斯特理工学院） ； Institute of Science and Technology for Brain-inspired Intelligence, MOE Frontiers Center for Brain Science and Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence (Ministry of Education), Fudan University（脑启发智能科学与技术研究院，教育部脑科学前沿中心和计算神经科学与脑启发智能重点实验室，复旦大学） ； Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与脑启发技术中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments 11 pages, 8 figures

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； UC Berkeley（伯克利加州大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 demo track

Advancing Stroke Risk Prediction Using a Multi-modal Foundation Model

Camille Delgrange, Olga Demler, Samia Mora, Bjoern Menze, Ezequiel de la Rosa, Neda Davoudi

机构 * Signal Processing Institute EPFL University Lausanne（瑞士洛桑联邦理工学院信号处理研究所） ； Brigham and Women’s Hospital Harvard Medical School（哈佛医学院布里奇沃特医院） ； Department of Quantitative Biomedicine University of Zurich（苏黎世大学定量生物医学系） ； ETH AI Center, Department of Computer Science Department of Quantitative Biomedicine University of Zurich（苏黎世大学定量生物医学系） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI

Comments Accepted as oral paper at AIM-FM workshop, Neurips 2024

OMS: On-the-fly, Multi-Objective, Self-Reflective Ad Keyword Generation via LLM Agent

Bowen Chen, Zhao Wang, Shingo Takamatsu

机构 * Sony Group Corporation（索尼集团） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings

Rifki Afina Putri

机构 * Department of Computer Science and Electronics（计算机科学与电子系） ； Universitas Gadjah Mada（加德满都大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments AMLDS 2025

Contrasting Cognitive Styles in Vision-Language Models: Holistic Attention in Japanese Versus Analytical Focus in English

Ahmed Sabir, Azinovič Gasper, Mengsay Loem, Rajesh Sharma

机构 * University of Tartu（塔尔图大学） ； University of Ljubljana（卢布尔雅那大学） ； Sansan, Inc.（Sansan公司） ； Plaksha University（Plaksha大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs

Kanishka Misra, Kyle Mahowald

机构 * Department of Linguistics（语言学系） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments Added Corrigendum to correct 4-gram baseline performance and chance performance

An ab initio foundation model of wavefunctions that accurately describes chemical bond breaking

Adam Foster, Zeno Schätzle, P. Bernát Szabó, Lixue Cheng, Jonas Köhler, Gino Cassella, Nicholas Gao, Jiawei Li, Frank Noé, Jan Hermann

机构 * Microsoft Research AI for Science（微软研究院人工智能科学部） ； Freie Universität Berlin（柏林自由大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI

Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs

Francesco Piccoli, Gabriel Vogel, Jana M. Weber

机构 * Department of Intelligent Systems, Delft University of Technology（智能系统系，代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Language Models Grow Less Humanlike beyond Phase Transition

Tatsuya Aoyama, Ethan Wilcox

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL

Comments Accepted to ACL 2025

Statistical Learning for Heterogeneous Treatment Effects: Pretraining, Prognosis, and Prediction

Maximilian Schuessler, Erik Sverdrup, Robert Tibshirani

机构 * Department of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学） ； Department of Econometrics & Business Statistics, Monash University（计量经济学与商业统计学系，墨尔本大学） ； Departments of Biomedical Data Science and of Statistics, Stanford University（生物医学数据科学系和统计学系，斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

How much do language models memorize?

John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Google DeepMind（谷歌DeepMind） ； Cornell University（康奈尔大学） ； NVIDIA（NVIDIA 公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models

Michele Gubian, Ioana Krehan, Oli Liu, James Kirby, Sharon Goldwater

机构 * Institute for Phonetics and Speech Processing（语音处理研究所） ； School of Informatics（信息学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Intrinsic Bias is Predicted by Pretraining Data and Correlates with Downstream Performance in Vision-Language Encoders

Kshitish Ghate, Isaac Slaughter, Kyra Wilson, Mona Diab, Aylin Caliskan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI

Comments Accepted to NAACL Main, 2025

Capturing research literature attitude towards Sustainable Development Goals: an LLM-based topic modeling approach

Francesco Invernici, Francesca Curati, Jelena Jakimov, Amirhossein Samavi, Anna Bernasconi

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

Comments 27 pages, 8 figures, 5 tables

Journal ref J Big Data 12, 139 (2025)

Initial Model Incorporation for Deep Learning FWI: Pretraining or Denormalization?

Ruihua Chen, Bangyu Wu, Meng Li, Kai Yang

机构 * School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学学院） ； Department of Oil and Gas Geophysics, CNPC Research Institute of Petroleum Exploration & Development（石油勘探开发研究院油气地球物理系） ； School of Marine and Earth Science, Tongji University（同济大学海洋与地球科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Automatically Suggesting Diverse Example Sentences for L2 Japanese Learners Using Pre-Trained Language Models

Enrico Benedetti, Akiko Aizawa, Florian Boudin

机构 * National Institute of Informatics, Japan（日本信息处理研究所） ； JFLI, CNRS, Nantes University, France（JFLI、法国国家科学研究中心、法国南特大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop)