语言大模型 / LLM

Rethinking Text-based Protein Understanding: Retrieval or LLM?

Juntong Wu, Zijing Liu, He Cao, Hao Li, Bin Feng, Zishan Shu, Ke Yu, Li Yuan, Yu Li

机构 * Peking University, Shenzhen Graduate School（北京大学深圳研究生院） ； International Digital Economy Academy (IDEA)（国际数字经济学院） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments Accepted by Empirical Methods in Natural Language Processing 2025 (EMNLP 2025) Main Conference

AI Brown and AI Koditex: LLM-Generated Corpora Comparable to Traditional Corpora of English and Czech Texts

Jiří Milička, Anna Marklová, Václav Cvrček

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Understanding LLM Behaviors via Compression: Data Generation, Knowledge Acquisition and Scaling Laws

Zhixuan Pan, Shaowen Wang, Jian Li

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

CBraMod: A Criss-Cross Brain Foundation Model for EEG Decoding

Jiquan Wang, Sha Zhao, Zhiling Luo, Yangxuan Zhou, Haiteng Jiang, Shijian Li, Tao Li, Gang Pan

机构 * State Key Laboratory of Brain-machine Intelligence（脑机智能国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； Alibaba Group（阿里巴巴集团） ； Department of Neurobiology, Affiliated Mental Health Center & Hangzhou Seventh People’s Hospital, Zhejiang University School of Medicine（神经生物学系、附属心理健康中心及杭州第七人民医院，浙江大学医学院） ； MOE Frontier Science Center for Brain Science and Brain-machine Integration（教育部脑科学与脑机集成前沿科学中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by The Thirteenth International Conference on Learning Representations (ICLR 2025)

A Technical Exploration of Causal Inference with Hybrid LLM Synthetic Data

Dana Kim, Yichen Xu, Tiffany Lin

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 9 pages, 4 figures

TabSTAR: A Tabular Foundation Model for Tabular Data with Text Fields

Alan Arazi, Eilam Shapira, Roi Reichart

机构 * Technion - IIT（技术学院-理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments Accepted to NeurIPS 2025

Entity-Augmented Neuroscience Knowledge Retrieval Using Ontology and Semantic Understanding Capability of LLM

Pralaypati Ta, Sriram Venkatesaperumal, Keerthi Ram, Mohanasankar Sivaprakasam

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation

Tianyi Zhang, Florian Mai, Lucie Flek

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Language Models as Semantic Augmenters for Sequential Recommenders

Mahsa Valizadeh, Xiangjue Dong, Rui Tuo, James Caverlee

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Scaling Law in LLM Simulated Personality: More Detailed and Realistic Persona Profile Is All You Need

Yuqi Bai, Tianyu Huang, Kun Sun, Yuting Chen

机构 * Department of Computer ； Information Engineering, Hebei Petroleum University of Technology, Chengde, China (e-mail ； School of Computer Science \& Technology, Beijing Institute of Technology, Beijing, China (e-mail 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Pragyaan: Designing and Curating High-Quality Cultural Post-Training Datasets for Indian Languages

Neel Prabhanjan Rachamalla, Aravind Konakalla, Gautam Rajeev, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal

机构 * Krutrim AI 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

Enhancing Transformer-Based Rerankers with Synthetic Data and LLM-Based Supervision

Dimitar Peshevski, Kiril Blazhevski, Martin Popovski, Gjorgji Madjarov

机构 * Faculty of Computer Science and Engineering（计算机科学与工程学院） ； Machine Learning Department（机器学习系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by RANLP 2025

Beyond Repetition: Text Simplification and Curriculum Learning for Data-Constrained Pretraining

Matthew Theodore Roque, Dan John Velasco

机构 * Samsung R&D Institute Philippines（三星菲律宾研发中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments To be published in BabyLM Workshop at EMNLP 2025

CHRONOBERG: Capturing Language Evolution and Temporal Awareness in Foundation Models

Niharika Hegde, Subarnaduti Paul, Lars Joel-Frey, Manuel Brack, Kristian Kersting, Martin Mundt, Patrick Schramowski

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Department of Computer Science and Mathematics, University of Bremen（不莱梅大学计算机科学与数学系） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） ； Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系） ； Centre for Cognitive Science, TU Darmstadt（图宾根大学认知科学中心） ； CERTAIN 纠错

专题命中 预训练与数据 ：foundation model(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

Verification Limits Code LLM Training

Srishti Gureja, Elena Tommasone, Jingyi He, Sara Hooker, Matthias Gallé, Marzieh Fadaee

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Machine-generated text detection prevents language model collapse

George Drayson, Emine Yilmaz, Vasileios Lampos

机构 * Centre for Artificial Intelligence（人工智能中心） ； Department of Computer Science（计算机科学系） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.LG

MountainLion: A Multi-Modal LLM-Based Agent System for Interpretable and Adaptive Financial Trading

Siyi Wu, Junqiao Wang, Zhaoyang Guan, Leyi Zhao, Xinyuan Song, Xinyu Ying, Dexu Yu, Jinhao Wang, Hanlin Zhang, Michele Pak, Yangfan He, Yi Xin, Jianhui Wang, Tianyu Shi

机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Sichuan University（四川大学） ； Northwestern University（西北大学） ； Indiana University（印第安纳大学） ； Emory University（埃默里大学） ； Nankai University（南开大学） ； MountainLion Research（MountainLion研究机构） ； Xi’an University of Electronic Science and Technology（西安电子科技大学） ； Kyoto University（京都大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanjing university（南京大学） ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Subjective Behaviors and Preferences in LLM: Language of Browsing

Sai Sundaresan, Harshita Chopra, Atanu R. Sinha, Koustava Goswami, Nagasai Saketh Naidu, Raghav Karan, N Anushka

机构 * Adobe Research（Adobe研究院） ； University of Washington, Seattle（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at EMNLP 2025

Not All Features Deserve Attention: Graph-Guided Dependency Learning for Tabular Data Generation with Language Models

Zheyu Zhang, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to EMNLP 2025 (Findings)

TAGAL: Tabular Data Generation using Agentic LLM Methods

Benoît Ronval, Pierre Dupont, Siegfried Nijssen

机构 * UCLouvain（乌尔特里大学） ； ICTEAM（信息与团队研究所） ； KU Leuven（根特大学） ； DTAI（数据与人工智能研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

机构 * Shanghai Institute of Artificial Intelligence for Education（上海人工智能教育研究院） ； East China Normal University（华东师范大学） ； School of Data Science, Fudan University（复旦大学数据科学学院） ； College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Alibaba（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments The initial versin was made in August 2024

Event-Aware Sentiment Factors from LLM-Augmented Financial Tweets: A Transparent Framework for Interpretable Quant Trading

Yueyi Wang, Qiyao Wei

机构 * Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系） ； Department of Applied Mathematics and Theoretical Physics, University of Cambridge, Cambridge, UK（剑桥大学应用数学与理论物理系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 16 pages, 12 figures, accepted at ICML 2025 New in ML Workshop

Topic Over Source: The Key to Effective Data Mixing for Language Models Pre-training

Jiahui Peng, Xinlin Zhuang, Jiantao Qiu, Ren Ma, Jing Yu, He Zhu, Conghui He

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage

Yuzhou Nie, Zhun Wang, Ye Yu, Xian Wu, Xuandong Zhao, Wenbo Guo, Dawn Song

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by COLM 2025

Kronos: A Foundation Model for the Language of Financial Markets

Yu Shi, Zongliang Fu, Shuo Chen, Bohan Zhao, Wei Xu, Changshui Zhang, Jian Li

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Robust Data Watermarking in Language Models by Injecting Fictitious Knowledge

Xinyue Cui, Johnny Tian-Zheng Wei, Swabha Swayamdipta, Robin Jia

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ACL 2025 Findings

GRR-CoCa: Leveraging LLM Mechanisms in Multimodal Model Architectures

Jake R. Patock, Nicole Catherine Lewis, Kevin McCoy, Christina Gomez, Canling Chen, Lorenzo Luzi

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 12 pages, 2 figures

SynthCTI: LLM-Driven Synthetic CTI Generation to enhance MITRE Technique Mapping

Álvaro Ruiz-Ródenas, Jaime Pujante Sáez, Daniel García-Algora, Mario Rodríguez Béjar, Jorge Blasco, José Luis Hernández-Ramos

机构 * Department of Information and Communication Engineering, Universidad de Murcia（信息与通信工程系，穆尔西亚大学） ； Department of Computer Systems, Universidad Politécnica de Madrid（计算机系统系，马德里理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 17 pages, 13 figures

LLM Data Selection and Utilization via Dynamic Bi-level Optimization

Yang Yu, Kai Han, Hang Zhou, Yehui Tang, Kaiqi Huang, Yunhe Wang, Dacheng Tao

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments The 42nd International Conference on Machine Learning (ICML 2025)

Two-Stage Pretraining for Molecular Property Prediction in the Wild

Kevin Tirta Wijaya, Minghao Guo, Michael Sun, Hans-Peter Seidel, Wojciech Matusik, Vahid Babaei

机构 * Max Planck Institute for Informatics（马克斯·普朗克研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG