语言大模型 / LLM

Modèles de Fondation et Ajustement : Vers une Nouvelle Génération de Modèles pour la Prévision des Séries Temporelles

基础模型与调整：迈向新一代时间序列预测模型

Morad Laglil, Emilie Devijver, Eric Gaussier, Bertrand Pracca

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本文提出通过预训练后微调提升时间序列预测模型在长周期预测中的性能

Comments in French language

Who Is the Story About? Protagonist Entity Recognition in News

Jorge Gabín, M. Eduardo Ares, Javier Parapar

机构 * Linknovate Science（Linknovate科学） ； IRLab CITIC Computer Science Department University of A Coruña（IRLab CITIC计算机科学系大学） ； University of A Coruña（阿拉斯卡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

so much depends / upon / a whitespace: Why Whitespace Matters for Poets and LLMs

Sriharsh Bhyravajjula, Melanie Walsh, Anna Preus, Maria Antoniak

机构 * University of Washington（华盛顿大学） ； University of Colorado Boulder（科罗拉多大学 Boulder分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Journal ref Text2Story Workshop @ ECIR 2022, CEUR Workshop Proceedings, Vol. 3117, pp. 67-74, 2022. Available at https://ceur-ws.org/Vol-3117/paper7.pdf

GranViT: A Fine-Grained Vision Model With Autoregressive Perception For MLLMs

Guanghao Zheng, Bowen Shi, Mingxing Xu, Ruoyu Sun, Peisen Zhao, Zhibo Zhang, Wenrui Dai, Junni Zou, Hongkai Xiong, Xiaopeng Zhang, Qi Tian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Inc.（华为公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 21 pages, 6 figures

Combining Distantly Supervised Models with In Context Learning for Monolingual and Cross-Lingual Relation Extraction

Vipul Rathore, Malik Hammad Faisal, Parag Singla, Mausam

机构 * Indian Institute of Technology New Delhi（印度理工学院新德里） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Understanding LLMs' Cross-Lingual Context Retrieval: How Good It Is And Where It Comes From

Changjiang Gao, Hankun Lin, Xin Huang, Xue Han, Junlan Feng, Chao Deng, Jiajun Chen, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； China Mobile Research Beijing, China（中国移动北京研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

Multimodal machine learning with large language embedding model for polymer property prediction

Tianren Zhang, Dai-Bei Yang

机构 * Department of Materials Science and Engineering, University of Delaware, Newark, Delaware 19716, United States（材料科学与工程系，德雷克塞尔大学） ； Department of Chemistry, University of Pennsylvania, Philadelphia, Pennsylvania 19104, United States（化学系，宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Journal ref Chem. Mater. 2025, 37, 7002-7013

Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs

Lecheng Kong, Xiyuan Wang, Yixin Chen, Muhan Zhang

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments 19 pages

Uncovering the Computational Ingredients of Human-Like Representations in LLMs

Zach Studdiford, Timothy T. Rogers, Kushin Mukherjee, Siddharth Suresh

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 9 pages

Decoupled Proxy Alignment: Mitigating Language Prior Conflict for Multimodal Alignment in MLLM

Chenkun Tan, Pengyu Wang, Shaojun Zhou, Botian Jiang, Zhaowei Li, Dong Zhang, Xinghao Wang, Yaqian Zhou, Xipeng Qiu

机构 * Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments Accepted by Findings of EMNLP2025

Synthetic Data Generation for Screen Time and App Usage

Gustavo Kruger, Nikhil Sachdeva, Michael Sobolev

机构 * Universidade Lusófona（里斯本大学） ； Universitat de Barcelona（巴塞罗那大学） ； Université Paris Cité（巴黎城市大学） ； Cornell Tech（康奈尔科技） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 14 pages

Journal ref International Conference on Computer-Human Interaction Research and Applications (CHIRA) 2025

Gender-Neutral Rewriting in Italian: Models, Approaches, and Trade-offs

Andrea Piergentili, Beatrice Savoldi, Matteo Negri, Luisa Bentivogli

机构 * University of Trento（特伦托大学） ； Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学）） ； Joint Institute for Nuclear Research（联合核子研究所） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； University of Skövde（斯德哥尔摩大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted at CLiC-it 2025

Mitigating Catastrophic Forgetting in Continual Learning through Model Growth

Ege Süalp, Mina Rezaei

机构 * Department of Statistics Ludwig-Maximilian University（统计系路德维希-马克西米利安大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Can Structured Templates Facilitate LLMs in Tackling Harder Tasks? : An Exploration of Scaling Laws by Difficulty

Zhichao Yang, Zhaoxin Fan, Gen Li, Yuanze Hu, Xinyu Wang, Ye Qiu, Xin Wang, Yifan Sun, Wenjun Wu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 9 pages

InPars+: Supercharging Synthetic Data Generation for Information Retrieval Systems

Matey Krastev, Miklos Hamar, Danilo Toapanta, Jesse Brouwers, Yibin Lei

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime

Hugo Abonizio, Thales Almeida, Roberto Lotufo, Rodrigo Nogueira

机构 * Faculdade de Engenharia Elétrica e de Computação (FEEC), University of Campinas (Unicamp)（电子工程与计算学院（FEEC），坎皮纳斯大学） ； Instituto de Computação (IC), University of Campinas (Unicamp)（计算研究所（IC），坎皮纳斯大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

ATLANTIS at SemEval-2025 Task 3: Detecting Hallucinated Text Spans in Question Answering

Catherine Kobus, François Lancelot, Marion-Cécile Martin, Nawal Ould Amer

机构 * Airbus AI Research（空客人工智能研究） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Meta CLIP 2: A Worldwide Scaling Recipe

Yung-Sung Chuang, Yang Li, Dong Wang, Ching-Feng Yeh, Kehan Lyu, Ramya Raghavendra, James Glass, Lifei Huang, Jason Weston, Luke Zettlemoyer, Xinlei Chen, Zhuang Liu, Saining Xie, Wen-tau Yih, Shang-Wen Li, Hu Xu

机构 * FAIR, Meta（FAIR与Meta公司） ； MIT（麻省理工学院） ； Princeton University（普林斯顿大学） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

Comments 10 pages

DepMicroDiff: Diffusion-Based Dependency-Aware Multimodal Imputation for Microbiome Data

Rabeya Tus Sadia, Qiang Cheng

机构 * Department of Computer Science University of Kentucky（计算机科学系 哥伦比亚大学） ； Department of Computer Science, Institute for Biomedical Informatics University of Kentucky（计算机科学系 生物医学信息学研究所 哥伦比亚大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

DrugMCTS: a drug repurposing framework combining multi-agent, RAG and Monte Carlo Tree Search

Zerui Yang, Yuwei Wan, Siyu Yan, Yudai Matsuda, Tong Xie, Bram Hoex, Linqi Song

机构 * City University of Hong Kong, Hong Kong, PR China（香港城市大学） ； City University of Hong Kong Shenzhen Research Institute, Shenzhen, PR China（香港城市大学深圳研究院） ； The Hong Kong University of Science and Technology (Guangzhou), Guangzhou PR China（香港科学与技术大学（广州）） ； GreenDynamics, Sydney, NSW, Australia（GreenDynamics公司） ； University of New South Wales, Kensington, NSW, Australia（新南威尔士大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

LLMs are Also Effective Embedding Models: An In-depth Overview

Chongyang Tao, Tao Shen, Shen Gao, Junshuo Zhang, Zhen Li, Kai Hua, Wenpeng Hu, Zhengwei Tao, Shuai Ma

机构 * Beihang University（北航大学） ； SKLSDE Lab, Beihang University（北航SKLSDE实验室） ； University of Technology Sydney（悉尼大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 38 pages

Iceberg: Enhancing HLS Modeling with Synthetic Data

Zijian Ding, Tung Nguyen, Weikai Li, Aditya Grover, Yizhou Sun, Jason Cong

机构 * Computer Science Department, UCLA（UCLA计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 9 pages. accepted to ICLAD'25

When LLMs Disagree: Diagnosing Relevance Filtering Bias and Retrieval Divergence in SDG Search

William A. Ingram, Bipasha Banerjee, Edward A. Fox

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Presented at LLM4Eval Workshop, SIGIR 2025 Padova, Italy, July 17, 2025

AI-Generated Lecture Slides for Improving Slide Element Detection and Retrieval

Suyash Maniyar, Vishvesh Trivedi, Ajoy Mondal, Anand Mishra, C. V. Jawahar

机构 * Indian Institute of Technology（印度理工学院） ； Sardar Vallabhbhai National Institute of Technology（萨达尔·瓦拉巴希国家理工学院） ； CVIT, International Institute of Information Technology（信息技术国际学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 40 pages including supplementary, accepted at ICDAR 2025

Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases

Shanshan Xu, T. Y. S. S Santosh, Yanai Elazar, Quirin Vogel, Barbara Plank, Matthias Grabmair

机构 * Technical University of Munich（慕尼黑技术大学） ； Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； LMU Munich & Munich Center for Machine Learning (MCML)（慕尼黑大学及慕尼黑机器学习中心） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Document-Level Tabular Numerical Cross-Checking: A Coarse-to-Fine Approach

Chaoxu Pang, Yixuan Cao, Ganbin Zhou, Hongwei Li, Ping Luo

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所智能信息处理重点实验室） ； Beijing PAI Technology Ltd（北京PAI技术有限公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments Submitted to IEEE TKDE

One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers

Diana Abagyan, Alejandro R. Salamanca, Andres Felipe Cruz-Salinas, Kris Cao, Hangyu Lin, Acyr Locatelli, Marzieh Fadaee, Ahmet Üstün, Sara Hooker

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

Does Prompt Design Impact Quality of Data Imputation by LLMs?

Shreenidhi Srinivasan, Lydia Manikonda

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 7 pages

Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation

Vera Neplenbroek, Arianna Bisazza, Raquel Fernández

机构 * Institute for Logic, Language and Computation, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学） ； Center for Language and Cognition, University of Groningen（语言与认知中心，格罗宁根大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；preference optimization(abstract)

Comments Accepted to the Findings of ACL 2025

Comparing Moral Values in Western English-speaking societies and LLMs with Word Associations

Chaoyi Xiang, Chunhua Liu, Simon De Deyne, Lea Frermann

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； Complex Human Data Hub, The University of Melbourne（墨尔本大学复杂人类数据中心） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 9 pages,7 figures. Accepted to the ACL 2025 conference