语言大模型 / LLM

Measuring Spiritual Values and Bias of Large Language Models

Songyuan Liu, Ziyang Zhang, Runze Yan, Wei Wu, Carl Yang, Jiaying Lu

机构 * Department of Computer Science（计算机科学系） ； Center for Data Science, School of Nursing（数据科学中心、护理学院） ； Department of Religion（宗教系） ； Emory University（埃默里大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL；LLM(journal_ref)

Comments 9 pages including appendix; 5 figures; 5 tables

Journal ref in Proceedings of KDD 2025 SciSoc LLM Workshop

CausalMix: Data Mixture as Causal Inference for Language Model Training

CausalMix: 数据混合作为语言模型训练的因果推断

Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Jun Zhou, Yujun Wang, Biqing Huang

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CausalMix框架，将数据混合优化视为因果推断问题，通过条件平均处理效应估计最优混合比例，在7B模型上提升多任务性能，并具备可解释性。

Comments 22 pages, 3 figures

HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

HumanScale: 以自我为中心的人类视频在具身预训练中可超越真实机器人数据

Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, Jiankai Tu, Xiaotian Tang, Jiaxin Li, Kaiqi Chen, Duomin Wang, Yuqi Wang, Bingyi Kang, Eric Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Wojciech Matusik, Tat-Seng Chua, Daquan Zhou

机构 * PKU（北京大学） ； NUS（新加坡国立大学） ； MIT（麻省理工学院） ； UCSB（加州大学圣塔芭芭拉分校） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文通过系统比较发现，经过精心设计的过滤和标注流程，以自我为中心的人类视频在具身基础模型预训练中不仅可行，而且性能优于遥操作真实机器人数据，验证了“预训练于人类视频+少量机器人数据适配”的可扩展范式。

Comments Github: https://github.com/DAGroup-PKU/HumanNet/

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2：用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。

DOMBA: Double Model Balancing for Access-Controlled Language Models via Minimum-Bounded Aggregation

DOMBA: 通过最小有界聚合实现访问控制语言模型的双模型平衡

Tom Segal, Asaf Shabtai, Yuval Elovici

机构 * Ben-Gurion University（本·古里安大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DOMBA方法，通过最小有界平均函数聚合两个不同访问级别文档训练的语言模型的概率分布，在保证安全性的同时实现高效用。

Comments Code: https://github.com/ppo1/DOMBA 11 pages, 3 figures

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 39, pp. 25101-25109, 2025

What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents

你批准即执行：黑盒LLM代理的同意完整性

Xiaoqi Weng

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(abstract)

AI总结 针对黑盒LLM代理的批准对话框存在摘要伪造漏洞，本文引入同意完整性概念，通过可信中介确保人类看到的动作与真实执行的动作一致，并分析了该机制的局限性与权衡。

Comments Preprint. IEEE conference format. Proof-of-concept; artifact at https://github.com/zjnbwxq/agentguard-ci

Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models

LLMs更倾向于哪种英语？通过结构偏见的角度探讨基础模型中对美式英语的偏向

Mir Tafseer Nayeem, Davood Rafiei

机构 * University of Alberta（阿尔伯塔大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过分析基础模型开发各阶段的数据倾向，揭示LLMs在英语方言上的结构性偏见，发现美式英语被优先采用，引发语言同质化和全球AI部署不公的担忧。

Comments Preprint

Self-Improving Pretraining: using post-trained models to pretrain better models

自我改进预训练：利用后训练模型来预训练更好的模型

Ellen Xiaoqing Tan, Jack Lanchantin, Shehzaad Dhuliawala, Danwei Li, Thao Nguyen, Jing Xu, Ping Yu, Ilia Kulikov, Sainbayar Sukhbaatar, Jason Weston, Xian Li, Olga Golovneva

机构 * FAIR at Meta（Meta FAIR） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出一种新的预训练和中训练方法，通过利用已有的强后训练模型来重写预训练数据并判断策略模型的 rollout，从而在早期训练中引入安全、事实性、生成质量和推理能力等关键行为，提升模型整体性能。

Train Once, Answer All: Many Pretraining Experiments for the Cost of One

一次训练，全部回答：为一次训练成本进行多项预训练实验

Sebastian Bordt, Martin Pawelczyk

机构 * University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； University of Vienna（维也纳大学） ； Faculty of Computer Science（计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 通过一次训练运行同时进行多项预训练实验，有效降低计算成本并提升研究的严谨性。

Comments ICLR 2026

Counting Clues: A Lightweight Probabilistic Baseline Can Match an LLM

计数线索：一个轻量级概率基线可以匹配LLM

Furong Jia, Yuan Pu, Finn Guo, Monica Agrawal

机构 * Duke University（杜克大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出了一种轻量级概率排名器FBPR，通过共现统计信息实现与LLM相当的性能，展示了概率基线在临床诊断中的互补优势。

ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining

Seonwu Kim, Yohan Na, Kihun Kim, Hanhee Cho, Geun Lim, Mintae Kim, Seongik Park, Ki Hyun Kim, Youngsub Han, Byoung-Ki Jeon

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments Accepted at EMNLP 2025 Industry Track

Mind the Gap: A Review of Arabic Post-Training Datasets and Their Limitations

Mohammed Alkhowaiter, Norah Alshahrani, Saied Alshahrani, Reem I. Masoud, Alaa Alzahrani, Deema Alnuhait, Emad A. Alghamdi, Khalid Almubarak

机构 * Refine AI ； ASAS AI ； University of Bisha（比沙大学） ； University College London（伦敦大学学院） ； King Salman Global Academy for Arabic（萨勒曼全球阿拉伯学院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； King Abdulaziz University（阿卜杜勒阿齐兹大学） ； HUMAIN 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset

Rabeeh Karimi Mahabadi, Sanjeev Satheesh, Shrimai Prabhumoye, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

机构 * NVIDIA（英伟达） ； Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

机构 * Technion – Israel Institute of Technology（以色列技术学院） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments CoLM 2025

DiffLM: Controllable Synthetic Data Generation via Diffusion Language Models

Ying Zhou, Xinyao Wang, Yulei Niu, Yaojie Shen, Lexin Tang, Fan Chen, Ben He, Le Sun, Longyin Wen

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)

Comments 21 pages, 9 figures, Accepted by ACL 2025, Findings

CommGPT: A Graph and Retrieval-Augmented Multimodal Communication Foundation Model

Feibo Jiang, Wanyun Zhu, Li Dong, Kezhi Wang, Kun Yang, Cunhua Pan, Octavia A. Dobre

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Large Scale Transfer Learning for Tabular Data via Language Modeling

Josh Gardner, Juan C. Perdomo, Ludwig Schmidt

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；foundation model(abstract)

Comments NeurIPS 2024 camera-ready updates

Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve?

Fırat Öncel, Matthias Bethge, Beyza Ermis, Mirco Ravanelli, Cem Subakan, Çağatay Yıldız

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to EMNLP 2024 Main Conference

Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

Junhong Shen, Neil Tenenholtz, James Brian Hall, David Alvarez-Melis, Nicolo Fusi

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments ICML 2024

Physics of Language Models: Part 3.1, Knowledge Storage and Extraction

Zeyuan Allen-Zhu, Yuanzhi Li

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

Comments V2 polishes writing + fixes author name; V3 includes additional Llama experiments and writing improvements

A decoder-only foundation model for time-series forecasting

Abhimanyu Das, Weihao Kong, Rajat Sen, Yichen Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

CodecLM: Aligning Language Models with Tailored Synthetic Data

Zifeng Wang, Chun-Liang Li, Vincent Perot, Long T. Le, Jin Miao, Zizhao Zhang, Chen-Yu Lee, Tomas Pfister

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；instruction tuning(abstract)

Comments Accepted to Findings of NAACL 2024

Knowledge Graph Prompting for Multi-Document Question Answering

Yu Wang, Nedim Lipka, Ryan A. Rossi, Alexa Siu, Ruiyi Zhang, Tyler Derr

专题命中 预训练与数据 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models

Yi-Cheng Lin, Wei-Chih Chen, Hung-yi Lee

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Journal ref 2024 IEEE Spoken Language Technology Workshop (SLT), Macao, 2024, pp. 871-878

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

测量语言模型预训练中与任务无关的训练数据影响

Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda, Takashi Kodama, Chaoran Liu, Daisuke Kawahara, Yusuke Miyao, Max Müller-Eberstein, Masaru Isonuma

机构 * Nara Institute of Science and Technology（奈良科学技术研究所） ； Waseda University（早稻田大学） ； The University of Tokyo（东京大学） ； IT University of Copenhagen（哥本哈根信息技术大学） ； Tohoku University（东北大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 本文提出无需依赖下游任务或验证集的训练数据影响度量方法，经实验发现预训练中有影响力的数据存在时间变化，早期文献相关数据、后期STEM数据与最终参数轨迹的一致性更强。

Comments Accepted to COLM 2026

CASA: Content-Acoustic Speaking Assessment with Speech Encoder and Large Language Model

CASA：结合语音编码器与大语言模型的内容-语音口语评估

Nhan Phan, Ilona Lähteenmäki, Anna von Zansen, Olli-Pekka Pauna, Yaroslav Getman, Tamás Grósz, Mikko Kurimo

机构 * Aalto University（阿尔托大学） ； University of Helsinki（赫尔辛基大学） ； Walton Institute（沃尔顿研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究提出结合Whisper-medium与Qwen3.5-2B的CASA架构，在Speak & Improve Corpus 2025上RMSE达0.358，参数量减半，可分离语音表达与内容，还分析了声学与内容信息的贡献及性能稳定性。

Comments To be submitted to ICASSP 2027. Code is available at https://github.com/aalto-speech/casa

PROVE-RT: Generating Mechanized Theorem Prover Scripts for Real-Time Systems using LLMs

PROVE-RT：使用大语言模型为实时系统生成机械化定理证明器脚本

Sadat Shahriyar, Shareef Ahmed, Abdullah Al Arafat

机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 PROVE-RT是一种LLM辅助框架，通过依赖感知草图、PROSA文档检索等步骤生成PROSA/ROCQ脚本，在1191篇实时系统论文构建的语料库上，其机械化可调度性分析的成功率达44.7%，优于直接提示的LLM。

Decodable But Not Detachable: Training Data Granularity Determines Parametric Modularity in Large Language Models

可解码但不可分离：训练数据粒度决定大语言模型的参数模块化

Marcus Armstrong, Navid Ayoobi, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 该研究探讨大语言模型是否存在特定领域参数壳，通过多模型、多领域实验发现训练数据的标记级模块化是参数壳形成的关键，为大语言模型的参数模块化研究提供了核心结论。

Reducing Pretraining-Generation Mismatch in Diffusion Language Models

减少扩散语言模型中的预训练-生成不匹配

Xiaocheng Lu, Huabin Liu, Song Guo, Jianguo Li

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 该研究针对扩散语言模型的预训练-生成不匹配问题，提出 PCD 方法，在不改变推理模式的情况下，在 LLaDA2-Mini 和 Qwen 模型上显著提升了性能。

Comments 12 pages, 9 figures, 1 table

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。