语言大模型 / LLM

Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

Common Corpus: 最大的伦理数据集用于LLM预训练

Pierre-Carl Langlais, Pavel Chizhov, Catherine Arnett, Carlos Rosas Hinostroza, Mattia Nee, Eliot Krzystof Jones, Irène Girard, David Mach, Anastasia Stasenko, Ivan P. Yamshchikov

机构 * PleIAs 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文介绍了Common Corpus，一个最大的开放数据集，用于LLM预训练，该数据集包含大量非受版权或开放许可的数据，涵盖了多种语言和领域，为多语言预训练提供了支持。

Journal ref ICLR 2026 (Oral)

Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information

超越多数投票：利用高阶信息进行LLM聚合

Rui Ai, Yuqi Pan, David Simchi-Levi, Milind Tambe, Haifeng Xu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； School of Engineering and Applied Sciences（工程与应用科学学院） ； Harvard University（哈佛大学） ； Data Science, The University of Chicago（数据科学，芝加哥大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Optimal Weight和Inverse Surprising Popularity两种算法，通过结合一阶和二阶信息，有效缓解多数投票的局限性，提升多智能体LLM聚合的可靠性。

Comments Accepted into ICML 2026

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

ScheduleFree+: 将学习率自由和调度自由学习扩展到大型语言模型

Aaron Defazio

机构 * FAIR at Meta Super-Intelligence Labs（Meta 超智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文提出了一种学习率自由和调度自由的学习方法（ScheduleFree+），用于训练大型语言模型，该方法在大规模训练中显著优于传统的Warmup-Stable-Decay（WSD）调度方案，并证明了调度自由学习在长周期训练中的有效性。

SLoW: Select Low-frequency Words! Automatic Dictionary Selection for Translation on Large Language Models

SLoW: 选择低频词！大型语言模型翻译上的自动词典选择

Hongyuan Lu, Zixuan Li, Zefan Zhang, Wai Lam

机构 * The Chinese University of Hong Kong（香港中文大学） ； Southeast University（东南大学） ； FaceMind Corporation（FaceMind公司） ； College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出了一种名为自动词典选择（ADS）的新任务，通过SLoW方法选择低频词典以提升翻译性能，无需访问训练数据，且在100种语言上显著节省token消耗并提升翻译效果。

Comments EMNLP 2025 Main

Disentangling generalization and memorization in large language models using chess

通过国际象棋解构大型语言模型中的泛化与记忆

Leonard S. Pleiss, Maximilian Schiffer, Robert K. von Weizsaecker

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过国际象棋测试环境，研究大型语言模型中泛化与记忆能力的区别，发现模型在相关先验知识稀疏时性能显著下降，表明系统泛化能力有限，需超越规模的机制来实现鲁棒性。

Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews

大规模监控AI修改内容：ChatGPT对AI会议同行评审影响的案例研究

Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A. McFarland, James Y. Zou

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； Machine Learning Department, NEC Labs America（NEC美国实验室机器学习部门） ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） ； Graduate School of Education, Stanford University（斯坦福大学教育研究生院） ； Department of Sociology, Stanford University（斯坦福大学社会学系） ； Graduate School of Business, Stanford University（斯坦福大学商学院） ； Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系） ； Department of Computer Science, UC Santa Barbara（加州大学圣芭芭拉分校计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种方法，用于估计大规模语料库中可能被大语言模型（LLM）显著修改或生成的文本比例。通过专家撰写和AI生成的参考文本，该最大似然模型能够高效地在语料库层面考察实际的LLM使用情况。研究以ChatGPT发布后举行的AI会议同行评审（ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023）为案例，发现6.5%至16.9%的提交文本可能被LLM显著修改。生成文本的情境揭示了用户行为：在信心较低、接近截止日期或回复作者反驳较少的评审中，估计的LLM生成文本比例更高。此外，观察到语料库层面的趋势可能过于微妙，无法在个体层面检测到，并讨论了这些趋势对同行评审的影响。呼吁未来跨学科研究探讨LLM使用如何改变我们的信息和知识实践。

Comments 46 pages, 31 figures, ICML '24

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

重新思考Muon超越预训练：VLA和RLVR中的频谱失败及高频修复

Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

机构 * Michigan State University（密歇根州立大学） ； Cisco（思科） ； University of Minnesota（明尼苏达大学） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了Muon优化器在预训练之外的局限性，提出Pion通过高频NS迭代机制改进VLA和RLVR任务的性能。

CAPC-CG: A Large-Scale, Expert-Directed LLM-Annotated Corpus of Adaptive Policy Communication in China

CAPC-CG：一个大规模、专家指导的中国适应性政策沟通LLM注释语料库

Bolun Sun, Charles Chang, Yuen Yuen Ang, Ruotong Mu, Yuchen Xu, Zhengxin Zhang, Pingxu Hao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Northwestern University（西北大学） ； Duke Kunshan University（杜克-昆山大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文介绍了CAPC-CG语料库，该语料库是首个开放的中国政策指令注释语料库，基于Ang的适应性政策沟通理论，采用五色分类法对清晰和模糊语言类别进行标注，旨在支持下游任务和多语言NLP研究。

Comments Accepted for publication in the Proceedings of ACL Main 2026

Are Rationales Necessary and Sufficient? Tuning LLMs for Explainable Misinformation Detection

理性是否必要且充分？为可解释的虚假信息检测调优大语言模型

Bing Wang, Rui Miao, Ximing Li, Chen Shen, Shaotian Yan, Changchun Li, Kaiyuan Liu, Xiaosong Yuan, Jieping Ye

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了如何通过调优大语言模型（LLM）来提升可解释性虚假信息检测的性能，提出了一种新的数据合成管道LONSREX，用于定位必要且充分的理性，以解决现有方法中因粗粒度标签和过度验证行为导致的理性不足和冗余问题。

Comments Accepted by KDD 2026. 12 pages, 8 figures. Code: https://github.com/wangbing1416/LONSREX

Language models struggle with compartmentalization

语言模型在 compartmentalization 方面遇到困难

Thomas Vincent Howe, David Wingate

机构 * Department of Computer Science（计算机科学系） ； Brigham Young University 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨了大型语言模型在处理统一概念的不同表达方式时的 compartmentalization 问题，发现模型在不同表达方式之间无法有效共享统计信息，导致模型容量浪费和样本效率降低。

Comments 9 pages, 8 figures, plus 9 pages of appendices. Submitted to NeurIPS 2026. Code: https://github.com/vinhowe/compartmentalization. Eval data: https://doi.org/10.5281/zenodo.20171021

Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

塑造先验：合成任务分布如何决定表格基础模型的质量

Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了合成任务分布对表格基础模型质量的影响，提出O'Prior方法，通过四个耦合组件构建更真实的先验，提升了下游任务的准确性和鲁棒性。

MAM-CLIP: Vision-Language Pretraining on Mammography Atlases for BI-RADS Classification

MAM-CLIP：基于乳腺X线图集的视觉-语言预训练用于BI-RADS分类

Halil Ibrahim Gulluk, Olivier Gevaert

机构 * Department of Electrical Engineering（电气工程系） ； Biomedical Informatics Research (BMIR)（生物医学信息学研究（BMIR）） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出MAM-CLIP模型，通过预训练PubMedBERT和对比学习来提升乳腺X线图像的BI-RADS分类性能，实验表明在标注样本稀缺时，该方法能显著提高F1分数。

SPA-MAE: A Physics-Guided CSI Foundation Model for Wireless Physical Layer

SPA-MAE：一种基于物理的CSI基础模型用于无线物理层

Chen Chen, Weijie Jin, Hengtao He, Xiaoheng Sun, Shi Jin

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出了一种基于物理的CSI基础模型SPA-MAE，通过结合适应性的MAE骨干网络和通道知识，提升了无线物理层任务的泛化能力，实验表明其在参数较少的情况下，在低SNR和有限数据条件下表现更优。

Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study

预训练目标在极低数据细粒度视觉分类中的影响：一个骨干网络控制研究

Alexander Hackett, Srikanth Thudumu, Ginny Fisher, Jason Fisher

机构 * Santa Clara University（圣克拉拉大学） ； IAAIR 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文研究了在极低数据细粒度视觉分类中预训练目标对下游表示质量的影响，通过比较四种冻结的ViT-B/16编码器，得出了在数据稀缺时优先选择边界增强预训练目标的结论。

Comments Presented at the 13th Workshop on Fine-Grained Visual Categorization (FGVC13) at CVPR 2026

Journal ref 13th Workshop on Fine-Grained Visual Categorization (FGVC13), CVPR 2026

LLM-Based Financial Sentiment Analysis in Arabic: Evidence from Saudi Markets

基于大型语言模型的阿拉伯语金融情绪分析：来自沙特市场的证据

Mona H. Albaqawi, Eman M. Albalkhi, Joud A. Albaiti, Enrico Lopedoto

机构 * George Mason University（乔治·马歇尔大学） ； Damascus University（大马士革大学） ； University of Jeddah（朱德赫大学） ； City, St George's, University of London（伦敦城市大学） 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL

AI总结 本文提出了一种针对沙特市场的阿拉伯语NLP框架，用于大规模金融情绪分析，结合官方财务新闻和社会媒体数据，通过多阶段流程构建阿拉伯语财务语料库，并利用Transformer-based NER和定制公司词典进行情绪标注，最终实现了对公司层面的情绪聚合和情绪动态分析。

Comments Accepted at the 7th Workshop on Open-Source Arabic Corpora and Processing Tools (OSACT7), co-located with LREC 2026, Palma de Mallorca, Spain, May 2026. ISBN: 978-2-493814-52-4

M3DocDep: Multi-modal, Multi-page, Multi-document Dependency Chunking with Large Vision-Language Models

M3DocDep: 多模态、多页、多文档依赖分块方法基于大视觉-语言模型

Joongmin Shin, Jeongbae Park, Jaehyung Seo, Heuiseok Lim

机构 * Human-inspired AI Research, Korea University（韩国大学人智AI研究所） ； Computer Science and Engineering, Konkuk University（konkuk大学计算机科学与工程系） ； Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.AI

AI总结 本文提出M3DocDep，一种基于大视觉-语言模型的多模态、多页、多文档依赖分块方法，通过恢复块级依赖并构建分块，提高了长多页多模态文档的检索和问答质量。

Comments Accepted to CVPR2026 Main

A Bitter Lesson for Data Filtering

数据过滤的惨痛教训

Christopher Mohri, John Duchi, Tatsunori Hashimoto

机构 * Department of Computer Science（计算机科学系） ； Departments of Statistics and Electrical Engineering（统计学与电气工程系） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大规模模型预训练中的数据过滤，发现即使有足够的计算资源，过滤数据也不是最佳选择，因为充分训练的大型模型能够容忍低质量数据甚至从中受益。

m3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional Encoder

m3BERT: 一种现代的、多语言的、俄罗斯套娃双向编码器

Yaoxiang Wang, Simiao Zuo, Qingguo Hu, Yucheng Ding, Yeyun Gong, Jian Jiao, Jinsong Su

机构 * Xiamen University（厦门大学） ； Microsoft（微软公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本文提出m3BERT，一种现代多语言俄罗斯套娃双向编码器，通过联合优化Transformer层和多维嵌入表示，解决现有预训练模型在不同部署场景中适应性差的问题，展示了其在工业检索中的高效性和实用性。

Comments KDD 2026

Learning ORDER-Aware Multimodal Representations for Composite Materials Design

学习有序的多模态表示以进行复合材料设计

Xinyao Li, Hangwei Qian, Jingjing Li, Lei Zhu, Ivor Tsang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tongji University（同济大学） ； A*STAR CFAR（新加坡A*STAR CFAR） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究提出了一种基于有序性的多模态预训练框架ORDER，用于复合材料设计，通过整合异构数据源来捕捉纤维分布，从而在连续设计空间中实现有效的属性预测和微结构生成。

DynaSTy: A Framework for SpatioTemporal Node Attribute Prediction in Dynamic Graphs

DynaSTy: 一个用于动态图中时空节点属性预测的框架

Namrata Banerji, Tanya Berger-Wolf

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种端到端的动态边偏置时空模型，用于预测动态图中节点属性的多步未来值，通过引入可适应的注意力偏置和预训练目标，提高了长期预测的准确性。

Rapid patient-specific neural networks for intraoperative X-ray to volume registration

快速的患者特异性神经网络用于术中X射线到体积的配准

Vivek Gopalakrishnan, David-Dimitris Chlorogiannis, Andrew Abumoussa, Anna M. Larson, Nazim Haouchine, Darren B. Orbach, Sarah Frisken, Neel Dey, Polina Golland

机构 * Harvard-MIT Health Sciences and Technology, Massachusetts Institute of Technology（哈佛-麻省理工健康科学与技术, 麻省理工学院） ； Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（计算机科学与人工智能实验室, 麻省理工学院） ； Department of Radiology, Harvard Medical School（哈佛医学院放射科） ； Saint Luke’s Marion Bloch Neuroscience Institute（圣路易斯马里恩布洛克神经科学研究所） ； Department of Critical Care Medicine, Shriners Children’s Hospital（谢尔曼儿童医院重症医学科） ； Department of Interventional Neuroradiology, Boston Children’s Hospital（波士顿儿童医院介入神经放射科） ； Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital（阿提努拉A·马丁诺斯生物医学成像中心, 麻省总医院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出了一种自监督框架xvr，结合患者特异性神经网络和梯度优化，实现了快速且准确的2D到3D配准，通过物理模拟生成训练数据，无需手动标注，提升了临床和研究社区的广泛应用能力。