语言大模型 / LLM

A Unified Framework for In-Context Learning with Causal and Masked Language Models

一种用于上下文学习的因果和掩码语言模型统一框架

Chenrui Liu, Chuanlong Xie, Falong Tan, Yicheng Zeng, Lixing Zhu

机构 * Beijing Normal University at Zhuhai（北京师范大学珠海分校） ； Hunan University（湖南大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究上下文学习，提出统计学习框架，将自回归和掩码预训练目标置于共同风险分析中，在特定条件下得出推理时MASK和自回归目标的同阶上界等成果，做了实验验证。

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

Prototype Language Models

原型语言模型

Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

机构 * Harvard University（哈佛大学） ； Guide Labs Inc.（Guide Labs公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出原型语言模型架构PRISM，通过稀疏非负原型混合进行预测，在保持下游精度的同时实现快速训练数据归因和可解释性。

Scaling limit of the Random Language Model

随机语言模型的标度极限

Eric De Giuli

机构 * Department of Physics, Toronto Metropolitan University（物理系，多伦多 Metropolitan 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究随机语言模型在隐藏符号数趋于无穷、语法温度趋于零的标度极限下的相变行为，发现规则使用在临界值x_c=1/8处发生凝聚转变，并推导出熵等可观测量的标度律。

Comments 17 pages + 14 pages SI

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

moBERTo: 通过ModernBERT的持续预训练实现的现代葡萄牙语编码器

Thiago Laitz, Thales Sales Almeida, João Guilherme Alves Santos, Giovana Kerche Bonás

机构 * UNICAMP（坎皮纳斯州立大学） ； Tropic AI ； Maritaca AI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出moBERTo，通过对ModernBERT-base在600亿token上持续预训练得到葡萄牙语编码器，在检索、分类、NER和NLU任务上表现优异，并揭示了持续预训练优于从头训练、分词器适配和长上下文后训练的影响。

Atomistic Language Models Understand and Generate Materials

原子语言模型理解与生成材料

Sathya Edamadaka, Krithik Ramesh, Ju Li, Rafael Gómez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Lyra Labs ； Lila Sciences 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 提出原子语言模型（ALMs），通过连续投影和分阶段训练统一原子编码器、大语言模型和去噪扩散模型，实现从自然语言生成和优化晶体结构，在晶体结构预测和从头生成上达到最优。

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip 技术报告：对齐解锁机器人操作基础模型的规模

Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

机构 * Qwen Team（Qwen团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出 Qwen-RobotManip，通过统一的对齐框架（表示、运动和行为维度）实现多源异构操作数据的大规模协同训练，构建约38,100小时预训练语料，在零样本指令跟随、跨本体迁移等泛化能力上超越先前模型。

Comments 44 pages

EyeMVP: OCT-Informed Fundus Representation Learning via Paired CFP--OCT Pretraining

EyeMVP: 通过配对CFP-OCT预训练实现OCT启发的眼底表征学习

Zhuo Deng, Ruiheng Zhang, Ziheng Zhang, Weihao Gao, Yitong Li, Qian Wang, Lei Shao, Jiaoyue Dong, Zhixi Zeng, Lijian Fang, Haibo Wang, Xiaobin Lin, Tao Liu, Zhicheng Du, Zhengwei Zhang, Lin Yang, Zheng Gong, Xinyu Zhao, Zhenquan Wu, Fang Li, Zhiguang Zhou, Guoming Zhang, Sun Jing, Han Lv, Wenbin We, Lan Ma

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beijing Tongren Eye Center, Beijing Tongren Hospital, Capital Medical University（首都医科大学附属北京同仁医院北京同仁眼科中心） ； Liangxiang Hospital of Beijing Fangshan District, Capital Medical University（首都医科大学北京市房山区良乡医院） ； The Third People's Hospital of Dalian（大连市第三人民医院） ； National Clinical Research Center for Endocrine and Metabolic Diseases, The Second Xiangya Hospital of Central South University（中南大学湘雅二医院国家内分泌代谢病临床医学研究中心） ； The Central Hospital of Baoji City（宝鸡市中心医院） ； Wuxi No.2 People's Hospital, Affiliated Wuxi Clinical College of Nantong University（南通大学附属无锡临床学院无锡市第二人民医院） ； Shenzhen Eye Hospital, Southern Medical University（南方医科大学深圳眼科医院） ； Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出跨模态视网膜基础模型EyeMVP，利用配对CFP-OCT预训练，通过跨模态掩码重建将OCT结构信息注入CFP表征，在16项下游任务中优于现有模型，尤其对黄斑疾病诊断有显著提升。

GeoRoPE: Ground-Aware Rotary Adaptation for Remote Sensing Foundation Models

GeoRoPE: 面向遥感基础模型的地面感知旋转适配

Yu Luo, Kun Hu, Mengwei He, Xiaogang Zhu, Shan Zeng, Allen Benter, Wei Xiang, Patrick Filippi, Thomas Francis Bishop, Zhiyong Wang

机构 * The University of Sydney（悉尼大学） ； Edith Cowan University（埃迪斯科文大学） ； Adelaide University（阿德莱德大学） ； Wuhan Polytechnic University（武汉轻工大学） ； Climate, Orange Agricultural Institute（气候研究所，奥兰治农业研究所） ； La Trobe University（拉筹伯大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出GeoRoPE方法，通过地理坐标校准和频率校准解决遥感基础模型中的尺度失配问题，提升跨分辨率鲁棒性和尺度敏感表征学习。

Towards Graph Foundation Models for Dynamics in Complex Networked Systems: Lessons from Super-Spreader Identification in Multilayer Networks

面向复杂网络系统中动力学的图基础模型：来自多层网络超级传播者识别的教训

Michał Czuba, Mateusz Stolarski, Adam Piróg, Piotr Bielak, Piotr Bródka

机构 * Department of Artificial Intelligence, Wroc{\l}aw University of Science and Technology, Wroc{\l}aw, Poland（人工智能系，沃斯拉夫科技大学，沃斯拉夫，波兰） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出图基础模型在动力学中需具备归纳跨网络泛化能力，通过仅基于合成多层网络训练的ts-net模型，在真实多层网络上实现零样本泛化，并优于传统方法。

GNSS-FM: A Self-Supervised Foundation Model for Daily GNSS Displacement Time Series

GNSS-FM：用于日常GNSS位移时间序列的自监督基础模型

Nick Teutschmann, Laura Crocetti, Fanny Lehmann, Leonardo Trentini, Benedikt Soja

机构 * Institute of Geodesy and Photogrammetry, ETH Zurich（大地测量与摄影测量研究所，苏黎世联邦理工学院） ； ETH AI Center（ETH人工智能中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出GNSS-FM自监督基础模型，通过双流输入和掩码潜在预测预训练，在位移预测和地震阶跃定位任务上优于强基线。

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

GRASP：面向可扩展预训练数据归因的几何感知残差对齐

Yue Min, Ruining Chen, Yujun Li

机构 * Wizard Quant ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出GRASP方法，通过二次几何惩罚建模子集交互，结合低维特征草图与有限置信度选择协议，实现可扩展的预训练数据归因，显著提升反事实子集保真度并降低计算成本。

Small Experiments, Cheaper Decisions: A Case Study in Staged Promotion for Micro-Pretraining

小实验，更经济的决策：微预训练中分阶段提升的案例研究

Felipe Chavarro Polania

机构 * Hewlett Packard Enterprise（慧与科技公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究微预训练中分阶段提升协议，通过固定预算筛选配置，在Windows A100和Linux L40S上验证，发现早期排名不稳定，但最终协议以144 GPU小时找到最优配置，成本低于全量筛选。

Comments 14 pages, 5 figures; 12-hour dual-host micro-pretraining promotion study; source package includes curated ancillary artifacts

Multimodal Item Parameter Estimation using Simulated Response Probabilitie

基于模拟响应概率的多模态题目参数估计

Christopher Ormerod, YoungKoung Kim

机构 * College Board（大学理事会） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究基于Qwen3.5微调多模态大语言模型，利用含图像与文本的多项选择题训练语料，通过学习学生能力相关的选择概率，实现了题目参数的准确估计。

Comments Submitted and Accepted for AIME-Con 2026

Natural Language Processing Psychometrics

自然语言处理心理测量学

Edoardo Sebastiano De Duro, Emma Franchino, Massimo Stella

机构 * University of Trento（特伦托大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究将文本心理预测视为心理测量问题，用9种LLM角色完成问卷，结合多特征构建RF模型，解释了SWLS等的方差，还能区分角色、分类临床与对照参与者，明确了NLP心理测量的区分方法。

FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact

FACTWASH：捕捉将传闻洗成事实的AI改写

Alex Kwon

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出开源工具factwash，用于捕捉AI将传闻洗成事实的改写，明确否定线索检测F1达0.91，LLM见证者可提升线索检测召回率，在mem0 2.0.7上标记8个模糊传闻写入中的5个。

Comments 15 pages, 3 figures. Code and data: https://github.com/collapseindex/factwash

ScalableRAG: High-Quality RAG at Zero Ingestion Cost

ScalableRAG：零摄入成本下的高质量检索增强生成

Hilaf Hasson, Aditya Chakravarty, Jayant Thomas, Krishna Gogineni

机构 * Cohesity（科赫思） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出零摄入成本的ScalableRAG及有限摄入的改进版本，通过维护工作区实现即时聚合推理，在六个语料库测试中表现出色，平均准确率大幅超越基线，还通过固定LLM调用次数等进一步提升大规模时的准确率。

Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach

智能体技能中的跨层错位检测：一种渐进式加载感知对比学习方法

Chengjun Zhang, Yang Gao, Jianna Hur, Jingjing Zhang, Sagar Samtani

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究智能体技能跨层错位问题，提出渐进式加载感知分层对比学习框架PL-HCL，通过建模技能分层结构和学习跨层一致性来检测错位，使用相关语料库与挑战集，提升宏F1指标，为用户和运营商提供筛选工具与设计原则。

Comments 10 pages, 5 pages supplemental. Accepted at the KDD 2026 Workshop on Evaluation and Trustworthiness of Agentic AI

Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

梯度平滑：耦合逐层更新以改进优化

Haoming Meng, Anton Sugolov, Vardan Papyan

机构 * Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出深度梯度增强框架，通过窗口平滑算子沿深度方向变换优化器更新，在不改变模型架构或训练目标下提升多种架构和任务的优化与泛化性能。

Comments Published in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

更新的几何：词汇规模下的Fisher对齐

John Sweeney

机构 * Sideplane AI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 针对共享词汇的LLM家族，提出FisherSketch方法，通过核均值嵌入的余弦相似度估计Fisher对齐，实现词汇规模下的高效源选择，并揭示激活、误差及耦合因素。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), PMLR 306. 64 pages total (main paper plus appendix), 4 figures, 29 tables

State-Grounded Multi-Agent Synthetic Data Generation for Tool-Augmented LLMs

面向工具增强型大语言模型的基于状态的多智能体合成数据生成

Rahul Khedar, Eshita, Sneha Teja Sree Reddy Thondapu, Mayank Malhotra, Arup Das, Jitesh Chandra, Yun-Shiuan Chuang, Chaitanya Kulkarni, Arun Menon, Linsey Pang, Avinash Karn, Mouli V, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出StateGen平台，通过四角色LLM循环和状态管理器生成多轮、工具接地的高质量训练对话，消除工具调用幻觉，支持层次化多智能体设置。

Comments 9 pages, 5 figures, 6 tables, 1 algorithm

Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops

通过对抗性黑客-修复者循环强化智能体基准测试

Ziqian Zhong, Ivgeni Segal, Ivan Bercovich, Shashwat Saxena, Kexun Zhang, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fewshot Corp（Fewshot公司） ； Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出黑客-修复者循环方法，通过LLM代理交替攻击和修补验证器，自动生成抗利用的验证器，将KernelBench攻击成功率从62%降至0%。

A Controlled Study of Self-Supervised Image and Video Pretraining under Limited Resources

有限资源下自监督图像与视频预训练的对照研究

Brunó B. Englert, Gijs Dubbelman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 该研究对照研究有限资源下的图像与视频自监督预训练，发现DINOv2式预训练性能最优，结合其与VideoMAE可提升图像任务性能但降低部分视频任务性能，为资源有限场景的视觉模型训练提供参考。

Guardian Crawler: Retrieval-First Knowledge Discovery with Bounded LLM Augmentation for Noisy Web Intelligence

Guardian Crawler：面向噪声网络智能的、结合受限大语言模型增强的检索优先型知识发现方法

Joshua Castillo, Santosh Nukavarapu, Ravi Mukkamala

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Guardian Crawler是面向噪声网络智能的检索优先型测试平台，结合BM25与风险感知重排序等技术，在合成语料库实验中取得较高检索分数，可用于知识发现与证据摘要生成。

Comments 8 pages, 2 figures. Accepted as a Short Paper at KDIR 2026 (International Conference on Knowledge Discovery and Information Retrieval)

DINO-3DRA: Leveraging 2D Foundation Model Semantics for 3D Cerebral Aneurysm Segmentation

DINO-3DRA：利用二维基础模型语义实现三维颅内动脉瘤分割

Jiayang Lu, Fengming Lin, Alejandro F. Frangi, Ali Sarrami-Foroushani

机构 * University of Manchester（曼彻斯特大学） ； Christabel Pankhurst Institute, University of Manchester（曼彻斯特大学克里斯塔贝尔·潘克赫斯特研究所） ； NIHR Manchester Biomedical Research Centre（NIHR曼彻斯特生物医学研究中心） ； Manchester Academic Health Sciences Centre（曼彻斯特学术健康科学中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 DINO-3DRA是一种双路径框架，通过将冻结的DINOv3特征注入3D U-Net实现跨维度语义迁移，在多中心3DRA数据上以572万参数达到最优动脉瘤分割性能，且泛化能力强。

Comments Accepted by MICCAI 2026

Foundation Models for Astrophysics

天体物理学领域的基础模型

Xiaosheng Zhao, Yuan-Sen Ting

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本章介绍面向天文领域的基础模型，阐述其核心是可迁移表示，指出当前天文领域此类模型的可迁移性验证案例较少，未来需进一步探索提升路径。

Comments Invited chapter for the edited book "Machine Learning Techniques for Astrophysics and Cosmology" (Eds. Cosimo Bambi, Vinay Kashyap, Swarnim Shashank, Naoki Yoshida, Springer Singapore, expected in 2026). Submitted version

Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

探索式建模：解锁第三大预训练轴与端到端生成

Alexi Gladstone, Heng Ji, Yilun Du

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Harvard（哈佛大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出探索式建模（XMs），为生成式模型增添第三预训练轴，可提升多域性能与效率，还能实现端到端重构生成建模，推理步骤大幅减少。

A Foundation Model for Cross-Band CSI Reconstruction

跨频段 CSI 重建的基础模型

Hongpu Zhang, Shu Sun, Ruifeng Gao, Tongjia Zhang, Feng Yang

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 研究多频段低空无线系统中跨频段 CSI 重建问题，提出在公共频谱表示频段、用射频元数据辅助的基础模型，经特定训练，相比基线降低平均归一化均方误差，能转移到未见频段对且在导频有噪声时仍有效。

Comments 6 pages, 4 figures, accepted by 2026 IEEE/CIC International Conference on Communications in China (ICCC Workshops)

Beyond Heavy Log Curation: Perplexity-Based APT Detection via Unsupervised, Context-Augmented Language Models

超越繁重的日志整理：通过无监督、上下文增强语言模型进行基于困惑度的APT检测

Shoya Otsu, Kei Suzuki, Toshiaki Koike-Akino, Jing Liu, Ye Wang

机构 * Mitsubishi Electric Corporation（三菱电机公司） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对APT检测难题，提出CAPTAIN方法，利用通用预训练语言模型，经最少领域无关预处理，通过编码历史、注入上下文令牌及应用平滑滤波器，实现稳健日志评分，在基准测试中表现良好，降低了日志预处理成本。

Comments 20 pages

M3F-UAV: A Missing-Modality Multimodal Foundation Model for Low-Altitude Wireless Sensing

M3F-UAV：一种用于低空无线传感的缺失模态多模态基础模型

Pengxuan Gao, Kai Ying, Botao Wu, Jianhua Mo, Qingsong Wen

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 针对复杂环境下单模态模型可靠性低的问题，提出M3F-UAV模型，通过特定模态预训练特征提取器、跨模态融合及缺失模态感知预训练，从多观测中学习统一表示，在LAMBDA数据集实验中性能优于单模态基线且在缺失模态下稳健。