语言大模型 / LLM

Inferring the Size of Large Language Models From Popular Text Memorization

从流行文本记忆推断大型语言模型的规模

Ivica Nikolic

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 提出一种黑盒方法，通过分析模型对流行文本的记忆准确性，仅从生成文本推断LLM参数规模的下界，并验证了开源和闭源模型。

Subtle Injection for Ground-truth Inference of LLM Training Data

用于LLM训练数据真实推断的微妙注入

Abraham Itzhak Weinberg

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SIGIL框架，通过向文本中嵌入不可感知的“金丝雀序列”，使训练了这些文档的LLM在特定查询下表现出可检测的行为特征，从而证明文档被用于训练。

Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents

Insights Generator: LLM代理的系统级语料库追踪诊断

Akshay Manglik, Apaar Shanker, Kaustubh Deshpande, Jason Qin, Yash Maurya, Veronica Chatrath, Vijay S. Kalmath, Levi Lentz, Yuan Xue

机构 * Scale AI, Inc. 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Insights Generator，一种多智能体系统，通过在语料库中提出和测试假设来生成基于证据的洞察报告，从而系统性地诊断LLM代理的行为模式。

Hearing the Unspoken: Language Model Priors for Acoustic Adversarial Attacks

听弦外之音：面向声学对抗攻击的语言模型先验

Jiani Xie, Andrew C. Cullen, Paul Montague, Benjamin I. P. Rubinstein

机构 * University of Melbourne（墨尔本大学） ； DST Group（DST集团） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Semantic Gambit攻击，利用大语言模型实时提供预测上下文，突破因果限制，使实时ASR系统词错误率提升至35.6%，较当前最优方法提高三倍。

Finding the Minimal Parameter Budget for Implicit Reasoning: A Data Complexity Driven Scaling Law for Language Models

寻找隐式推理的最小参数预算：一种基于数据复杂度的语言模型缩放定律

Xinyi Wang, Shawn Tan, Shenbo Xu, Mingyu Jin, William Yang Wang, Rameswar Panda, Yikang Shen

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） ； University of Tokyo（东京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过控制合成环境中的预训练实验，发现语言模型隐式推理所需的最小参数预算与图搜索熵之间存在缩放定律，并确定了每参数最多可处理约0.008比特信息的容量上限。

Comments Accepted to ICML 2026

A robust PPG foundation model using multimodal physiological supervision

一种使用多模态生理监督的鲁棒PPG基础模型

Eloy Geenjaar, Vince Calhoun, Scott Daly, Gouthaman KV, Lie Lu, Trisha Mittal, Daniel P. Darcy

机构 * Dolby Laboratories（杜比实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种PPG基础模型，利用ICU数据集中的心电和呼吸信号选择对比样本，无需高质量或场域数据预训练，在15个下游任务中14个取得性能提升。

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

GRASP：面向可扩展预训练数据归因的几何感知残差对齐

Yue Min, Ruining Chen, Yujun Li

机构 * Wizard Quant ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出GRASP方法，通过二次几何惩罚建模子集交互，结合低维特征草图与有限置信度选择协议，实现可扩展的预训练数据归因，显著提升反事实子集保真度并降低计算成本。

One Loss to Rule Them All: Marked Time-to-Event for Structured EHR Foundation Models

一个损失统治一切：结构化EHR基础模型的标记时间到事件

Zilin Jing, Vincent Jeanselme, Yuta Kobayashi, Simon A. Lee, Chao Pang, Aparajita Kashyap, Yanwei Li, Xinzhuo Jiang, Shalmali Joshi

机构 * Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系） ； Department of Biomedical Informatics, Columbia University（哥伦比亚大学生物医学信息学系） ； Department of Computational Medicine, UCLA（洛杉矶大学计算医学系） ； Formation Bio 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出ORA预训练目标，联合建模事件时间和关联测量，相比下一词预测和忽略连续测量的损失，在多个数据集和下游任务上产生更通用的表示，提升回归和时间到事件预测能力。

A Conformation-Centric Generative Foundation Model for Linear Polymer Modeling and Design

面向线性聚合物建模与设计的构象中心生成式基础模型

Fanmeng Wang, Ruochao Wang, Shan Mei, Wentao Guo, Hongshuai Wang, Qi Ou, Zhifeng Gao, Hongteng Xu

机构 * Gaoling School of Artificial Intelligence（人工智能学院） ； Renmin University of China（中国人民大学） ； DP Technology（DP技术） ； SINOPEC Research Institute of Petroleum Processing Co., Ltd.（中石油加工研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出PolyConFM基础模型，通过构象中心生成预训练（条件生成、掩码自回归建模和方向变换）来建模线性聚合物，在多种下游任务中优于现有方法。

Superintelligent Retrieval Agent: The Next Frontier of Agentic Retrieval

超级智能检索代理：代理检索的下一个前沿

Zeyu Yang, Qi Ma, Jason Chen, Anshumali Shrivastava

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（里士满大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SIRA，通过单次语料判别性检索压缩多轮探索，利用LLM丰富文档词汇、预测查询缺失词汇并基于语料统计过滤，在BEIR基准上取得最强平均检索性能，并在下游QA任务中超越RL训练的代理系统。

Modular Monolingual Adaptation using Pretrained Language Models

使用预训练语言模型的模块化单语适应

Nalin Kumar, Ondřej Dušek

机构 * Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics（查尔斯大学数学与物理系形式与应用语言学研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出一种模块化方法，通过替换标记、冻结对应嵌入并调整模型其余部分，在低资源语言上提升NLU任务性能，优于全模型微调。

Comments Accepted to ACL 2026 Industry Track

HKJudge: A Legal Discourse-Annotated Corpus for Interpreting What Courts Find, How They Reason, and What They Rule

HKJudge：用于解释法院认定事实、推理过程和裁决结果的法律话语标注语料库

Xi Xuan, Wenxin Zhang, Yufei Zhou, King-kui Sin, Chunyu Kit

机构 * City University of Hong Kong（香港城市大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出首个句子级专家标注的法律话语数据集HKJudge，包含香港各级法院刑事判决，设计双层话语模式（26种修辞角色和3种判刑要素），并基于BERT和LLM进行基准评估。

Trace Reconstruction with Language Models

基于语言模型的迹重建

Franziska Weindel, Michael Girsch, Reinhard Heckel

机构 * School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.LG

AI总结 提出TReconLM解码器仅变换器，将迹重建视为下一个标记预测任务，在合成和真实数据上预训练和微调，显著优于现有算法。

Spectral Scaling Laws of Muon

Muon的谱缩放定律

Gagik Magakyan, Pablo Parrilo, Asuman Ozdaglar

机构 * MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统研究了Muon优化器中动量矩阵奇异值谱随模型大小的缩放行为，发现其遵循幂律，并据此提出层感知的牛顿-舒尔茨迭代配置选择方法以减少计算开销。

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

Socratic-SWE：通过轨迹衍生智能体技能实现自我进化的编码智能体

Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

机构 * AI Data, Alibaba Group（阿里云数据） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Socratic-SWE闭环自进化框架，通过将智能体历史求解轨迹蒸馏为结构化技能，生成针对性修复任务，实现编码智能体的持续自我改进。

Comments 21 pages, 5 figures. Under review

Compute-Optimal Network Design for Echocardiography Myocardial Segmentation and Perfusion Quantification using Neural Scaling Laws

基于神经缩放定律的超声心动图心肌分割与灌注量化的计算最优网络设计

Clara Rodrigo González, Matthieu Toulemonde, Lasha Gvinianidze, Cameron A. B. Smith, Oscar Bates, Roxy Senior, Fu Siong Ng, Meng-Xing Tang

机构 * Department of Bioengineering, Imperial College London（生物工程系，帝国理工学院伦敦分校） ； National Heart and Lung Institute, Imperial College London（国家心脏和肺 institute，帝国理工学院伦敦分校） ； Guy’s and St. Thomas’ NHS Foundation Trust（圣泰莫斯国家健康服务信托基金） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 应用神经缩放定律预测心肌分割性能，在CAMUS和CEUS数据集上确定最优网络大小，实现参数减少240倍且性能达最优，自动分割在心肌灌注量化中与资深心脏病专家等效。

Comments 15 pages, 4 figures, 5 tables, journal

DRIFT: From Robustness Gaps to Invariance Manifolds for AI-Generated Image Detection

DRIFT: 从鲁棒性差距到AI生成图像检测的不变流形

Abhishek Ameta, Sayan Banerjee, Shreyas Pandith, Harshit, Ankita Chatterjee, Akshay Janardan Bankar, Amit Satish Unde

机构 * Samsung Research Institute, Bangalore, India（三星研究所，班加罗尔，印度） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 提出DRIFT方法，通过冻结视觉基础模型并学习真实图像的结构化不变流形，利用鲁棒和脆弱子空间分解及排序间隔实现AI生成图像检测，在未见生成器和分辨率上表现优异。

Comments Submitted to ECCV 2026

Towards Retrieving Interaction Spaces for Agentic Search

面向智能体搜索的交互空间检索

Shengyao Zhuang, Yuansheng Ni, Hengxin Fun, Jimmy Lin, Xueguang Ma

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)

AI总结 提出RISE方法，通过BM25构建有边界的交互空间，并预处理文档支持shell式导航，在BrowseComp-Plus上以约四分之一成本达到78%准确率，优于纯shell基线。

STREAM: Stochastic Riemannian Flow Matching with Anisotropic Decoder for Digital Histopathology Image Generation

STREAM: 用于数字组织病理学图像生成的随机黎曼流匹配与各向异性解码器

Won June Cho, Daeky Jeong, Hyeongyeol Lim, Hongjun Yoon

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出STREAM框架，利用组织病理学视觉基础模型的patch-token特征作为潜在空间，通过黎曼流匹配生成高质量组织病理学图像，解决条件崩溃问题，并设计各向异性解码器提升生成质量。

Comments 27 pages, 7 figures

Proxy Reconstruction Pre-training for Ramp Flow Prediction at Highway Interchanges

高速公路立交匝道流量预测的代理重建预训练

Yongchao Li, Jun Chen, Zhuoxuan Li, Chao Gao, Yang Li, Chu Zhang, Changyin Dong

机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。

Comments Accepted at Applied Soft Computing Journal

Journal ref Applied Soft Computing Journal 200 (2026) 115462

Reversible Foundations: Training a 120B Sparse MoE through State-Preserving Scaling

可逆基础：通过状态保持缩放训练120B稀疏MoE

Rohan Shravan

机构 * The School of AI（人工智能学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG；LLM(comments)

AI总结 本文报告在单台8-GPU节点上端到端训练千亿参数稀疏混合专家模型，通过可逆循环、状态保持增长和单节点经济学三大原则，实现从密集种子到120B模型的四阶段扩展。

Comments 58 pages, 9 figures, 37 tables. Code: https://github.com/The-School-of-AI/LLM. Released models: huggingface.co/theschoolofai/LightningLM-0.1V-{2B, 5B-MoE, 9B-MoE, 120B-MoE}. Companion work: arXiv:2605.29379 (BrahmicTokenizer-131K), arXiv:2605.29459 (Kronecker Embeddings)

Closed-Form Spectral Regularization for Multi-Task Model Merging

多任务模型融合的闭式谱正则化

Yongxian Wei, Runxi Cheng, Xingxuan Zhang, Li Shen, Chun Yuan, Peng Cui, Dacheng Tao

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 针对多任务模型融合中的干扰最小化问题，发现迭代求解器实际充当隐式谱正则化器，据此提出基于谱滤波的闭式方法SWUDI及其自适应变体SWUDI-A，显著提升效率并匹配或超越现有方法。

Adaptive Pluralistic Alignment: A pipeline for dynamic artificial democracy

自适应多元对齐：动态人工民主的流水线

Rachel Freedman

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出自适应多元对齐（APA）流水线，通过低秩奖励基分解和陪审团投票机制，动态追踪社会价值观演变，避免价值锁定，无需重复预训练或大规模数据收集。

VoxCPM2 Technical Report

VoxCPM2 技术报告

Yixuan Zhou, Guoyang Zeng, Xin Liu, Xiang Li, Renjie Yu, Jiancheng Gui, Jiaheng Wu, Ziyang Wang, Xudong Shen, Runchuan Ye, Zhisheng Zhang, Jiuyang Zhou, Bingsong Bai, Weiyue Sun, Mengyuan Deng, Qundong Shi, Zhiyong Wu, Zhiyuan Liu

机构 * VoxCPM Team（VoxCPM 团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract,comments)

AI总结 提出VoxCPM2，一种全开源多语言可控语音生成基础模型，通过层次化扩散自回归建模、非对称AudioVAE和2B参数/200万小时数据扩展，在零样本和指令跟随TTS基准上达到SOTA，平均WER为1.68%。

Comments The technical report of VoxCPM2, a TTS foundation model (GitHub: https://github.com/OpenBMB/VoxCPM)

Optimized Sampling of Angle-Resolved Scatterometry Data Using End-to-End Compressed Learning Model for Nanograss Deficiency Detection

使用端到端压缩学习模型优化角度分辨散射测量数据采样用于纳米草缺陷检测

Mehdi Abdollahpour, Carsten Bockelmann, Armin Dekorsy

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出端到端压缩学习框架，集成可学习纬度采样层与CNN，联合优化采样与分类，在减少90%采样点下保持94.2%的五级缺陷分类精度。

Comments Preprint. 13 pages, 11 figures

CL-CLIP: CLIP-Based Continual Learning Framework with Cost-Volume Category Decoupling for Object Detection

CL-CLIP: 基于CLIP的持续学习框架与代价体积类别解耦用于目标检测

Zihan Liu, Yuguang Yang, Shengjie Su, Jianing Pang, Linlin Yang, Chunyu Xie, Nikolai Yu. Zolotykh, Baochang Zhang

机构 * National College for Excellent Engineers, Beihang University（卓越工程师学院，北京航空航天大学） ； AI Research, Qihoo 360（360人工智能研究院，奇虎360） ； School of Electronic Information Engineering, Beihang University（电子信息学院，北京航空航天大学） ； School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北京航空航天大学） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） ； Institute of Information Technology, Mathematics and Mechanics, Lobachebsky University（信息技术、数学与力学学院，洛瓦茨基大学） ； School of Artificial Intelligence, Beihang University（人工智能学院，北京航空航天大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出CL-CLIP框架，通过代价体积引导的类别解耦，增强开放词汇检测器的持续学习能力，缓解灾难性遗忘，在PASCAL VOC和MS-COCO上显著提升F-ViT基线性能。

PhyRoGen: Synthetic Generation of Physical Robot Manipulation Puzzles Using Procedural Content Generation

PhyRoGen：使用程序化内容生成物理机器人操作谜题的合成生成

Lennart Julian Droß, Andreas Orthey, Marc Toussaint

机构 * Technical University of Berlin（柏林技术大学） ； Robotics Institute Germany（德国机器人研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 提出PhyRoGen框架，利用程序化内容生成自动创建机器人操作谜题的合成数据集，生成的24个谜题可在1-300秒内求解，并在物理仿真中验证可操作性。

Comments 8 pages, accepted at CASE 2026

TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models

TALAN：面向大型语言模型目标后训练的任务对齐潜在自适应网络

Chengkai Zhang, Ziteng Liu, Junpu Wang, Zeyi Tao, Yang Wang, Sagar Chordia, Qin Huang

机构 * Meta AI 纠错

专题命中 指令微调 ：post-training(title,abstract)；large language model(title)；language model(title)；SFT(abstract,abstract_cn)

AI总结 提出TALAN，一种序列条件潜在旁路，插入Transformer残差流并与低秩适配器协同训练，在STEM/代码基准上平均提升LoRA 1.41点、DoRA 1.85点，仅增加<1%可训练参数和1.01-1.02倍推理开销。

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

模态间隙驱动的子空间对齐训练范式用于多模态大语言模型

Xiaomin Yu, Yi Xin, Yuhui Zhang, Wenjie Zhang, Chonghan Liu, Hanzhen Zhao, Chen Liu, Xiaoxing Hu, Ziyue Qiao, Hao Tang, Xiaobin Hu, Chengwei Qin, Hui Xiong, Yu Qiao, Shuicheng Yan

机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)

AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。

Benchmarking LLMs for Community Governance Simulation with Life-history Narratives

用生命历程叙事对社区治理模拟中的大语言模型进行基准测试

Xu Chen, Yuanzi Li, Lei Wang, Nan Lu, Yang Wang, Anding Wang, Lei Shi, Xiaoxing Fu, Ji-Rong Wen

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对社区治理中居民个体模拟需求，提出包含数据集、基准测试、算法和系统的框架，通过丰富生命历程叙事提升LLM模拟保真度，并设计curriculum-LoRA算法在降低调用成本的同时保持高保真度。