语言大模型 / LLM

STREAM: Stochastic Riemannian Flow Matching with Anisotropic Decoder for Digital Histopathology Image Generation

STREAM: 用于数字组织病理学图像生成的随机黎曼流匹配与各向异性解码器

Won June Cho, Daeky Jeong, Hyeongyeol Lim, Hongjun Yoon

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出STREAM框架，利用组织病理学视觉基础模型的patch-token特征作为潜在空间，通过黎曼流匹配生成高质量组织病理学图像，解决条件崩溃问题，并设计各向异性解码器提升生成质量。

Comments 27 pages, 7 figures

Reversible Foundations: Training a 120B Sparse MoE through State-Preserving Scaling

可逆基础：通过状态保持缩放训练120B稀疏MoE

Rohan Shravan

机构 * The School of AI（人工智能学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG；LLM(comments)

AI总结 本文报告在单台8-GPU节点上端到端训练千亿参数稀疏混合专家模型，通过可逆循环、状态保持增长和单节点经济学三大原则，实现从密集种子到120B模型的四阶段扩展。

Comments 58 pages, 9 figures, 37 tables. Code: https://github.com/The-School-of-AI/LLM. Released models: huggingface.co/theschoolofai/LightningLM-0.1V-{2B, 5B-MoE, 9B-MoE, 120B-MoE}. Companion work: arXiv:2605.29379 (BrahmicTokenizer-131K), arXiv:2605.29459 (Kronecker Embeddings)

Data Attribution of Emergent Misalignment with Persona Features

基于角色特征的涌现失配数据归因

Clemens Vetter, David Kaczér, Lucie Flek, Florian Mai

机构 * Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛信息技术中心，波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本研究基于SAE分析揭示EM源于角色特征，操控特征可双向控制EM，发现人类文本无法可靠诱导EM而合成指令响应对可以，明确响应结构或模型措辞的关键作用。

VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation

VoxSumm：用于联合摘要与翻译的多语言长篇口语新闻语料库

Yejin Jeon, Marie Maltais, Virginia Ceccatelli, Min Ma, David Ifeoluwa Adelani

机构 * Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Google DeepMind（谷歌DeepMind） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席项目） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本研究针对长文档摘要与多语言语音翻译的研究缺口，提出联合语音摘要与翻译任务，构建首个多语言跨语言基准VoxSumm，并评估相关模型表现，为多语言语音处理系统提供支撑。

Transfer Learning-Enabled Distortion Compensation for Amplitude-Phase-Time Block Modulation-Based Nonlinear Single-Carrier Wireless Communications

基于幅度-相位-时间块调制的非线性单载波无线通信中，启用迁移学习的失真补偿

Guoxing Duan, Min Fan, Cheng Yi, Bensheng Yang, Wei Xu, Haiming Wang, Xiaohu You

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对非线性单载波通信中PA的非线性与记忆效应问题，提出迁移学习驱动的APTBM收发协同失真补偿方法，可在30-dBc ACLR约束下实现2 dB输入回退的可靠传输，性能优于传统DPoD方案。

Comments 13 pages, 14 figures, 1 table

GENCO - A Unified Neural Solver Embedded in a Development Framework for Steady-State Grid Analysis

GENCO — 嵌入开发框架的稳态电网分析统一神经求解器

Alban Puech, Matteo Mazzonelli, Tamara R. Govindasamy, Mangaliso Mngomezulu, Héctor Maeso-García, Thomas Tolhurst, Javad Bayazi, Ali Moeini, Naomi Simumba, Celia Cintas, David Nelischer, Romeo Kienzler, Jonas Weiss, Anna Varbella, Florian Dörfler, Gabriela Hug, Martin Mevissen, Juan Bernabé-Moreno, François Mirallès, Hendrik F. Hamann, Etienne Vos, Thomas Brunschwiler

机构 * IBM Research（IBM研究院） ； Hydro-Québec Research Institute（魁北克水电研究院） ； ETH Zurich（苏黎世联邦理工学院） ； Stony Brook University（石溪大学） ； Brookhaven National Laboratory（布鲁克海文国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI

AI总结 研究人员推出统一神经求解器GENCO及开源GridFM开发框架，其可处理电网PF、OPF、SE任务，在基准测试中提速显著且性能优于经典求解器，降低电网分析门槛。

From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs

从不可听输入到模型失效：LALMs中的低频安全风险

Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Nanyang Technological University（南洋理工大学） ； JIUTIAN Research（九天研究院） ； Tencent ARC Lab（腾讯ARC实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本文提出不可听红队测试方法ILL评估LALMs的低频安全风险，发现其可降低LALMs准确率达67个百分点，同时提出DRG防护方法可提升受攻击后的准确率，明确了LALMs此前被忽视的安全风险。

Real Data Closes Synthetic-to-Real Gap in Optical Chemical Structure Recognition

真实数据缩小光学化学结构识别中的合成到真实的差距

Yani Guan, Dengpan Dong, Zi Wei, Shuang Luo, Dan Hannah, Yumin Zhang, Kang Xu

机构 * SES AI Corporation（SES AI公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 该研究针对光学化学结构识别中合成与真实数据的性能差距，通过微调不同视觉语言模型，发现标注真实训练数据可大幅提升性能，且模型与适配策略的选择需结合目标任务评估。

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint：用于语言模型溯源的校准标记空间指纹

Yuqi Wu, Shengming Zhao, Jie Chen

机构 * College of Biomedical Engineering, Fudan University（复旦大学生物医学工程学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本研究提出无需训练的语言模型溯源指纹TokenPrint，基于250个固定知识探针的隐藏状态投影，可有效检索谱系、区分模型相关性，且对量化稳定，在32个开放权重模型上验证了其性能。

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

团结的智慧：多语言训练在谚语比喻语言识别中的作用

Rama Alomair, Remas Alsubaie, Walaa Saifalislam, Rima Alsonbul, Mona Alnajjar, Razan Aldossari, Haya Alibrahim, Abeer Aldayel

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.CL

AI总结 该研究以7种语言的6787个谚语实例为对象，评估多语言模型在比喻语言识别中的表现，发现约50%多语言训练数据可实现近最优性能，文化特异性比喻形式收益最大，推动相关框架向多维概念模型发展。

Comments This paper is under review

Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU

SwiGLU的开放正尾是否必要？来自带MemGLU的闭尾门控的证据

Yuting Ge, Pengju Yang, Mingkai Nie

机构 * City University of Hong Kong（香港城市大学） ； Beihang University（北京航空航天大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对仅解码器的语言模型FFN，通过对比实验发现，源自忆阻分支几何的MemGLU在相近损失下无需SwiGLU的开放正尾即可表现良好，表明模型会适应预训练的门控几何。

Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion

Stoicheia：用于古希腊语文本恢复、句法分析与韵律扫描的字符级掩码扩散模型

Eric Cullhed, Albin Thörn Cleland

机构 * Uppsala University（乌普萨拉大学） ； Lund University（隆德大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本研究提出4.05亿参数的Stoicheia字符级掩码扩散模型，通过多维度输入设计实现古希腊语文本恢复、句法分析等任务，在三项实验中均优于对照模型，且在Ithaca测试集上显著降低字符错误率、提升Top-1准确率。

Comments 12 pages, 7 tables. Models, datasets and code released: https://huggingface.co/collections/Ericu950/stoicheia-6a6fbf9800c82d93020a7ceb and https://github.com/ericu9500/stoicheia

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

Skaling：Chinchilla的指数与Kaplan的耦合

Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

机构 * FAIR at Meta（Meta FAIR实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 针对神经缩放定律的独立假设缺陷，提出Skaling定律耦合模型容量与数据，可降低MAPE，用更少计算实现准确外推，为模型训练预算分配提供稳健框架。

Invisible Shortcuts: Why Vision Encoders Know Your Camera

隐形捷径：视觉编码器为何了解你的相机

Vladan Stojnić, Ryan Ramos, Giorgos Kordopatis-Zilos, Noa Garcia, Giorgos Tolias

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究发现视觉编码器会利用像素级隐形元数据痕迹形成捷径，元数据-语义关联越强模型敏感性越高，提出的缓解策略可降低敏感性并提升分布外泛化能力。

Comments ECCV 2026

Discrete energy as an exact label-free training objective for finite-element surrogates

离散能量作为有限元代理模型的无标签训练目标

Ruifeng Cao, Xidan Song

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究提出将离散能量作为有限元代理模型的无标签训练目标，通过理论推导与数值验证证明其有效性，为线性弹性静力学代理模型训练提供了新方法。

Comments 9 pages. Theory note of the FE-JEPA programme

A Modular Part-of-Speech Tagger for Scottish Gaelic using spaCy

使用spaCy构建的苏格兰盖尔语模块化词性标注器

Peter Stefan, Peter J Barclay, Alistair Lawson

机构 * School of Computing, Engineering, & the Built Environment, Edinburgh Napier University（爱丁堡龙比亚大学计算、工程与建成环境学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文基于spaCy框架，用苏格兰盖尔语标注参考语料库训练出两个形态标注模型，在低资源形态复杂的盖尔语上取得与现有模型相当的准确率，证明现成NLP流水线可用于该类语言处理。

Comments A revised version of this paper has been accepted for presentation at UKCI 2026 (https://ukci2026.coventry.ac.uk/home/) and will be published by Springer

Benchmarking Deep Learning Models for Dense Event Classification of Offshore Wind Infrastructure in Sentinel-1 Time Series

对Sentinel-1时间序列中海上海上风电基础设施密集事件分类的深度学习模型进行基准测试

Thorsten Hoeser, Felix Bachofer, Claudia Kuenzer

机构 * German Aerospace Center (DLR)（德国航空航天中心） ； University of Wuerzburg（维尔茨堡大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究对比10种深度学习模型，发现监督式BiLSTM在Sentinel-1海上风电时间序列分类中表现最优，结合集成方法提升性能后，分析得出中、欧盟、英的风机中位部署时长。

Comments 27 pages, 14 figures

NeuroPB: Scaling Neural Decoding with Pretrained Behavioral Representations

NeuroPB：利用预训练行为表示扩展神经解码

Luyao Jin, Yonghao Song, Huan Zhao, Vincent C. K. Cheung, Wei-Hsin Liao

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出NeuroPB框架，通过预训练大规模行为表示并对齐有限配对神经-行为数据，提升神经解码性能，在猕猴数据集上R²提升11%与8%，且泛化能力强，为高效BCI提供可行方向。

When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings

当注意力失效：ALiBi位置编码中的数值故障

Christopher Schröder, Lukas Gienapp, Ferdinand Schlatt, Martin Potthast, Gerhard Heyer

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 该研究发现ALiBi位置编码存在线性偏置缩放导致浮点下溢的失效模式，提出四种训练缓解策略，发现对数缩放距离在密码检索中改进最稳定，为ALiBi模型训练提供具体建议。

Standalone DINOv3 for Training-Free Open-Vocabulary Semantic Segmentation in Remote Sensing

用于遥感领域无需训练的开放词汇语义分割的独立DINOv3模型

Changhao Zhao, Haoxiang Li, Yuke Li, Hai Liu, LingLin Zeng

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 针对遥感语义分割标注成本高的问题，提出无需训练的DinoSplat-OV框架，结合DINOv3的文本感知拉普拉斯传播与高斯溅射上采样模块，在多数据集上取得优于现有方法的性能，填补了DINO系列模型在该领域的空白。

Sedentary Behavior Classification for Wearable Sensors with a CNN-BiLSTM Model

基于CNN-BiLSTM模型的可穿戴传感器久坐行为分类

Yuliang Chen, Weiwei Shi, Jingjing Zou, Rong Zablocki, Animesh Kumar, Jordan A. Carlson, Sheri J. Hartman, Mikael Anne Greenwood-Hickman, Paul R. Hibbing, Marta Jankowska, Jay Yang, Arun Kumar, Loki Natarajan

机构 * Halıcıoğlu Data Science Institute, University of California, San Diego（加州大学圣迭戈分校哈利乔格鲁数据科学学院） ； Herbert Wertheim School of Public Health and Human Longevity Science, University of California, San Diego（加州大学圣迭戈分校赫伯特韦特海姆公共卫生与人类长寿科学学院） ； Department of Computer Science and Engineering, University of California, San Diego（加州大学圣迭戈分校计算机科学与工程系） ； Center for Children’s Healthy Lifestyles & Nutrition, Children’s Mercy Kansas City, University of Missouri-Kansas City（密苏里大学堪萨斯城分校儿童慈善医疗堪萨斯城分院儿童健康生活方式与营养中心） ； Kaiser Permanente Washington Health Research Institute（凯撒永久华盛顿健康研究所） ； Department of Kinesiology and Nutrition, University of Illinois Chicago（芝加哥伊利诺伊大学运动机能学与营养系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究提出基于髋部加速度计数据预训练的CNN-BiLSTM模型CHAP，可迁移至腕部数据实现坐/非坐分类，微调后性能优于从头训练的Transformer，为腕部传感器久坐行为检测提供了有效方案。

Federated generative event models for tokenized electronic health records

面向分词电子健康记录的联邦生成事件模型

Michael C. Burkhart, Luke Solo, Inhyeok Lee, S'Khaja Charles, Zewei "Whiskey" Liao, Kaveri Chhikara, Dema Therese, Wan-Ting Liao, Catherine A. Gao, William F. Parker, Brett K. Beaulieu-Jones

机构 * University of Chicago（芝加哥大学） ； Northwestern University Feinberg School of Medicine（西北大学费恩伯格医学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本研究评估了面向分词电子健康记录的联邦生成事件模型（GEMs），其跨站点性能优于LightGBM，联邦学习（FedAvg、FedAvgM）表现接近集中式训练，为解决电子健康记录模型的数据孤岛问题提供了可行方案。

Secrets Everywhere: Auditing Memorization in Mobility Prediction Models

无处不在的秘密：移动性预测模型中的记忆审计

Anne Josiane Kouam, Hristo Boyadzhiev, Konrad Rieck

机构 * Inria（法国国家信息与自动化研究所） ； TU Berlin（柏林工业大学） ； BIFOLD（数据科学与人工智能柏林研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文首次系统审计移动性预测模型的记忆风险，提出框架量化不同粒度的移动性记忆，发现普遍记忆模式关联用户规律性并提升数据提取风险，呼吁开展强制性隐私审计。

Comments Full version of the paper accepted for publication at the ACM SIGSAC Conference on Computer and Communications Security (CCS 2026). Includes supplementary appendices omitted from the proceedings version

Leveraging AI for fine-grained food safety risk forecasting in sparse data conditions

利用人工智能在稀疏数据条件下进行细粒度食品安全风险预测

Dongqi Wang, Weiwei Chen, Han Zhou, Weihua Zhou

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 该研究提出基于Transformer的框架，整合多类数据与Wilson区间预训练，在稀疏数据下细粒度预测城市食品安全风险，实验及浙江实地测试显示其性能优于基线，可提升检测率与检查资源分配效率。

Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across Depth

角色解耦注意力残差：跨深度分离匹配与内容检索

Kehan Wang

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 该研究提出角色解耦注意力残差（RD-AttnRes），将注意力的匹配与内容检索解耦，在多参数规模模型上验证其可提升语言建模性能，证实二者需从残差层级差异化读取。

Comments a improvement of attnres

Select-And-Extract: A Lightweight Plugin for Retrieval-Augmented Generation

Select-And-Extract：一种用于检索增强生成的轻量级插件

Chenming Tang, Jiawei Han

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 该研究针对RAG的检索与阅读两类失效模式，提出轻量级插件SANE，通过语义检索+LM选候选、蓝图引导证据提取实现稳定性能提升，且开销适度。

Comments Pre-print

Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors

GNN中的同图跨任务迁移：协议与预测器

Neelam Akula, Surbhi Kumar, Murat Kantarcioglu, Baris Coskunuzer

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对GNN同图跨任务迁移的评估缺陷，提出无泄漏协议，发现迁移方向性规律，引入CTS指标，表明数据集同质性可指导机制选择以避免负迁移。

Comments 17 pages, 2 figures

Journal ref ICML 2026

Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training

超越改写：书籍级组织提升训练中合成教科书数据的质量

Jiawen Tao, Miao Peng, Yaoming Li, Xiaokun Yuan, Mengzhou Wu, Wenhan Yu, Guoan Wang, Nuo Chen, Tong Yang, Maxm Pan

机构 * Peking University（北京大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本研究提出可扩展的合成教科书数据流程，发现书籍级组织可提升语言模型训练中期的下游性能，在Llama3-8B上也验证了该设计维度的有效性。

Comments 31 pages, 3 figures, 11 tables

DAS-PMVC: A Framework for Partial Multi-View Clustering via Dual Alignment and Structure Enhancement

DAS-PMVC：一种通过双对齐与结构增强实现的部分多视图聚类框架

Shubin Ma, Liang Zhao, Chuanye He, Zhenjiao Liu, Liang Zou, Lin Yuanbo Wu, Yu Shao

机构 * Dalian University of Technology（大连理工大学） ； Inspur Group Co., Ltd.（浪潮集团有限公司） ； China University of Mining and Technology（中国矿业大学） ； The University of Warwick（华威大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对多视图聚类中的部分视图对齐问题，提出DAS-PMVC框架，通过锚点图结构对齐、结构增强特征学习与双对齐策略提升性能，在多数据集上优于现有最先进方法。

Comments 8 pages, 4 figures. Accepted by ACM Multimedia 2026

A Montage-Agnostic Encoder for Calibration-Light Cross-User Gesture Recognition from Surface Electromyography

适用于任意电极 montage 的编码器：基于表面肌电信号的校准无关跨用户手势识别

Jethro Odeyemi, W. J. Zhang

机构 * Division of Biomedical Engineering, University of Saskatchewan（萨斯喀彻温大学生物医学工程系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出适用于任意电极 montage 的编码器，实现跨用户表面肌电手势识别，在 DB1、DB2 上性能优于 per-user Hudgins 线性判别分类器，训练池达一定规模后性能趋稳，自监督预训练无额外增益。

Comments 22 pages, 5 figures, 7 tables