语言大模型 / LLM

Grow-Prune-Freeze Networks: Adaptive & Continual Learning Technique for Olfactory Navigation

生长-剪枝-冻结网络：用于嗅觉导航的自适应与持续学习技术

Kordel K. France, Ovidiu Daescu

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出生长-剪枝-冻结（GPF）网络框架，通过动态调整策略网络层数实现持续学习，在湍流羽流导航任务中达到94%成功率，并推广到其他机器学习任务。

Comments Accepted as poster to the Reinforcement Learning in Big Worlds Workshop at the 2026 Reinforcement Learning Conference

Optimization Is Not All You Need

优化并非你所需的全部

Minh Hua, Rita Raley

机构 * Scale AI（Scale人工智能公司） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究指出优化并非全部，以GPT - 2为例，通过追踪其预训练等环节的优化文化，发现优化程序虽能测文本可能性，但无法区分不可能性是错误还是创新，却在五年内获设定语言协议权威。

Comments This essay will be forthcoming in MFS Modern Fiction Studies, published by JHUP (Spring-Summer 2027)

Transformers converge to invariant algorithmic cores

Transformer收敛到不变的算法核心

Joshua S. Schiffman

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究从Transformer偶然行为转向必然操作，用算法核心提取（ACE）隔离子空间等，发现不同Transformer的功能冗余及语言模型主谓语一致的控制轴，揭示其有简单共享计算结构，针对不变量利于理解和控制机制。

Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning

低维子空间中的学习：强化学习的正交瓶颈

Aleksandar Todorov, Matthia Sabatelli

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种在强化学习编码器特征中插入固定正交投影以约束低维子空间的简单先验，证明其在线性可实现性假设下保持表达能力，并在实验中显示价值表示可压缩至极低维度而不损失性能。

Comments Reinforcement Learning Conference (RLC) 2026

Deriving Neural Scaling Laws from the statistics of natural language

从自然语言统计中推导神经缩放定律

Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究从自然语言统计推导神经缩放定律，分离出语言关键统计属性预测神经缩放指数，给出基于这些统计量的简单公式，与实验测量定律匹配。

Comments ICML 2026

The Three Regimes of Offline-to-Online Reinforcement Learning

离线到在线强化学习的三种模式

Lu Li, Tianwei Ni, Yihao Sun, Pierre-Luc Bacon

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； CIFAR AI Chair（CIFAR人工智能 chair） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。

ForAug: Mitigating Biases in Image Classification via Controlled Image Compositions

ForAug: 通过受控图像组合缓解图像分类中的偏差

Tobias Christian Nauen, Brian Moser, Federico Raue, Stanislav Frolov, Andreas Dengel

机构 * RPTU University Kaiserslautern-Landau（凯泽斯劳滕-兰道大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ForAug方法，通过将训练图像分解为前景和背景并重新组合，显式控制物体位置、尺度和背景，打破前景-背景相关性，在ImageNet上提升最高6%准确率，并减少捷径学习行为。

Comments v2: DeiT, ablation vs simple copy-paste, v4: more augmentation pipelines, robustness benchmarks, mask quality analysis

GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture

GOT-JEPA：基于联合嵌入预测架构的通用目标跟踪与模型自适应及遮挡处理

Shih-Fang Chen, Jun-Cheng Chen, I-Hong Jhuo, Yen-Yu Lin

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系） ； Research Center for Information Technology Innovation, Academia Sinica（中华学术院信息技术创新研究中心） ； Microsoft AI（微软人工智能） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出GOT-JEPA框架，通过预测跟踪模型而非图像特征来提升泛化能力，并设计OccuSolver增强遮挡感知，在七个基准上验证了有效性。

Comments Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT). This research focuses on learning model adaptation for adverse and dynamic environments, as well as fine-grained occlusion perception for tracking

Journal ref IEEE Transactions on Circuits and Systems for Video Technology 2026

Synthetic Homes: A Multimodal Generative AI Pipeline for Residential Building Data Generation under Data Scarcity

合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道

Jackson Eshbaugh, Chetan Tiwari, Jorge Silveyra

机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。

Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes

Journal ref Machine Learning with Applications, 25 (2026), 100959

Neural FOXP2 -- Language Specific Neuron Steering for Targeted Language Improvement in LLMs

Neural FOXP2——面向大型语言模型目标语言改进的语言特定神经元引导

Anusa Saha, Tanmay Joshi, Vinija Jain, Aman Chadha, Amitava Das

机构 * Meta, USA（Meta, 美国） ； Apple, USA（Apple, 美国） ； Pragya Lab, BITS Pilani Goa, India（Pragya实验室，BITS Pilani Goa，印度） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出Neural FOXP2方法，通过定位语言神经元、计算引导方向和施加稀疏激活偏移，将模型默认语言从英语切换为印地语或西班牙语，实现可控的语言主导性。

Noise-Guided Transport for Imitation Learning

噪声引导的模仿学习传输方法

Lionel Blondé, Joao A. Candido Ramos, Alexandros Kalousis

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对低数据场景下的模仿学习，提出噪声引导传输（NGT）方法，通过对抗训练将模仿问题转化为最优传输问题，无需预训练或特殊架构，在极低数据量下实现强性能。

Comments Accepted at ICML 2026. Code: https://github.com/lionelblonde/ngt

Learning from flowsheets: A generative transformer model for autocompletion of flowsheets

从流程图学习：用于流程图自动补全的生成式Transformer模型

Gabriel Vogel, Lukas Schulze Balhorn, Artur M. Schweidtmann

机构 * University of Freiburg（弗赖堡大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 受文本自动补全启发，提出基于SFILES 2.0字符串表示和Transformer语言模型的化工流程图自动补全方法，通过预训练和微调实现交互式流程图合成辅助。

Journal ref Computers and Chemical Engineering Volume 171, March 2023, 108162

Proxy Reconstruction Pre-training for Ramp Flow Prediction at Highway Interchanges

高速公路立交匝道流量预测的代理重建预训练

Yongchao Li, Jun Chen, Zhuoxuan Li, Chao Gao, Yang Li, Chu Zhang, Changyin Dong

机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。

Comments Accepted at Applied Soft Computing Journal

Journal ref Applied Soft Computing Journal 200 (2026) 115462

Ablation-Corrected Evaluation of Attribution Maps in Echocardiographic Ejection-Fraction Models

解剖结构忠实但时间上盲目：超声心动图左心室射血分数估计的归因审核

Hyunkyung Han, Min Jung Kim

机构 * School of Integrated Medicine, Yonsei University（延世大学统合医学院） ； Department of Radiology, Research Institute of Radiologic Science, Yonsei University College of Medicine（延世大学医学院放射科学研究所放射科） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 研究超声心动图左心室射血分数估计模型的归因，微调VideoMAE Transformer和R(2+1)D CNN两个回归器，用多指标审核发现模型空间忠实但时间盲目，强调空间忠实不代表时间忠实，警示XAI验证并呼吁时间感知训练评估。

Comments 12 pages, 4 figures. v2: the chance level is now measured rather than computed, which corrects the ratios reported in v1. Adds a composition-matched ablation with an equal-area control, a reliability estimate for it, an ablation-derived score to report alongside overlap, seed repetition, and pediatric validation

Learning Representations from Incomplete EHR Data with Dual-Masked Autoencoding

从不完整电子健康记录数据中学习表示的双掩码自编码

Xiao Xiang, David Restrepo, Hyewon Jeong, Yugang Jia, Leo Anthony Celi

机构 * Massachusetts Institute of Technology（麻省理工学院） ； EPFL（苏黎世联邦理工学院） ； Harvard University（哈佛大学） ； Beth Israel Deaconess Medical Center（贝塞斯达医院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 AID-MAE通过双掩码技术直接从不完整EHR时间序列中学习表示，有效提升临床任务性能并实现患者群体的自然分层。

Comments MLHC 2026 camera-ready. Spotlight at NeurIPS TS4H 2025

Knowledge Graph-Enhanced Zero-Shot Topic Classification: A Multi-Strategy Comparative Study

知识图谱增强的零样本主题分类：多策略比较研究

Shahana Akter, Yatharth Vohra, Ankita Shukla, Souvika Sarkar

机构 * A2I Lab, School of Computing, Wichita State University（A2I实验室，计算学院，威斯康星州立大学） ； EIS Lab, College of Engineering, University of Nevada, Reno（EIS实验室，工程学院，内华达大学，里诺） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 提出零样本多标签主题分类框架，通过知识图谱增强文档表示，实验表明对小型模型有正面影响，对大型模型有负面影响。

Comments 12 pages, 1 figure, IEEE TDKE format. This paper proposes a KG-augmented zero-shot multi-label topic classification framework and evaluates multiple strategies

Human-Level Text-to-SQL via Reinforcement Learning on Verified Data, Without Pipeline Engineering

ReViSQL：实现人水平的文本到SQL

Yuxuan Zhu, Tengjun Jin, Yoojin Choi, Daniel Kang

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出ReViSQL框架，通过高质量训练数据提升SQL推理能力，首次在BIRD基准上达到人水平准确率，且在不同模型规模下均表现优异。

Test-time Generalization for Physics through Neural Operator Splitting

通过神经算子分裂实现物理中的测试时泛化

Louis Serrano, Jiequn Han, Edouard Oyallon, Shirley Ho, Rudy Morel

机构 * Flatiron Institute, New York（Flatiron 机构，纽约） ； New York University（纽约大学） ； Princeton University（普林斯顿大学） ； Sorbonne Université, CNRS, ISIR, Paris（索邦大学，CNRS，ISIR，巴黎） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出通过神经算子分裂在测试时增强泛化能力，实现零样本泛化并恢复底层PDE参数。

Large Causal Models for Temporal Causal Discovery

大规模因果模型用于时间因果发现

Nikolaos Kougioulis, Nikolaos Gkorgkolis, MingXue Wang, Bora Caglayan, Dario Simionato, Andrea Tonon, Ioannis Tsamardinos

机构 * Institute of Applied & Computational Mathematics, FORTH（应用与计算数学研究所，希腊国家科研院） ； Computer Science Department, University of Crete（克里特大学计算机科学系） ； Huawei Ireland Research Centre（华为爱尔兰研究中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出大规模因果模型（LCMs），通过结合合成生成器与现实数据集，实现大规模时间因果发现，提升模型性能与泛化能力。

Comments Accepted at European Conference on Machine Learning and Knowledge Discovery in Databases (ECML PKDD) 2026. 33 pages (including Appendix), 11 Figures

HomoEnsNER: Does Language Alignment Outperform Architectural Complexity in Gujarati Named Entity Recognition?

HomoEnsNER：古吉拉特语命名实体识别中语言对齐是否优于架构复杂度？

Chandrakant K. Bhogayata

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 该研究针对古吉拉特语NER，提出同构集成模型HomoEnsNER，经实验证实其F1值优于基线及异构模型，表明语言对齐比架构复杂度更适合低资源印度语言NER。

Comments 20 pages

One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP

用一个替代模型欺骗所有：基于CLIP的通用、可迁移且有针对性的对抗攻击

Binyan Xu, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。

Comments 22 pages, 15 figures, 18 tables. To appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2025

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor：一种用于多乐器音乐转录的开放模型

Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 研究多乐器音乐转录问题，核心方法是分析合成数据预训练有效性，结合真实音乐音频微调与强化学习后训练，还引入乐器存在条件定制转录，主要贡献是发布MuScriptor开放模型用于多种音乐录音。

Comments ISMIR 2026 Camera Ready

CANDLE: CTC-based Arabic Noisy-character Deduplication using a Lightweight Encoder

CANDLE: 基于轻量级编码器的阿拉伯语字符级噪声去重

Faris Alasmary, Taif Nono, Orjuwan Zaafarani, Kholood Al Tabash, Ahmad Ghannam, Anas Salamah, Shouq Sadah, Lahouari Ghouti

机构 * Abjad Ltd.（阿布贾有限公司） ； SDAIA - NCAI（SDAIA-国家人工智能 institute） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 提出CANDLE系统，利用连接主义时间分类（CTC）对阿拉伯语文本中的字符重复进行去重，无需手工规则或词典，在三个基准上达到5.37%的句子错误率，并通过知识蒸馏实现3倍深度缩减。

Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail

谱范围：理解神经缩放作为进入谱尾的进展

Konstantin Nikolaou, Jonas Scheunemann, Sven Krippendorf, Samuel Tovey, Christian Holm

机构 * Institute for Computational Physics, University of Stuttgart, Stuttgart, Germany（斯图加特大学计算物理研究所） ； Department of Applied Mathematics（应用数学系） ； Department of Physics, University of Cambridge, Cambridge, UK（剑桥大学物理系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出“谱位置”度量，通过经验神经正切核的特征值分析神经缩放定律，发现大模型通过“谱范围”进入更深的谱尾从而降低损失，并指出特征学习是关键机制。

StoryScope: Investigating idiosyncrasies in AI fiction

StoryScope：探究人工智能小说中的个体差异

Jenna Russell, Rishanth Rajendhran, Chau Minh Pham, Mohit Iyyer, John Wieting

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出StoryScope方法，通过分析叙事层面的特征区分AI和人类生成的故事，发现AI故事在主题解释和情节结构上更单一，而人类故事更具道德模糊性和时间复杂性。

Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions

Bagpiper: 通过丰富描述解决开放式音频任务

Jinchuan Tian, Haoran Wang, Bo-Hao Su, Chien-yu Huang, Qingzheng Wang, Jiatong Shi, William Chen, Xun Gong, Siddhant Arora, Chin-Jou Li, Masao Someki, Takashi Maekaku, Keita Goto, Yusuke Shinohara, Jin Sakuma, Chao-Han Huck Yang, Shinji Watanabe

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； LY Corporation（LY公司） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.CL

AI总结 提出Bagpiper，一个8B参数音频基础模型，通过丰富描述（自然语言描述）实现音频理解和生成的统一，在MMAU和AIRBench上超越Qwen-2.5-Omni，生成质量优于CosyVoice3和TangoFlux。

Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method

时间中心SIGReg改进多任务LeWorldModel学习：从分析到方法

Chang Liu, Fei Suo, Yanzhou Jin, Yusuke Iwasawa, Yutaka Matsuo, Yaonan Zhu

机构 * Graduate School of Engineering, The University of Tokyo（东京大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对SIGReg在多任务LeWM中导致表示混叠的问题，提出将其应用于时间中心残差的改进方法，在LIBERO基准上显著提升了多任务世界模型的下游性能。

Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

通过空间基础合成世界实现机器人的具身认知

Joel Currie, Gioele Migno, Enrico Piacenti, Maria Elena Giannaccini, Patric Bach, Davide De Tommaso, Agnieszka Wykowska

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 提出训练视觉语言模型执行视觉视角采择的概念框架，引入合成数据集用于空间推理任务监督学习，专注推断Z轴距离，数据集公开，为具身人工智能系统空间理解奠基。

Comments Accepted to: Intelligent Autonomous Systems (IAS) 2025 as Late Breaking Report

Knowledge-Guided Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Label-Conditioned Contrastive Alignment

通过标签条件对比对齐实现成人到儿科心电图转换的知识引导跨模态融合

Xinran Liu, Yuwen Li, Hongxiang Gao, Heyang Xu, Jianqing Li, Zongmin Wang, Chengyu Liu

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Nanjing Medical University（南京医科大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究针对成人与儿科心电图转换问题，提出知识引导的跨模态融合框架PEACE，通过标签条件对比对齐等方法，在有限监督下实现更好的儿科心电图解释，消融实验证明标签条件知识对齐是关键驱动因素。

Comments This article was accidentally submitted as a new arXiv paper instead of a replacement of arXiv:2605.00647. Please refer to arXiv:2605.00647 for the correct and updated version

Echoes Across Vietnam's Highlands, Delta, and Coast: A Multilingual Corpus for Cham, Khmer, and Tay-Nung

越南高地、三角洲和海岸的回声：占语、高棉语和岱侬语的多语言语料库

Anh Trac Duc Dinh, Khang Nhat Hoang Vo, Vinh Cong Doan, Tai Tien Ta, Khoa Duc Anh Lam

机构 * Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), VNU-HCM（胡志明市理工大学计算机科学与工程学院（胡志明市国立大学所属）） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 针对越南占语、高棉语和岱侬语在自然语言处理中缺乏语料库的问题，引入CKTN语料库，指出现有多语言编码器不足，采用脚本感知适应方法，得到分割减少、分类性能强的编码器，揭示词汇重叠检索评估局限。