语言大模型 / LLM

SOCpilot: Verifying Policy Compliance for LLM-Assisted Incident Response

SOCpilot: 验证LLM辅助事件响应中的政策合规性

Sidnei Barbieri, Leonardo Vaz de Meneses, Ágney Lopes Roth Ferraz, Lourenço Alves Pereira Júnior

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 SOCpilot通过固定事件包、行动目录、政策规则和验证器，验证LLM辅助事件响应计划的合规性，评估两个LLM提供商在金融行业案例中的表现，去除非合规动作并提供零成本准备检查。

ClawGuard: Out-of-Band Detection of LLM Agent Workflow Hijacking via EM Side Channel

ClawGuard: 通过电磁侧信道检测LLM代理工作流劫持

Leo Linqian Gan, Jeffery Wu, Longyuan Ge, Lanqing Yang, Yonghao Song, Jingkai Zhang, Haojia Jin, Weiyi Wang, Guangtao Xue

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 ClawGuard通过电磁侧信道检测LLM代理工作流劫持，利用电磁信号特征识别被篡改的代理行为，实现对主机软件 compromise 的物理验证。

Rethinking Data Curation in LLM Training: Online Reweighting Offers Better Generalization than Offline Methods

重新思考大语言模型训练中的数据整理：在线重加权优于离线方法

Wanru Zhao, Yihong Chen, Yuzhi Tang, Wentao Ma, Shengchao Hu, Shell Xu Hu, Alex Iacob, Abhinav Mehrotra, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； OATML, University of Oxford（牛津大学OATML实验室） ； University of Toronto（多伦多大学） ； Shanghai Jiao Tong University（上海交通大学） ； Samsung AI Center（三星人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出ADAPT框架，通过动态在线重加权提升模型泛化能力，实验显示其在指令微调和大规模预训练中优于传统离线方法。

Comments ICLR 2026

DataDignity: Training Data Attribution for Large Language Models

DataDignity: 为大语言模型训练数据的归因

Xiaomin Li, Andrzej Banburski-Fahey, Jaron Lanier

机构 * Microsoft（微软） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract_cn)；prompting(abstract)

AI总结 研究提出通过归因方法识别支持语言模型响应的文档，引入FakeWiki基准测试，评估ScoringModel在九个模型上的表现，提升Recall@10至52.2，展示训练数据归因需区分真实支持与主题或词汇相似性。

Agentic AIs Are the Missing Paradigm for Out-of-Distribution Generalization in Foundation Models

代理AI是基础模型在分布外泛化中的缺失范式

Xin Wang, Haibo Chen, Wenxuan Liu, Wenwu Zhu

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出代理系统是解决基础模型分布外泛化问题的必要范式，通过四个步骤论证代理系统在结构上超越了传统模型中心范式，提出了参数覆盖上限的理论，并反驳了七项反论点。

Comments 13 pages, 2 figures

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

探索联邦学习中大语言模型训练数据的跨客户端记忆化

Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

机构 * School of Information Science and Technology, VISTEC（信息科学与技术学院，VISTEC） ； College of Computing, Prince of Songkla University（颂克拉大学计算机学院） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

AI总结 本文研究联邦学习中大语言模型训练数据的记忆化问题，提出跨客户端记忆化测量框架，分析客户端间与客户端内记忆化差异及影响因素。

Comments Accepted to The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

SoccerMaster: A Vision Foundation Model for Soccer Understanding

SoccerMaster: 一种用于足球理解的视觉基础模型

Haolin Yang, Jiayuan Rao, Haoning Wu, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出SoccerMaster，一种统一的足球视觉理解模型，通过多任务预训练统一处理从细粒度感知到高层语义推理的多种任务，实验表明其在多种下游任务中表现优异。

Comments Accepted by CVPR 2026 (Oral); Project Page: https://haolinyang-hlyang.github.io/SoccerMaster

CircuitFormer: A Circuit Language Model for Analog Topology Design from Natural Language Prompt

CircuitFormer：一种用于从自然语言提示中进行模拟拓扑设计的电路语言模型

Md Touhidul Islam, Sujan Kumar Saha, Farimah Farahmandi, Mark Tehranipoor

机构 * Department of Electrical and Computer Engineering, University of Florida, Gainesville, FL, USA（佛罗里达大学电气与计算机工程系，盖恩斯维尔，佛罗里达州，美国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出CircuitFormer，一种专门用于模拟拓扑设计的电路语言模型，通过改进的电路图分词器CKT，实现了更高效的电路拓扑表示，提升了设计准确率和效率。

From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for Automatic Neologism Detection

从1.24亿个词到1021个新词：自动新词检测的大规模流水线

Diego Rossini, Lonneke van der Plas

机构 * Università della Svizzera italiana（瑞士意大利大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出一个可扩展的模块化流水线，结合规则过滤与LLM分类，通过语法和非语法形态学框架提取1021个新词候选，验证其有效性。

Comments 14 pages, 5 tables. Accepted at NeoLLM 2026 Workshop, co-located with LREC-COLING 2026

DINORANKCLIP: DINOv3 Distillation and Injection for Vision-Language Pretraining with High-Order Ranking Consistency

DINORANKCLIP：基于DINOv3蒸馏与注入的视觉-语言预训练高阶排名一致性方法

Shuyang Jiang, Nan Yu, Yiming Zhang, Zenghui Ding, Zhenyu Wu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Aimaikj（阿米亚克j） ； HFIPS, Chinese Academy of Sciences（中国科学院HFIPS） ； University of Science and Technology of China（中国科学技术大学） ； Chinese Academy of Sciences（中国科学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 DINORANKCLIP通过融合DINOv3教师模型与高阶排名一致性损失，改进CLIP在视觉-语言预训练中的表现，提升细粒度和分布外推理能力。

Comments 18 pages, 7 figures, 9 tables. Code will be made publicly available upon acceptance

Democratizing Tool Learning with Environments Fully Simulated by a Free 8B Language Model

用免费的8B语言模型完全模拟环境来民主化工具学习

Chenming Tang, Hsiu-Yuan Huang, Weijie Liu, Junqiang Zheng, Saiyong Yang, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； LLM Department, Tencent（腾讯LLM部门） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TRUSTEE方法，利用免费开源的8B语言模型模拟动态环境，结合自适应课程学习机制，有效训练工具调用代理，实验证明其在多数情况下优于需额外资源的基线方法。

Comments Preprint

How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

循环一次值有多大？循环语言模型的等深度缩放定律

Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich（慕尼黑技术大学人工智能在医疗和医学中的主任） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） ； Munich Center for Machine Learning (MCML), Germany（慕尼黑机器学习中心（MCML）） ； Hasso Plattner Institute for Digital Engineering, University of Potsdam, Germany（波茨坦大学数字工程霍普夫研究所） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过等深度预训练测量循环变换器中一次循环的价值，推导出缩放定律并发现循环等价指数φ=0.46，表明共享循环比独特块更差，展示了φ作为诊断工具的实用性。

Comments v3: substantially refined framing + minor corrections v2: added case studies on truncated-BPTT and hyperconnections

ANGOFA: Leveraging OFA Embedding Initialization and Synthetic Data for Angolan Language Model

ANGOFA: 利用OFA嵌入初始化和合成数据进行安哥拉语言模型

Osvaldo Luamba Quinjica, David Ifeoluwa Adelani

机构 * Masakhane NLP ； Department of Computer Science University College London（计算机科学系伦敦大学学院） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出四个针对安哥拉语言定制的预训练语言模型，采用多语言自适应微调方法，通过有意识的嵌入初始化和合成数据提升模型性能，优于SOTA AfroXLMR-base和OFA模型。

Comments Accepted at AfricaNLP 2024

3D MRI Image Pretraining via Controllable 2D Slice Navigation Task

通过可控的2D切片导航任务进行3D MRI图像预训练

Yu Wang, Qingchao Chen

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出通过可控2D切片导航任务预训练3D MRI图像，利用动作轨迹控制生成视频动作序列，提升解剖和空间表示学习能力。

Comments 9 pages, 5 figures

Mind the Gap? A Distributional Comparison of Real and Synthetic Priors for Tabular Foundation Models

注意差距？对现实和合成先验的分布比较用于表格基础模型

Alex O. Davies, Telmo de Menezes e Silva Filho, Nirav Ajmeri

机构 * School of Geographical Sciences University of Bristol, UK（布里斯托尔大学地理科学学院） ； School of Engineering Mathematics and Technology University of Bristol, UK（布里斯托尔大学工程数学与技术学院） ； School of Computer Science University of Bristol, UK（布里斯托尔大学计算机科学学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文比较了现实和合成先验在表格基础模型中的分布差异，发现合成先验在真实表格空间中占据狭窄区域，且无法通过优化超参数关闭匹配差距，表明分布差异对模型性能有影响。

When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds

何时以及为何SignSGD优于SGD：基于ℓ1范数下界的一个理论研究

Hongyi Tao, Dingzhi Yu, Lijun Zhang

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分析ℓ1范数站稳性、ℓ∞光滑性和可分离噪声模型，揭示SignSGD在稀疏噪声下比SGD更高效的原因，并证明其在矩阵域中的最优性。

Comments Code is available at https://github.com/Dingzhen230/SignSGD_Outperforms_SGD

Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production

暂停呼吸：自适应计算用于自 paced 序列生成

Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CYB损失函数，通过自适应计算机制提升模型表达能力，实验显示在预训练和微调中优于标准交叉熵，降低困惑度并提升下游任务准确率。

UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models

UniE2F: 一种基于视频基础模型的统一扩散框架用于事件到帧重建

Gang Xu, Zhiyu Zhu, Junhui Hou

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 本文提出UniE2F框架，利用预训练视频扩散模型的生成先验，从稀疏事件数据中重建高保真视频帧，通过引入事件基帧间残差引导提升重建精度，并扩展到零样本视频帧插值与预测。

Bridging Generation and Training: A Systematic Review of Quality Issues in LLMs for Code

连接生成与训练：LLMs用于代码的品质问题系统综述

Kaifeng He, Xiaojun Zhang, Peiliang Cai, Mingwei Liu, Yanlin Wang, Chong Wang, Kaifeng Huang, Bihuan Chen, Xin Peng, Zibin Zheng

机构 * Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文系统综述114项研究，探讨训练数据质量如何影响代码生成质量，建立统一分类体系，提出18种传播机制，并总结检测与缓解技术，指出质量保障正从事后过滤转向数据驱动的闭环修复。

Laya: A LeJEPA Approach to EEG via Latent Prediction over Reconstruction

Laya: 一种基于联合嵌入预测架构的EEG方法

Saarang Panchavati, Uddhav Panchavati, Hiroki Nariai, Corey Arnold, William Speier

机构 * Department of Medical Informatics（医学信息学系） ； UCLA（美国加利福尼亚大学洛杉矶分校） ； Department of Cognitive Science（认知科学系） ； UCSD（美国圣地亚哥大学） ； David Geffen School of Medicine（大卫·盖弗医学院） ； Mattel Children’s Hospital（马特尔儿童医院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出Laya，一种基于LeJEPA的EEG基础模型，通过预测潜在表示而非信号重建，提升EEG表示的语义结构和临床准确性。

Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models

双语婴儿语言模型的培养：利用小型模型研究多语言语言习得

Linda Zeng, Steven Y. Feng, Michael C. Frank

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过训练小型语言模型，研究多语言习得机制，发现双语模型在两种语言上均表现良好，表明多语言输入对统计学习者无实质挑战。

Comments Code and data at https://github.com/lindazeng979/bilingual-babyLM

Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization

通过控制最大化统一目标条件强化学习和无监督技能学习

Alireza Modirshanechi, Benjamin Eysenbach, Peter Dayan, Eric Schulz

机构 * Helmholtz Munich（海德堡大学慕尼黑分校） ； Max Planck Institute for Biological Cybernetics（生物 cybernetics 最大计划研究所） ； Princeton University（普林斯顿大学） ； University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过控制最大化理论统一了目标条件强化学习与无监督技能学习，揭示了两者在目标敏感性上的联系，并证明了不同GCRL形式的不等价性及与MISL目标的对应关系。

Does Synthetic Data Help? Empirical Evidence from Deep Learning Time Series Forecasters

合成数据有帮助吗？来自深度学习时间序列预测器的实证证据

Hugo Cazaux, Eyjólfur Ingi Ásgeirsson, Hlynur Stefánsson

机构 * Department of Engineering（工程系） ； Reykjavík University（雷克雅未克大学） ； Iceland（冰岛） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过大规模实证研究探讨合成数据在时间序列预测中的作用，发现通道混合模型在多数实验中受益，而通道独立模型则表现下降，提出使用合成增强需考虑模型架构和数据集依赖性。

Channel-Level Semantic Perturbations: Unlearnable Examples for Diverse Training Paradigms

通道级语义扰动：用于多样化训练范式的不可学习示例

Bo Wang, Jia Ni, Mengnan Zhao, Zhan Qin, Kui Ren

机构 * School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院） ； School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在不同训练范式下不可学习示例的有效性，发现预训练权重会削弱现有方法效果，并提出Shallow Semantic Camouflage策略以提升数据不可学习性。

Latent Generative Solvers for Generalizable Long-Term Physics Simulation

潜在生成求解器用于通用的长期物理模拟

Zituo Chen, Sili Deng

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出潜在生成求解器(LGS)，通过物理变分自编码器、分层流强迫变换器和训练中的输入噪声，实现了对异构PDE家族的泛化和长序列稳定性，有效提升了物理模拟的性能。

Optimal In-context Adaptivity and Distributional Robustness of Transformers

Transformer的最优上下文适应性与分布鲁棒性

Tianyi Ma, Tengyao Wang, Richard J. Samworth

机构 * Statistical Laboratory, University of Cambridge（剑桥大学统计实验室） ； Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文研究了Transformer在不同测试分布下的性能，证明了预训练模型在固定难度任务上能实现最优收敛速度，并对分布偏移具有鲁棒性。

Comments 47 pages, 4 figures

SPARK: Self-Play with Asymmetric Reward from Knowledge Graphs

SPARK：基于知识图谱的异步奖励自我对抗学习

Hyobin Park, Taeseop Kim, Dong-Geol Choi

机构 * Hanbat National University, South Korea（韩国翰bac国立大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 SPARK通过构建统一知识图谱实现多文档科学文献的自我对抗学习，利用图路径生成关系推理问题并基于结构化事实计算奖励，优于传统自对抗基线方法。

A Multi-Head Attention Approach for SLA Compliance Monitoring in Data Centers

面向数据中心SLA合规监控的多头注意力方法

Omanshu Thapliyal

机构 * Researcher, Strategic Data Solutions Lab（研究人员，战略数据解决方案实验室） ； Hitachi America Ltd.（日立美国有限公司） ； Santa Clara, USA（美国圣克拉拉） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出一种多头注意力模型，用于提前预测数据中心SLA违规，通过结构化JSON编码SLA规则生成训练数据，提升合规监控效率和财务风险控制能力。

Comments 6 pages, 9 figures, 46th IEEE International Conference on Distributed Computing Systems

Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction

超越语义相似性：通过直接语料交互重新思考代理搜索的检索

Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, Yuyu Zhang, Jianwen Xie, Yejin Choi, James Zou, Jiawei Han, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

机构 * Texas A&M University（德克萨斯A&M大学） ； University of Waterloo（滑铁卢大学） ； UC San Diego（圣地亚哥大学） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Verdent AI ； Lambda 纠错

专题命中 预训练与数据 ：language agent(abstract)；分类 cs.AI

AI总结 本文提出直接语料交互（DCI）方法，通过通用终端工具直接搜索原始语料，无需嵌入模型或检索接口，有效提升代理搜索性能。

LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation

LiCamPose：结合多视角LiDAR和RGB相机实现鲁棒的单帧3D人体姿态估计

Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

机构 * Department of Automation, BNRist, Tsinghua University, China（自动化系、北京人工智能研究院、清华大学、中国） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出LiCamPose，结合多视角RGB和稀疏点云数据，通过单帧实现鲁棒的3D人体姿态估计，并设计了合成数据生成器和无监督域适应策略，验证了方法在多种数据集上的泛化能力。

Comments Accepted by WACV2025