语言大模型 / LLM

The Linguistics Olympiads: Towards a New Corpus for Linguistics Research?

语言学奥林匹克：语言学研究的语料库新方向？

Vlad A. Neacsu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨语言学奥林匹克问题作为语言学语料库的潜力，分析其优势与局限，并提出在学术研究中负责任使用的标准。

Comments Accepted for publication in LingBaW. Linguistics Beyond and Within (Volume 12, 2026)

Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data

利用音频大语言模型过滤语音到语音训练数据

Qixu Chen, Satoshi Nakamura

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Rank-to-Distill策略，训练音频大语言模型直接从语音对判断保留/丢弃，过滤噪声数据，提升端到端语音翻译性能。

Comments Accepted to INTERSPEECH 2026

HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers

HYDRA-X: 具有整体视觉分词器的原生统一多模态模型

Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, Junzhe Li, Tao Huang, Xiao Zhang, Yang Li, Jianbing Wu, Miles Yang, Zhao Zhong, Liefeng Bo, Limin Wang

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。

AAbAAC: An Annotated Corpus for Autoimmunity Information Extraction

AAbAAC：用于自身免疫信息抽取的标注语料库

Fabien Maury, Solène Grosdidier, Maud de Dieuleveult, Adrien Coulet

机构 * Inserm, Université Paris Cité, U1163 Institut Imagine（法国国家健康与医学研究院、巴黎西岱大学、U1163 想象研究所） ； Inria, Inserm, Université Paris Cité, U1346 HeKA（法国国家信息与自动化研究所、法国国家健康与医学研究院、巴黎西岱大学、U1346 HeKA） ； Freelance researcher（自由研究员） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对自身免疫领域信息抽取性能不足，构建了包含115篇PubMed摘要的AAbAAC语料库，手动标注实体和关系，通过微调NER模型验证了其有效性。

Journal ref BioNLP 2026 - 25th Workshop on Biomedical Natural Language Processing, ACL, Jul 2026, San Diego (CA), United States

Bergson: An Open Source Library for Data Attribution

Bergson：一个用于数据归因的开源库

Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

机构 * EleutherAI ； Independent 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Bergson开源库，支持大规模语言模型和预训练数据集的多种数据归因方法，提供磁盘梯度存储和多节点分布式训练，首次开源实现MAGIC、SOURCE和TrackStar三种方法。

Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence

注意力中的相变：复制头涌现的贝叶斯理论

Itay Lavie, Kirsten Fischer, Andrey Lekov, Frederic Van Maele, Zohar Ringel, Moritz Helias

机构 * Racah Institute of Physics, Hebrew University of Jerusalem（拉卡学院物理研究所，耶路撒冷希伯来大学） ； John A. Paulson School of Engineering and Applied Sciences, Harvard University（约翰·A·保罗森工程与应用科学学校，哈佛大学） ； Institute for Advanced Simulation (IAS-6), Computational and Systems Neuroscience, Jülich Research Center（高级模拟研究所（IAS-6），计算与系统神经科学，茹里奇研究中心） ； Institute of AI for Health, Helmholtz Munich（健康人工智能研究所，海德堡-穆恩） ； RWTH Aachen University（亚琛工业大学） ； Department of Physics, Faculty 1, RWTH Aachen University（物理系，亚琛工业大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过分析单层softmax注意力网络在复制任务上的训练，提出贝叶斯理论揭示注意力矩阵的后验分布存在相变，并对比线性注意力发现softmax注意力呈现一阶相变。

Piper: A Programmable Distributed Training System

Piper: 可编程的分布式训练系统

Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

机构 * University of Washington（华盛顿大学） ； University of Washington and Shanghai Jiao Tong University（华盛顿大学和上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出Piper系统，通过解耦策略与运行时实现，允许用户用少量注解和调度指令声明分布式训练策略，并编译为设备执行计划，支持常见策略并实现组合策略的联合调度优化。

STORM: Stepwise Token Optimization with Reward-Guided Beam Search

STORM: 基于奖励引导束搜索的逐步令牌优化

Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

机构 * MILA – Quebec AI Institute & ILLS（魁北克人工智能研究所与ILLs） ； Université Paris-Saclay & CentraleSupélec & CNRS（巴黎-萨克雷大学及CentraleSupélec与CNRS） ； Air Liquide ； Sorbonne Université & ISIR & CNRS（索邦大学及ISIR与CNRS） ； Sapienza, University of Rome（罗马大学Sapienza） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出STORM框架，通过检索奖励引导的束搜索在每一步优化令牌选择，实现词汇检索的查询扩展，在多个基准上匹配或超越大模型重写器，并零样本迁移至18种语言。

In-Context Learning for Latent Space Bayesian Optimization

潜空间贝叶斯优化的上下文学习

Tuan A. Vu, Harri Lähdesmäki, Julien Martinelli

机构 * Aalto University（阿尔托大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对潜空间贝叶斯优化中上下文学习模型与优化任务不匹配的问题，提出在分子VAE潜空间上定义合成优化任务进行持续预训练，并引入正则化器保持原始先验，显著提升分子优化性能。

Automated IEP Generation from Traditional Chinese Parent-Teacher Interviews via Corpus-Grounded Feature Diffusion

基于语料库特征扩散的繁体中文家长会自动化个别化教育计划生成

Kuanlin Chen, Cheng-En Ou

机构 * National University of Singapore（新加坡国立大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对繁体中文个别化教育计划（IEP）生成中数据稀缺和隐私限制问题，提出基于语料库特征扩散（CGFD）的低资源微调流程，通过种子选择、特征扩散和语法约束解码（GCD）生成高质量样本，并发现GCD在繁体中文下适得其反，无GCD路径在可靠性和速度上更优。

Comments 12 pages, 5 figures

AgentTrust: A Self-Improving Trust Layer for AI-Agent Actions

AgentTrust: AI代理行为的自改进信任层

Chenglin Yang

机构 * Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出AgentTrust v2，通过威胁类型分类（词汇/语义）和自学习机制，在代理行为中实现自改进信任决策，显著提升语义威胁检测准确率并降低误拦。

Comments 29 pages, 5 figures

Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress

朋友还是敌人？俄罗斯虚假信息压力下开放权重大语言模型中的语言意识形态开关

Anna Małgorzata Kamińska, Tetiana Klynina

机构 * Institute of Culture Studies, University of Silesia in Katowice（文化研究学院，卡托维察大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； National Aviation University（国家航空大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过控制实验发现，针对不同语言社区微调的大语言模型在俄罗斯虚假信息压力下，其抵抗能力与预期文化对齐方向相反，揭示了微调悖论。

ReadingMachine: A Computational Methodology for Structured Corpus Reading and Large-Scale Synthesis

ReadingMachine：一种结构化语料库阅读与大规模综合的计算方法

James Morrissey

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ReadingMachine方法，利用大语言模型对文档集合进行有界阅读，通过洞察提取、语义聚类、主题生成和迭代遗漏检测等可检查阶段，实现大规模语料库的覆盖性、可追溯性和分歧保留。

Comments 32 pages, 1 figure

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

Socratic-SWE：通过轨迹衍生智能体技能实现自我进化的编码智能体

Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

机构 * AI Data, Alibaba Group（阿里云数据） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Socratic-SWE闭环自进化框架，通过将智能体历史求解轨迹蒸馏为结构化技能，生成针对性修复任务，实现编码智能体的持续自我改进。

Comments 21 pages, 5 figures. Under review

Split the Labor: Separating Evidence Interpretation from Decision Aggregation

分工：将证据解释与决策聚合分离

Zhelun Wu

机构 * Atlassian（亚特兰西安公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出将证据解释与决策聚合分离，设计四字段证据元组解决计数尺度漂移问题，在纵向语料库上实现了优于基线的AUPRC性能。

Comments Atlassian. 22 pages, 2 figures

Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation

重新思考多模态零样本异常检测中的辅助模态：从语义融合到条件调制

Peng Wu, Xin Ge, Yujia Sun, Guansong Pang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本研究针对现有多模态零样本异常检测方法的缺陷，提出即插即用的辅助条件增强框架，通过全局到局部的条件调制实现选择性多模态增强，在MVTec 3D-AD等数据集上提升了现有RGB零样本异常检测器的性能并达到最优。

Structure then Query: Enabling Precise Analytical Queries over Unstructured Documents

先结构后查询：支持对非结构化文档进行精确分析查询

Teng Lin, Yuyu Luo, Nan Tang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 AnnoIndex通过注释索引与结构化查询引擎，解决非结构化文档精确分析查询难题，在三个数据集上平均F1达0.87，优于现有基线方法。

Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs

超越视觉证据：揭示并缓解文档多模态大语言模型中的关系隐私泄露

Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty

机构 * Faculty of Engineering, Shenzhen MSU-BIT University（深圳北理莫斯科大学工程学院） ； Faculty of CMC, Shenzhen MSU-BIT University（深圳北理莫斯科大学计算机、数学与力学学院） ； Department of CDS, Indian Institute of Science（印度科学学院计算机与数据科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本文针对文档理解MLLMs的KIE任务，揭示其在视觉证据不足时会通过记忆的字段关系泄露隐私，提出DRUF框架与DocPrivacyBench基准，实验显示DRUF可提升泄露抑制效果并维持KIE性能。

Comments ACM mm 2026

SAR2Agri: Learning SAR Intensity Representations for Agricultural Monitoring

SAR2Agri：学习SAR强度表征用于农业监测

Moti Rattan Gupta, Anupam Sobti

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本研究提出首个仅用SAR强度影像的自监督学习流水线，通过改进时间预文本任务提升物候特征捕捉能力，在SICKLE基准上的作物类型制图任务中，其IoU较光学基线和现有SAR基线均有显著提升，验证了SAR强度编码器预训练的有效性。

FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search

FaLCon：用于Sim2Real基于文本的行人异常搜索的基于面锚定的后期共识检索

Hieu Dinh Trung Pham, Phuong Huu Vu Tran, Thuan Duc Mai, Son Nguyen Minh Le, Khang Le Minh, Hoang Vo, Minh-Chi Phung, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology（信息技术大学） ； Ho Chi Minh city University of Science（胡志明市科学大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 该研究针对Sim2Real基于文本的行人异常搜索的挑战，提出FaLCon框架，结合全局匹配与细粒度验证，在PAB基准上取得优异性能，代码将开源。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models

LAWM-3D：从人类视频中学习具有3D感知能力的潜在动作以构建可泛化的机器人世界模型

Jiarui Yang, Jiale Zhange, Jiawei Li, Hang Guo, Wen Huang, Jinpeng Wang, Peidong Liu, Shu-Tao Xia

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本研究针对现有潜在动作模型缺乏3D感知能力的问题，提出LAWM-3D模型，通过多视图动作 token 化、几何对齐约束和RGB-D联合重建目标，实现了性能SOTA的机器人世界模型。

NIXT: A NCCL Inspector Exporter Tool for Observability of Collective Communication in Large Model Training

NIXT：用于大模型训练中集合通信可观测性的NCCL检查器导出工具

Ziyang Jia, Sirshak Das, Jason Sewall, Laxmi Bhuyan, Pasha Shamis, Daniel Wong

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)

AI总结 本文提出NIXT工具，解决NCCL Inspector数据量大难以分析的问题，通过案例展示其在大模型训练中提升集合通信可观测性、定位性能问题的作用。

Comments Accepted at IEEE IISWC 2026

Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography

Rad-JEPA 3D：用于三维计算机断层扫描的放射学联合嵌入预测模型

Quoc-Huy Trinh, Minh-Van Nguyen, Ulas Bagci

机构 * Northwestern University（西北大学） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 Rad-JEPA 3D是用于3D CT的自监督联合嵌入预测框架，采用混合H-Mamba编码器与HSOR正则化，在12万次CT扫描预训练后，在器官识别、空间推理等任务上达到最优性能。

Rethinking Training Data for Generating Code Review Comments

重新思考用于生成代码审查评论的训练数据

Leonardo Centellas-Claros, Estefania Pakarati-Cofre, Juan Pablo Sandoval Alcocer, Diego Elias Costa

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)

AI总结 研究代码审查评论生成，指出尽管有进展但生成的评论存在问题，通过实证检查识别出不匹配训练对并得出分类法，探讨纳入分类法能否改善问题，发现仍有挑战，认为改进需更多举措而非仅数据集清理。

Comments Paper accepted to ICSME 2026

$N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens

$N_0$-VTLA：使用潜在触觉令牌扩展视觉-触觉-语言-动作模型

NeoteAI Team, Fudan TEAI Team

机构 * NeoteAI Team（NeoteAI团队） ； Fudan TEAI Team（复旦大学TEAI团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；post-training(abstract)

AI总结 研究提出$N_0$-VTLA模型，基于视觉主干，通过视觉-触觉预训练、分阶段触觉路径集成和优势条件离线策略改进进行触觉集成训练。该模型在丰富接触基准测试中表现出色，为通用触觉驱动操作策略奠定基础。

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

基于字节前缀边缘化的跨分词器策略内蒸馏

Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； KwaiKAT Team（快手KwaiKAT团队） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何通过策略内蒸馏整合不同家族语言模型，提出字节前缀边缘化方法，在共享字节空间重表达教师下一个令牌分布，在数学和编程基准测试中，该方法优于现有跨分词器方法，提升了平均准确率。

Comments Project page: https://bpm-opd.github.io/

UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation

UniNDM：文本到图像生成中针对性内容的统一噪声驱动检测与缓解框架

Yao Huang, Yitong Sun, Huanran Chen, Ruochen Zhang, Shouwei Ruan, Ranjie Duan, Maoxun Yuan, Yinpeng Dong, Hui Xue, Xiaochun Cao, Xingxing Wei

机构 * Institute of Artificial Intelligence, State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室人工智能研究院） ； College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院） ； Security Department, Alibaba Group（阿里巴巴集团安全部） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区网络科学与技术学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 针对文本到图像生成易受隐式性提示影响的问题，提出UniNDM统一噪声驱动框架。利用早期预测噪声的可分离性开发轻量级检测器，引入噪声增强自适应负引导缓解问题，扩展到扩散变压器架构，实验显示比现有方法有显著改进。

Comments 18 pages, 10 figures, accepted by TPAMI

Specification-Driven Development as the Foundation of AI-Native Enterprise Software Engineering

规范驱动开发作为人工智能原生企业软件工程的基础

Mamdouh Alenezi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究大语言模型和智能人工智能推动下软件工程范式转变，介绍规范驱动开发，提出规范治理参考模型，经评估能减少安全缺陷、缩短上市时间，证明企业软件需规范治理，vibe编码适用于构思和快速原型制作。

FirmPilot: Evidence-Guided Multi-Agent Environment Recovery for IoT Firmware Rehosting

FirmPilot：用于物联网固件重新托管的证据引导多智能体环境恢复

Yanbing Shen, Fan Zhang, Haitao Xu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究针对物联网固件重新托管管道脆弱问题，提出证据引导多智能体框架FirmPilot，通过迭代环境重建解决跨层依赖，经实验验证其能提升可达性、增加检测服务数并支持下游分析，提高了固件重新托管的成功率和效用。

Comments 11 pages, 10 figures, 7 tables

Is External Database Protection Static in Retrieval-Augmented Generation? Rethinking Privacy Preservation under Dynamic Queries

检索增强生成中的外部数据库保护是静态的吗？重新思考动态查询下的隐私保护

Gang Zhang, Mingyu Tian, Xukun Luan, Yuanchi Ma, Jinyan Liu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究检索增强生成中外部数据库隐私保护问题，提出Prompt-Aware动态分层差分隐私框架PA-HDP，通过风险分层评估和自适应保护，在减少隐私泄露的同时保持高检索质量，实现更好的隐私-效用权衡。