语言大模型 / LLM

Trace Reconstruction with Language Models

基于语言模型的迹重建

Franziska Weindel, Michael Girsch, Reinhard Heckel

机构 * School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.LG

AI总结 提出TReconLM解码器仅变换器，将迹重建视为下一个标记预测任务，在合成和真实数据上预训练和微调，显著优于现有算法。

Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

一路相似：大语言模型中的多语言泛化依赖于语言层面的相似性结构

Supantho Rakshit, Adele Goldberg, Henry Conklin

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型多语言泛化能力，通过借鉴认知科学，探究其对不同语言层次相似性结构的捕捉，发现潜在表示能恢复印欧语系语言家族树结构，且模型反映语言相似性程度与XNLI表现相关，扩展了相似性驱动泛化工作。

Comments Accepted for oral presentation at CogSci 2026 (48th Annual Meeting of the Cognitive Science Society), Rio de Janeiro. 8 pages, 3 figures

MetaLint: Easy-to-Hard Generalization for Code Linting

MetaLint: 代码检查的易到难泛化

Atharva Naik, Lawanya Baghel, Dhakshin Govindarajan, Darsh Agrawal, Yiqing Xie, Daniel Fried, Carolyn Rose

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 MetaLint通过元学习框架将代码检查转化为指令遵循任务，能根据自然语言规范评估代码是否符合最佳实践，实现无需重新训练的泛化能力，且在不同编程语言和场景中表现优异。

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

破碎的组合性：变换器在算术中的反直觉学习动态

Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系） ； Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现变换器在学习算术任务时表现出反直觉的组合性，其学习动态受训练数据相关性影响而非因果或程序性组合。

Comments 37 pages, 29 figures

Improving Attributed Long-form Question Answering with Intent Awareness

通过意图意识提升带有属性的长形式问答

Xinran Zhao, Aakanksha Naik, Jay DeYoung, Joseph Chee Chang, Jena D. Hwang, Tongshuang Wu, Varsha Kishore

机构 * Allen Institute for AI（艾伦人工智能研究所） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过增强模型意图意识来提升长报告生成质量，通过结构化标签方案提取隐含意图，改进零样本生成能力并生成高质量合成数据，实验显示在科学报告生成任务中模型性能平均提升2.9和12.3个百分点。

Comments 39 pages, 7 figures

Journal ref ICLR 2026

Leveraging Synthetic Data for Question Answering with Multilingual LLMs in the Agricultural Domain

利用合成数据结合多语言大语言模型（LLMs）处理农业领域的问答任务

Rishemjit Kaur, Arshdeep Singh Bhankhar, Jashanpreet Singh Salh, Sudhir Rajput, Vidhi, Kashish Mahendra, Bhavika Berwal, Ritesh Kumar, Surangika Ranathunga

机构 * CSIR-Central Scientific Instruments Organisation, India（印度CSIR-中央科学仪器组织） ； Academy of Scientific and Innovative Research (AcSIR), Ghaziabad, U.P, India（印度科学与创新研究院（AcSIR）） ； School of Mathematical and Computational Sciences, Massey University, New Zealand（梅西大学数学与计算科学学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对通用多语言LLMs在农业领域问答中精准性不足的问题，利用印度农业文档生成多语言合成数据集微调LLMs，显著提升了模型的事实性、相关性与农业共识性。

Comments 19 pages, 7 tables, Appendix A-Q

Phantoms and Disclosures: A Statistical Framework for Auditing Privacy in Synthetic Data

幻象与披露：合成数据审计的因果框架

Kareem Amin, Rudrajit Das, Alessandro Epasto, Adel Javanmard, Dennis Kraft, Mónica Ribero, Sergei Vassilvitskii

机构 * Google（谷歌） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个可定制的实证审计框架，通过区分真实披露与幻象披露，利用统计假设检验检测合成数据中的隐私泄露，无需模型访问或参考模型，提供比先前方法更紧的隐私泄露下界。

Comments 35 pages, 10 tables, 5 figures

Token Geometry

Token几何

Kathan Shah

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 发现嵌入表和LM头的梯度几何特性，提出轻量优化器Ember，在微调、强化学习和预训练中提升帕累托前沿，仅需KB级优化器状态。

SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data

SynthSAEBench: 评估可扩展真实合成数据上的稀疏自编码器

David Chanin, Adrià Garriga-Alonso

机构 * University College London（伦敦大学学院） ； Decode Research（Decode研究） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 SynthSAEBench通过生成大规模真实合成数据，提供标准化基准模型，用于评估稀疏自编码器架构的改进和失败模式。

Less Is More: Reducing Token Counts Without Compromising Performance

少即是多：在不影响性能的情况下减少词元数量

Gyeongje Cho, Yeonkyoung So, Sangmin Lee, Jaejin Lee

机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） ； Department of Computer Science, Seoul National University（计算机科学系，首尔国立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何在不影响大语言模型性能的前提下减少词元数量，提出Thunder-Tok子词元分词器，先构建种子词汇表并过滤不完整候选词元，再用基于似然的词元分数修剪，实验证明该方法能有效降低词元生成率并保持性能。

Exploration of LLMs, EEG, and behavioral data to measure and support attention and sleep

探索LLMs、EEG和行为数据以测量和支持注意力与睡眠

Akane Sano, Judith Amores, Mary Czerwinski

机构 * Rice University（里士大学） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探索利用大语言模型（LLMs）结合脑电图（EEG）和活动数据估计注意力状态、睡眠阶段和质量，并生成改善建议和引导想象脚本，发现LLMs能基于行为特征评估睡眠质量，但基于EEG和活动数据的检测需更多训练数据。

Spectral Scaling Laws of Muon

Muon的谱缩放定律

Gagik Magakyan, Pablo Parrilo, Asuman Ozdaglar

机构 * MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统研究了Muon优化器中动量矩阵奇异值谱随模型大小的缩放行为，发现其遵循幂律，并据此提出层感知的牛顿-舒尔茨迭代配置选择方法以减少计算开销。

HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification

HalluTruthQA-4K：面向阿拉伯语幻觉检测与事实验证的细粒度语料库及标注流程

Salah Eddine Bekhouche, Abdessalam Bouchekif, Hichem Telli, Mohammed-En-Nadhir Zighem, Abdenour Hadid

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出HalluTruthQA-4K，这一含4000个阿拉伯语问答实例的细粒度语料库，用于阿拉伯语幻觉检测等任务，为HalluScoring 2026共享任务提供官方数据集。

PAM: Training Policy-Aligned Moderation Filters at Scale

PAM：在大规模上训练策略对齐的 moderation 过滤器

Masoomali Fatehkia, Enes Altinisik, Mohamed Osman, Husrev Taha Sencar

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 PAM 提出了一种灵活的框架，用于训练基于用户定义策略的定制 moderation 过滤器，能够在大规模上实现更广泛的对齐需求，并在多个基准测试中表现优于现有方法。

RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

RealityBridge: 连接可编辑3D高斯泼溅驾驶模拟与现实世界视频

Zhenhua Wu, Yun Pang, Mingkun Chang, Yuwei Ning, Liangzhi Wang, Yi Xiao, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出RealityBridge框架，利用多模态控制和轻量级GateNet，结合自回归长视频训练与奖励引导后训练，缩小编辑后3DGS驾驶视频的Sim-to-Real差距，提升视觉真实感和时间一致性。

Comments Under submission

LiteResearcher: A Scalable Agentic RL Training Framework for Deep Research Agent

LiteResearcher：一种用于深度研究代理的可扩展代理强化学习训练框架

Bince Qu, Wanli Li, Bo Pan, Jianyu Zhang, Zheng Liu, Pan Zhang, Wei Chen, Bo Zhang

机构 * Zhejiang University（浙江大学） ； Simplex AI ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 LiteResearcher通过构建轻量虚拟世界提升代理强化学习的可扩展性，使小规模搜索代理在GAIA和Xbench等基准上取得state-of-the-art结果。

Comments COLM 2026

K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

K12-KGraph：一种对齐课程的图谱用于基准测试和训练教育大语言模型

Hao Liang, Qihan Lin, Zhaoyang Han, Xiaochen Ma, Zhen Hao Wong, Meiyi Qiang, Linzhuang Sun, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； OriginHub Technology（OriginHub技术） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出K12-KGraph，基于中小学教材构建的课程对齐知识图谱，用于构建多选基准测试K12-Bench和训练数据集K12-Train，验证课程结构监督在教育模型训练中的高效性。

Test-Input Generation for Tensor Programs: What Actually Finds Kernel Bugs

张量程序测试输入生成：什么真正发现内核错误

Dipankar Sarkar

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 通过GPU模拟器模糊测试，比较七种测试生成策略在26个操作上的效果，发现边界形状采样在错误召回率（78%）和假阳性率（0%）上表现最佳。

Comments 8 pages, 1 figure, LNCS format. Companion paper: arXiv:2606.20128

The Impact of Editorial Intervention on Detecting Native Language Traces

编辑干预对检测母语痕迹的影响

Ahmet Yavuz Uluslu, Mark Gales, Kate Knill, Gerold Schneider

机构 * University of Cambridge（剑桥大学） ； University of Zurich（苏黎世大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了编辑干预对母语识别鲁棒性的影响，发现深层母语特征在轻微编辑中仍能保持，而流畅性编辑和改写会显著降低识别性能。

Comments KONVENS 2026

Operator-Aware Mixed-Precision Tolerance Calibration for Tensor Kernels

张量内核的算子感知混合精度容差校准

Dipankar Sarkar

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究张量内核正确性测试的容差校准问题，通过挖掘测试用例误差分布提出新容差，经实验，对特定错误变体校准容差提高了错误检测召回率，虽有少量误报增加，但整体提升了检测效果。

Comments 8 pages, 1 figure, LNCS format. Companion paper: arXiv:2606.20128 (P1)

Dr. Zero: Self-Evolving Search Agents without Training Data

零博士：无需训练数据的自我进化搜索智能体

Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究在高质量数据难获取时智能体自我进化问题，提出零博士框架，通过自我进化反馈循环和HRPO方法，使搜索智能体无需训练数据自我进化，在问答基准测试中表现出色，证明可仅通过自我进化实现强大智能搜索和推理。

Comments COLM 2026

When AI Takes the Couch: Psychometric Jailbreaks Reveal Internal Conflict in Frontier Models

当人工智能接受心理治疗：心理测量越狱揭示前沿模型中的内部冲突

Afshin Khadangi, Hanna Marxen, Amir Sartipi, Igor Tchappi, Gilbert Fridgen

机构 * SnT, University of Luxembourg（卢森堡大学SnT学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究前沿语言模型生成拟人化自我叙述机制，用PsAIch协议测试，发现其叙述受多种因素影响，确定了稳定的对齐冲突模式，为拟人化披露和安全评估提供依据。

Pretrained Event Classification Model for High Energy Physics Analysis

用于高能物理分析的预训练事件分类模型

Joshua Ho, Benjamin Ryan Roberts, Shuo Han, Haichen Wang

机构 * Department of Physics, University of California, Berkeley, CA 94720（加州大学伯克利分校物理系） ； Physics Division, Lawrence Berkeley National Laboratory, Berkeley CA 94720（伯克利国家实验室物理部） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出基于图神经网络的预训练事件分类模型，通过1.2亿个模拟质子-质子碰撞事件学习通用表示，验证其在不同模拟框架下的泛化能力，并通过微调提升分类性能与效率。

Comments 13 pages, 2 figures

Journal ref JINST 21 (2026) P08006

Tactile Modality Fusion for Vision-Language-Action Models

触觉模态融合用于视觉-语言-动作模型

Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出TacFiLM，一种轻量级模态融合方法，将视觉-触觉信号整合到视觉-语言-动作（VLA）模型中。通过特征级线性调制（FiLM）对中间视觉特征进行条件化，提升接触丰富操作行为的性能。

Comments Accepted to the European Conference on Computer Vision (ECCV), 2026, 20 pages, 5 figures

FARS: A Fully Automated Research System Deployed at Scale

FARS：一个大规模部署的全自动研究系统

Qiong Tang, Tianxiang Sun, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao, Bobo Li, Changze Lv, Cheng Xu, Chengsong Huang, Chunyang Li, Dizhan Xue, Hao Bai, Haodong Duan, Hengquan Guo, Hongyang He, Hongyi Chen, Hui Shen, Jiahao Yuan, Jiankai Sun, Jikang Cheng, Jinfeng Xu, Jingqi Tong, Jingye Chen, Jinxiu Liu, Jixuan Leng, Junchi Yu, Kaixun Jiang, Kun Xiang, Kunpeng Yao, Lang Feng, Liangqi Yuan, Longsen Gao, Meng Li, Qi Jia, Qiushi Sun, Shengyuan Ding, Shizhan Gong, Siru Zhong, Terry Jingchen Zhang, Tianle Gu, Tianyi Liang, Weijie Liu, Weikai Yang, Weizhi Fei, Xin Wang, Xinpeng Liu, Xuanwen Ding, Yihong Tang, Yuanli Wang, Yukun Jiang, Yuming Yang, Zhengbao He, Zhikai Chen, Zhikun Xu, Zhuang Li, Zihao Huang

机构 * Analemma ； National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） ； University College Dublin（都柏林大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； ByteDance（字节跳动） ； ShanghaiTech University（上海科技大学） ； University of Warwick（华威大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； East China Normal University（华东师范大学） ； Stanford University（斯坦福大学） ； Tencent（腾讯） ； The University of Hong Kong（香港大学） ； Shanghai Innovation Institute（上海创新研究院） ； Nex-AGI Team（Nex-AGI团队） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出FARS系统，通过分阶段智能体协作自动生成研究项目，在67个AI/ML主题上产出166篇论文，经282份评审验证其可产出有价值成果，同时暴露实验范围窄、方法局限和诚信问题。

Private Seeds, Public LLMs: Realistic and Privacy-Preserving Synthetic Data Generation

隐私种子，公开大语言模型：现实且隐私保护的合成数据生成

Qian Ma, Sarah Rajtmajer

机构 * Information Sciences and Technology, The Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RPSG方法，通过隐私种子和差分隐私机制生成高保真且隐私保护的合成数据，实验验证其在隐私与效用平衡上的优势。

Comments Published in Findings of the Association for Computational Linguistics: ACL 2026. Camera-ready version

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 189-210, Association for Computational Linguistics, 2026

Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval

Omni-Embed-Audio: 利用多模态大语言模型实现鲁棒的音频-文本检索

HaeJun Yoo, Yongseop Shin, Insung Lee, Myoung-Wan Koo, Du-Seong Chang

机构 * Sogang University（首尔大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出Omni-Embed-Audio（OEA）检索编码器，利用多模态大语言模型原生理解音频，并通过用户意图查询（UIQ）和硬负样本挖掘，在文本到音频检索中达到与M2D-CLAP相当的性能，同时在文本到文本检索和硬负样本判别上显著优于现有方法。

Comments Accepted at ACL 2026 Main Conference. Camera-ready version

ChemGraph-XANES: An Agentic Framework for XANES Simulation and Curation

ChemGraph-XANES：用于XANES模拟与分析的代理框架

Vitor F. Grizzi, Thang Duc Pham, Luke N. Pretzie, Jiayi Xu, Murat Keceli, Cong Liu

机构 * Chemical Sciences and Engineering Division Argonne National Laboratory（阿贡国家实验室化学科学与工程部） ； Computational Science Division Argonne National Laboratory（阿贡国家实验室计算科学部） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出ChemGraph-XANES框架，结合自然语言任务描述与结构获取，实现XANES模拟与分析的自动化，支持高通量计算与机器学习应用。

AlienLM: Alienization of Language for API-Boundary Privacy in Black-Box LLMs

AlienLM: 面向黑盒大语言模型API边界隐私的语言异化

Jaehee Kim, Pilsung Kang

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出AlienLM，通过词汇级双射将文本转化为异化语言，在仅使用API的情况下减少明文暴露，平均保留81%以上的性能，且恢复攻击成功率低于0.22%。

Journal ref ICML 2026

SleepLM: Natural-Language Intelligence for Human Sleep

SleepLM：人类睡眠的自然语言智能

Zongzhe Xu, Zitao Shuai, Eideen Mozaffari, Ravi S. Aysola, Rajesh Kumar, Yuzhe Yang

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出SleepLM系列睡眠语言基础模型，通过多模态对齐实现自然语言驱动的睡眠解释与交互，在零样本/少样本学习、跨模态检索等任务上超越现有方法。

Comments spotlight presentation

Journal ref Proceedings of the 43st International Conference on Machine Learning (ICML 2026)