语言大模型 / LLM

Tokenizer-Agnostic Engram Module

与分词器无关的恩格拉姆模块（Tokenizer-Agnostic Engram Module）

Jia Peng Lim, Hai Leong Chieu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对Deepseek Engram模块与分词器耦合的问题，通过替换哈希方式构建联合嵌入空间，实现了分词器无关性，同时保持了相当的性能。

Comments Preprint, 7 pages

GoldenRetriever: Non-Interactive Homomorphic Encrypted Retrieval for Privacy-Preserving RAG

GoldenRetriever：用于隐私保护RAG的非交互式同态加密检索

Yang Gao, Gang Quan, Scott Piersall, Qian Lou, Dongdong Wang, Liqiang Wang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有隐私保护RAG检索方案延迟高、易泄露的问题，提出基于阈值选择的非交互式同态加密检索框架，通过CKKS同态计算与掩码极化方法实现高效安全的检索，性能优于排名式加密方法。

Comments 10 pages

AI systems and the reproduction of (standard) language ideologies in World Englishes

AI系统与世界英语中（标准）语言意识形态的再生产

Kingsley Ugwuanyi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨AI系统如何再生产世界英语领域的（标准）语言意识形态，以“标准化悖论”为例分析争议，主张采用更具包容性的AI设计方法。

Comments 13 pages, 0 figure

Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting

利用贝叶斯域重加权优化数据混合的潜力

Xiang Yuan, Kaiqing Lei, Zhenyu Jin, Jun Shu, Deyu Meng, Zongben Xu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出贝叶斯域加权方法，引入Gamma先验从狄利克雷分布推断权重，实现稳定高效的域权重学习，以更少数据识别最优数据混合，适用于大规模应用。

A large-scale corpus of religious radio broadcast transcripts from webstream recordings in the United States

美国网络流录音的宗教广播文字转写大规模语料库

Samuel Bestvater, Athena Chapekis, Skyler Seets, Anna Lieb, Sono Shah, Aaron Smith

机构 * Pew Research Center（皮尤研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究构建了2025年7月美国宗教广播网络流录音的大规模文字转写语料库，可用于宗教传播、社会议题分析及语音处理等相关领域研究。

Comments Presented at IC2S2 2026

A scaling law of contextual persistence in human language

人类语言中上下文持久性的标度律

Elan Barenholtz

机构 * Florida Atlantic University（佛罗里达大西洋大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究人类语言中单词顺序排列的规律，用大语言模型测量上下文持久性函数P(d)，发现其在多个语料库中按1/d衰减，建立了人类语言中上下文持久性的标度律。

Comments 21 pages, 5 figures (plus 1 supplementary figure); Supplementary Information included

DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes

DecoupleMix：用于可扩展视觉语言模型数据配方的解耦比率搜索和凸分配

Jiahao Xie, Zhongbin Guo, Qianle Wang, Ruiqi Lu, Dongling Xiao, Wanxuan Sun, Cheng Yang

机构 * ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对视觉语言模型数据构建缺乏原则性标准的问题，提出DecoupleMix框架，将其解耦为类间比率搜索和类内凸分配两个子问题，实验证明该方法优于启发式基线，且最优比率可跨规模转移，提升了VLM竞争力。

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

使用语法书进行低资源机器翻译合成数据生成的析因研究

Varun Ghat Ravikumar, Sina Ahmadi, Lena Jäger, Rico Sennrich

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对濒危语言机器翻译缺平行数据问题，利用大语言模型从语法书提取内容生成合成语料库微调，经三种低资源语言验证，通过析因研究确定增益因素组合，证明可将静态语言文档用于机器翻译微调，为资源匮乏语言提供翻译工具路径。

Comments Accepted at CLiC-it 2026

IQ-JEPA: A Joint-Embedding Predictive Architecture with a Hermitian Vision Transformer for Sound Speed and Attenuation Estimation from Ultrasound IQ Data

IQ-JEPA：一种带有厄米特视觉变换器的联合嵌入预测架构，用于从超声 IQ 数据估计声速和衰减

Masashi Sode, Gianmarco Pinton

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究利用超声 IQ 数据估计声速和衰减的难题，提出 IQ-JEPA 架构，先无标签预训练编码器预测 IQ 区域潜在表示，再微调。实验表明该方法提高标签效率，自监督是主导因素，为定量超声基础模型迈出第一步。

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

扩展基于吉兹语的非洲语言词汇：阿姆哈拉语和提格雷尼亚语的比较研究

Hailay Kidu Teklehaymanot, Debela Desalegn Yadeta, Wolfgang Nejdl

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 针对低资源非拉丁脚本语言表现不佳问题，提出VEXMLM。通过训练特定语言分词器扩展XLM - R词汇并初始化嵌入，分两阶段训练，在多种任务上评估。贡献为定制程序、两阶段策略及多语言评估，提升了相关语言任务性能。

Comments 13 pages , 7 tables , 2 figurs

Leveraging unlabelled data for generalizable neural population decoding

利用未标记数据进行可泛化的神经群体解码

Ximeng Mao, Nanda H. Krishna, Avery Hee-Woon Ryoo, Matthew G. Perich, Guillaume Lajoie

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究利用未标记数据进行可泛化神经群体解码的问题，提出MOJO训练框架，联合自监督学习与监督学习目标，在多数据集上评估，结果显示该框架能提升性能、产生更具可解释性表示且可推广到其他神经模态。

The Universal Language of CSI:Unifying Wireless Sensing Across Devices and Environments

CSI的通用语言：统一跨设备和环境的无线传感

Jiayi Chen, Weiting Ou, Guangxu Zhu

机构 * Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究旨在解决基于CSI的WiFi传感异构问题，提出基础模型框架，通过整理标准化数据集、引入模块化架构，将CSI视为有通用语法的语言，实现跨设备和环境统一无线传感，提升泛化能力，优于特定任务基线。

Video Generation Models are General-Purpose Vision Learners

视频生成模型是通用视觉学习者

Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究探讨计算机视觉中实现通用模型的催化剂，提出大规模文本到视频生成是预训练范式。介绍GenCeption模型，利用视频生成扩散主干定义感知模型。实验表明该模型在多任务中性能领先，有数据效率优势且具涌现行为，为通用视觉智能提供基础路径。

Comments ECCV 2026

Svarna: An Open Corpus Workbench for Modern Greek

Svarna：现代希腊语开放语料库工作台

Stergios Chatzikyriakidis

机构 * Department of Philosophy, Linguistics and Theory of Science (FLoV), University of Gothenburg（哥德堡大学哲学、语言学与理论科学系） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 介绍一个免费开源的现代希腊语网络语料库工作台Svarna，整合五个数据库共5.07亿词，提供索引、频率分析、搭配提取等功能，填补希腊语言技术空白。

Multi-Channel Spread-Spectrum Code Watermarking

多通道扩频码水印

Soohyeon Choi, Debin Gao, Yue Duan

机构 * Singapore Management University（新加坡国立管理大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型代码出处等需求，现有水印无法满足的问题。提出多通道扩频码水印方法，无需训练，有24位有效载荷及鲁棒性保证。在多种测试文件和攻击下，水印检测准确率高、误报率为零，能有效恢复标识符。

Comments 15 pages, 3 figures, 16 tables, 2 algorithms

Semantic Homogenization in Italian Popular Music: A Diachronic Analysis

意大利流行音乐中的语义同质化：历时分析

Lorenzo Canale, Stefano Scotta, Alberto Messina

机构 * Centro Ricerche, Innovazione Tecnologica e Sperimentazione（研究中心、技术创新与实验） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究意大利圣雷莫音乐节决赛歌曲歌词语义变化，开发灵活高效方法，结合多种分析及技术，发现语义渐趋统一，凸显自然语言处理工具价值。

Journal ref J Comput Soc Sc 9, 44 (2026)

ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes

研究工作室-创意：基于机器学习会议成果的有证据支持的研究创意技能套件

Qihao Zhao, Yangyu Huang, Yalun Dai, Lingao Xiao, Jianjun Gao, Xin Zhang, Wenshan Wu, Scarlett Li, Yang He, Yan Lu, Yap Kim Hui

机构 * Nanyang Technological University（南洋理工大学） ； Microsoft Research（微软研究院） ； National University of Singapore（新加坡国立大学） ； CFAR, A*STAR（计算机辅助放射治疗中心，新加坡科技研究局） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究问题是提升研究创意，核心方法是构建包含多种技能的套件，主要贡献是揭示31个反复出现的创意子模式并整合为15个可复用模式，能将其转化为可追溯研究提案，经评估效果优于基线。

Comments Tech Report

GeoSelect: Spatial-Program Execution for Training-Free Referring Remote Sensing Image Segmentation

GeoSelect：用于无训练的指称遥感图像分割的空间程序执行

Yuhang Jiang, Guohui Deng, Miaozhong Xu, Chao Ruan, Jinling Zhao, Linsheng Huang

机构 * School of Internet, Anhui University（安徽大学互联网学院） ； National Engineering Research Center for Agro-Ecological Big Data Analysis & Application, Anhui University（安徽大学农业生态大数据分析与应用国家工程研究中心） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究无训练的指称遥感图像分割，提出GeoSelect方法，将指称重构成类型化空间程序执行，由语言模型合成程序，经检查器和执行器运行，贡献是提升分割指标且可检查中间过程。

Comments 20 pages, 10 figures, 9 tables

SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation

SimWorlds: 一个用于动态3D场景创建的多智能体系统

Chunjiang Liu, Xiaoyuan Wang, Haoyu Chen, Yizhou Zhao, Ming-Hsuan Yang, László A. Jeni

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出多智能体框架SimWorlds，通过规划-编码-审查流程和运行时状态检查工具，从文本生成动态4D场景，并引入基准4DBuildBench评估视觉保真度和物理一致性。

Comments 20 pages, 3 figures. Project page: https://dynsimworlds.github.io

Device Passport: Enabling Spatio-Temporal Pretrained Models to Generalize Across Input Layouts

设备护照：使时空预训练模型能够跨输入布局泛化

Geeling Chau, Ran Liu, Juri Minxha, Wenhui Cui, Erdrin Azemi, Ellen L. Zippi, Behrooz Mahasseni, Christopher M. Sandino

机构 * California Institute of Technology（加州理工学院） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对新设备布局缺乏大规模数据集的问题，提出Device Passport通道嵌入技术，通过功能活动与元数据混合建模，实现跨布局迁移，在耳部脑电图等任务中优于基线。

Comments Workshop on Structured Data for Health, ICML 2026

HistoriQA-ThirdRepublic: Multi-Hop Question Answering Corpus for Historical Research, Parliamentary Debates from the French Third Republic (1870-1940)

HistoriQA-ThirdRepublic: 面向历史研究的多跳问答语料库——来自法兰西第三共和国（1870-1940）的议会辩论

Aurélien Pellet, Julien Perez, Marie Puren

机构 * LRE ； EPITA ； EPITECH ； Bpifrance ； CJM 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一个法语多跳历史问答数据集，基于第三共和国议会辩论和报纸，由历史学家协作构建，涵盖跨源综合、时间推理等复杂推理模式，共1782个问题，用于评估检索增强和大型语言模型在特定领域的效果。

Journal ref LREC 2026: Language Resources and Evaluation Conference, ELRA Language Resources Association, May 2026, Palma de Mallorca, Spain

How Human Feedback Shapes AI-generated Community Notes

人类反馈如何塑造AI生成的社区笔记

Soham De, Isaac Slaughter, Jiawei Guo, Qiao-Yun Cheng, Jiayuan Yan, Sruti Banerjee, Martin Saveski

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究分析X平台协作笔记中人类反馈对AI生成草稿的影响，发现事实修正和补充背景的建议最易被采纳，人类反馈提升笔记有用性，但协作笔记达到有用状态的比例低于纯人类或纯AI笔记，且主要补充而非替代它们。

Scalable Physics-Inspired Transformers for Spin Glasses

可扩展的物理启发式Transformer用于自旋玻璃

Lu Zhong, Wenli Duan, Jing Liu, Pan Zhang, Ying Tang

机构 * Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（基础与前沿科学研究院，电子科技大学） ； School of Physical Science and Technology, Beijing University of Posts and Telecommunications（物理科学与技术学院，北京邮电大学） ； Institute of Theoretical Physics, Chinese Academy of Sciences（理论物理研究所，中国科学院） ； School of Fundamental Physics and Mathematical Sciences, Hangzhou Institute for Advanced Study, UCAS（基础物理与数学科学学院，杭州先进研究院，UCAS） ； School of Physics, University of Electronic Science and Technology of China（物理学院，电子科技大学） ； Key Laboratory of Quantum Physics and Photonic Quantum Information, Ministry of Education, University of Electronic Science and Technology of China（量子物理与光量子信息重点实验室，教育部，电子科技大学） ； Non-classical Information Science Basic Discipline Research Center of Sichuan Province, University of Electronic Science and Technology of China（四川省非经典信息科学基础学科研究中心，电子科技大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对受阻自旋玻璃中玻尔兹曼分布采样效率低的问题，提出一种具有可解释稀疏注意力和自旋定制位置嵌入的物理启发式Transformer，利用FlashAttention实现并行祖先采样，在单GPU上实现前所未有的系统规模模拟，并解决现有方法在特定温度下的局限性。

Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs

损失景观投毒：从大语言模型中定向提取未见训练数据

Md Abdullah Al Mamun, Ngoc Phu Doan, Pedram Zaree, Nael Abu-Ghazaleh, Ihsen Alouani

机构 * Queen's University Belfast（女王大学贝尔法斯特） ； CSIT, Queen's University Belfast（女王大学贝尔法斯特计算机科学与技术研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种通过投毒重塑模型损失景观，迫使模型记忆目标数据并实现高成功率提取的攻击方法，在语言和视觉-语言模型上验证有效性，并发现差分隐私可防御但存在绕过攻击。

Comments Updated author order. No technical changes

CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

CLI-Universe：面向终端代理的可验证任务合成引擎

Zhanbo Hua, Yifan Yao, Weihao Xie, Yongchi Zhao, Minghao Liu, Ruizhi Qiu, Zhewei Huang, Zun Wang, Yiyan Ji, Yunhai Ye, Letian Zhu, Xinping Lei, Han Li, Zhiyuan Ma, Zili Wang, Zhaoxiang Zhang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； StepFun（阶跃星辰） ； ZODA ； Shanghai AI Lab（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CLI-Universe引擎，通过多维能力分类采样和证据引导研究生成终端代理任务，经多阶段可执行验证流水线筛选，构建高质量数据集CLI-Universe-6K，微调Qwen3-32B在Terminal-Bench 2.0上达到33.4%的SOTA。

Comments 20 pages, 5 figures, 3 tables. Preprint

AI Alignment From Social Choice Perspectives

从社会选择视角看AI对齐

Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

机构 * Google Research（谷歌研究院） ； University of Southern California（南加州大学） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文从社会选择理论视角审视人类反馈对齐中的偏好聚合问题，识别失败模式并揭示处理分歧的广阔设计空间。

Comments Accepted for publication in ACM SIGecom Exchanges

The Significance of Style Diversity in Annotation-Free Synthetic Data Generation

无标注合成数据生成中风格多样性的重要性

Zahra Abbasiantaeb, Zeno Belligoli, Omar Essam, Mohammad Aliannejadi

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出无需人工标注的对话生成框架，利用主题和风格属性增强多样性，并设计两种后处理风格化模型，实验表明风格多样性比主题多样性更关键，性能可达人工标注数据的93.3%。

SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction

SAMA：面向统一低资源多模态信息抽取的语义锚定对齐增强

Quanjiang Guo, Chong Mu, Jiazhou Pan, Ming Jia, Ling Tian, Hui Gao, Zhao Kang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出语义锚定对齐增强框架SAMA，通过构建结构化语义锚引导多专家多模态大模型生成高保真文本，并利用锚保留扩散机制合成图像，结合双约束过滤模块，在低资源多模态信息抽取任务中显著提升性能。

Comments Accepted by IEEE Transactions on Multimedia

Darshana Graph: A Parallel Commentary Corpus for Comparative Indian Philosophy, with Stylometric and Exploratory Graph Analyses

Darshana Graph：用于比较印度哲学的平行注释语料库，附文体计量与探索性图分析

Joy Bose

机构 * Independent Researcher（独立研究者） ； Bangalore, India（印度班加罗尔） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 构建包含超12.5万条记录的印度哲学平行注释语料库，其中约8500条记录实现跨18位注释者的根颂对齐，通过文体计量和约束大语言模型管道分析论证风格与概念关系，揭示学派间分歧模式。

Comments 12 pages, 1 figure. Open Source Code available at https://github.com/joyboseroy/darshana-graph and dataset at https://huggingface.co/datasets/joyboseroy/darshana-graph

DeMix: Debugging Training Data with Mixed Data Error Types by Investigating Influence Vectors

DeMix: 通过影响向量调试包含混合错误类型的训练数据

Jiale Deng, Yanyan Shen, Xiaogang Shi, Junjun Chai

机构 * Shanghai Jiao Tong University（上海交通大学） ； ByteDance Inc.（字节跳动） ； Tiktok 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出DeMix框架，利用影响向量捕捉不同错误类型对模型行为的独特模式，将数据调试转化为多标签分类问题，并引入基于干预的学习策略，在11个任务上显著提升调试F1分数和修复后模型性能。