语言大模型 / LLM

Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

用于具身智能的缩放专家混合视频预训练

Shuailei Ma, Jiaqi Liao, Xinyang Wang, Jingjing Wang, Chaoran Feng, Zijing Hu, Chong Bao, Zichen Xi, Yuqi Gan, Weisen Wang, Yanhong Zeng, Qin Zhao, Zifan Shi, Wei Wu, Hao Ouyang, Qiuyu Wang, Shangzhan Zhang, Jiahao Shao, Yipengjing Sun, Liangxiao Hu, Lunke Pan, Nan Xue, Kecheng Zheng, Yinghao Xu, Xing Zhu, Yujun Shen, Ka Leong Cheng

机构 * Robbyant（蚂蚁灵波） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 针对视频生成模型领域不匹配问题，提出LingBot-Video，采用MoE架构、构建数据剖析引擎、开发多维奖励系统进行视频预训练，验证了其性能和效率，贡献了首个大规模开源MoE视频基础模型。

Comments Project page: https://technology.robbyant.com/lingbot-video

Ego-Human Motion Prediction with 3D-Aware LLM

基于3D感知语言模型的自我-人类运动预测

Yujin Bae, Jaewoo Jeong, Hyeonseong Kim, Kuk-Jin Yoon

机构 * Visual Intelligence Lab., KAIST（视觉智能实验室，韩国科学技术院） 纠错

专题命中 预训练与数据 ：LLM(title)；instruction tuning(abstract)；pretraining(abstract)

AI总结 研究从自我中心视角预测人类运动问题，提出Ego3DLM模型，基于准确运动预测需3D环境理解及姿势语言整体预测原则，通过三阶段训练，在相关任务中取得领先性能，实现跨模态和时间一致的运动预测。

Comments Accepted to ECCV 2026

Vision Pretraining for Dense Spatial Perception

面向稠密空间感知的视觉预训练

Zelin Fu, Bin Tan, Changjiang Sun, Shaohui Liu, Kecheng Zheng, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 针对现有视觉基础模型牺牲空间细节理解的问题，提出以边界为中心的掩码边界建模自监督预训练范式，提升稠密空间感知能力与下游任务性能。

Comments Tech report, 31 pages

LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

LACUNA: 评估大语言模型遗忘定位精度的测试平台

Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers

机构 * Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出LACUNA测试平台，通过注入合成个人身份信息到模型参数，评估遗忘方法是否真正擦除知识，发现现有方法定位不精确且易受重现攻击，而精确定位可实现强擦除。

Phase structure of the Random Language Model

随机语言模型的相结构

Alessio Giorlandino, Eric De Giuli, Sebastian Goldt

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)

AI总结 通过双标度极限分析，揭示随机语言模型存在一系列相变，包括符号关联涌现、单符号边缘分布非均匀化以及规则使用的玻璃态冻结，并导出与大型语言模型一致的标度律。

Pretrained Time-Series Foundation Models for Financial Return Forecasting

用于金融收益预测的预训练时间序列基础模型

Miquel Noguer I Alonso, Rodolfo Pereira Franklin

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文在保守的金融设置下，基准测试预训练时间序列基础模型（TSFMs）与从头训练的神经基线，发现TSFMs在排名上占优，但相对于随机游走基准的预测提升微弱且稀疏，表明TSFMs作为实用先验可降低模型开发成本，但并非统计可靠的alpha生成引擎。

Prompting Diffusion Models for Zero-Shot Instance Segmentation

提示扩散模型用于零样本实例分割

Irem Zeynep Alagöz, Nils Morbitzer, Andrea Ramazzina, Nassir Navab, Federico Tombari, Stefano Gasperini

机构 * Technical University of Munich (TUM)（慕尼黑工业大学） ； Munich Center of Machine Learning (MCML)（慕尼黑机器学习中心） ； Mercedes-Benz AG（梅赛德斯-奔驰集团） ； Visualais 纠错

专题命中 预训练与数据 ：prompting(title)；foundation model(abstract)；pretraining(abstract)

AI总结 提出Prompt2Seg框架，通过空间条件化增强扩散模型，利用2D高斯或置信度图作为提示，实现零样本实例分割，在多个数据集上优于基线。

Comments Under review

APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies

APT: 动作专家预训练提升视觉-语言-动作策略的指令泛化能力

Kechun Xu, Zhenjie Zhu, Anzhe Chen, Rong Xiong, Yue Wang

机构 * Zhejiang University（浙江大学） ； Zhejiang Humanoid Robot Innovation Center（浙江人形机器人创新中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 针对连续动作专家模型对分布外语言指令泛化差的问题，提出APT两阶段训练方法，先预训练动作专家作为视觉-动作先验，再通过门控融合注入语言，显著提升泛化性能。

Securing Code Understanding: Detecting Natural Backdoor Vulnerability in Code Language Models

保障代码理解安全：检测代码语言模型中的自然后门漏洞

Yuchen Chen, Weisong Sun, Haocheng Huang, Yuan Xiao, Chunrong Fang, Yiran Zhang, Tingting Xu, Zhenpeng Chen, An Guo, Peizhuo Lv, Xiaofang Zhang, Zhenyu Chen, Yang Liu, Baowen Xu

专题命中 预训练与数据 ：language model(title,abstract)；post-training(abstract)

AI总结 本研究系统探究代码语言模型中的自然后门漏洞，通过44种场景证明其普遍性，分析其与注入后门的差异及迁移性，并提出检测方法ScanNBT。

Comments Accepted to IEEE Transactions on Software Engineering (TSE)

PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing

PERCEPT：用于波斯语-英语代码混合的词性标注与分析语料库

Ghazal Kalhor, Zahra Jafari, Amirarsalan Shahbazi, Behnam Bahrak

机构 * School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰大学工程学院电气与计算机工程学院） ； School of Engineering Science, College of Engineering, University of Tehran（德黑兰大学工程学院工程科学学院） ； Tehran Institute for Advanced Studies, Khatam University（哈塔米大学德黑兰高级研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文推出首个含通用依存关系词性标注的公开波斯语-英语代码混合语料库PERCEPT，结合LLM辅助标注框架完成6800条社交媒体帖子标注，通过分析揭示代码混合词的词性、位置分布规律，为相关NLP研究提供支撑。

Detecting Soft Skills in ML Engineering Roles CVs

检测机器学习工程岗位简历中的软技能

Aidin Azamnouri, Nouran Ayad, Justus Bogner, Stefan Wagner

机构 * Technical University of Munich（慕尼黑工业大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 本研究构建含300份简历的平衡语料库，用LLM流水线提取软技能并检验13项假设，发现候选人多以叙事披露软技能，资历影响领导力表述率，关键词筛选会遗漏软技能。

Conflict or Strategy? Asymmetric Role Framing of La France insoumise and Rassemblement National in French News Headlines, 2022-2025

冲突还是策略？2022-2025年法国新闻头条中对不屈法国（La France insoumise，LFI）和国民联盟（Rassemblement National，RN）的不对称角色框架

Amr Sobhy

机构 * Le French News Lab（法国新闻实验室） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 该研究分析2022-2025年法国25家媒体28592条头条，发现新闻对LFI和RN的角色框架不对称，建立分层可靠性框架校准LLM政治文本标注流水线。

Comments 19 pages, 3 figures, includes appendices

SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs

SignLlama：通过优先考虑视觉特征增强无词素手语翻译的大语言模型

Shiwei Gan, Xiao Liu, Yafeng Yin, Zhiwei Jiang, Bowen Guo, Lie Xie, Sanglu Lu, Hongkai Wen

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； University of Warwick（华威大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对无词素手语翻译（GFSLT）中LLMs的视觉特征利用问题，提出SignLlama模型，通过过滤伪词素CTC预训练与视觉优先蒸馏策略，在多数据集上取得极具竞争力的性能。

Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production

昨日之盾，今日之矛：生产环境中的自演进安全护栏

Cong Ming, Jingyi Chen, Bin Liu, Qi Chu, Tao Gong, Nenghai Yu, Yingfei Xiang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； Sangfor Technologies（深信服科技） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对静态LLM安全护栏无法应对新威胁的问题，提出自演进安全护栏SESG多智能体系统，可快速适配新威胁，性能优于静态护栏及自适应基线，已应用于深信服护栏并取得良好效果。

Fast and Accurate Quotation Attribution in Literary Texts

文学文本中快速准确的引语归属

Gaspard Michel, Hugo Attali, Elena V. Epure

机构 * Deezer Research（Deezer研究院） ； LORIA（洛里亚实验室） ； Université Sorbonne Paris Nord（巴黎北索邦大学） ； CNRS（法国国家科学研究中心） ； LIPN（巴黎第十三大学计算机科学实验室） ； IDIAP（IDIAP研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究针对文学文本引语归属的效率与精度难题，提出基于编码器的联合评分方案，在Project Dialogism小说语料库上实现94.5%准确率，速度远超同类方法，且发布了修改后的ModernBookNLP工具。

PlainMedScale: A Corpus of Multi-Level Simplified Medical Texts in German and English

PlainMedScale：德语和英语的多级别简化医学文本语料库

Bruno Brocai, Ilaria Papagno, Mayumi Ohta

机构 * Heidelberg University（海德堡大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本研究构建了德语和英语的多级别简化医学语料库PlainMedScale，开展试点研究发现现有可读性指标无法跨层级泛化、SOTA开放权重LLM的Plain Language提示仍保留部分输入难度，并公开了代码与数据。

Comments accepted at KONVENS 2026

SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search

SimpleWikiSearch：用于智能体搜索的简洁离线维基百科环境

Guanming Xiong, Penghui Zhang

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SimpleWikiSearch是一套明确可运行的离线维基百科环境，用于智能体搜索的可复现评估，提供基线结果及对比闭源模型的子集，而非提出新智能体算法。

Comments Technical Report

SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation

SciCodePile：用于具有挑战性的科学代码生成的128GB语料库和可执行基准测试

Weifeng Sun, Ye Fan, Yuchen Chen, Gou Tan, Jieke Shi, Yuan Yidi, Swee Liang Wong, Jonathan Pan, David Lo

机构 * Singapore Management University（新加坡管理大学） ； Nanjing University（南京大学） ； SUN YAT-SEN University（孙中山大学） ； Home Team Science & Technology Agency（家庭团队科技局） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；pretraining(abstract)

AI总结 研究大型语言模型处理科学代码的能力，提出SciCodePile语料库及可执行基准测试，评估15个模型在三项任务上的表现，发现科学代码生成极具挑战，同时展示了该语料库在训练上的效用，代码和数据可获取。

Enabling Multilingual Privacy Policy Audits: Large-Scale Analysis of Spanish Mobile Apps

实现多语言隐私政策审计：对西班牙移动应用的大规模分析

Marcos Moran, David Rodriguez, Luka Nenadic, Norman Sadeh, Jose M. Del Alamo

机构 * ETH Zurich（苏黎世联邦理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究多语言环境下隐私政策审计，利用大语言模型构建跨语言分类器，通过对西班牙谷歌应用商店应用的大规模审计，发现公共部门与商业应用语言使用差异及声明与实际做法的差异，揭示仅英语审计掩盖透明度差距的问题。

ATLAS: A Foundation Neural Sampler for Amorphous Materials

ATLAS：一种用于非晶材料的基础神经采样器

Mouyang Cheng, Denis Blessing, Botao Yu, Gerhard Neumann, Mingda Li, Carles Domingo-Enrich, Yuanqi Du

机构 * Microsoft Research New England（微软研究院新英格兰分部） ； Center for Computational Science and Engineering（计算科学与工程中心） ； MIT（麻省理工学院） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Department of Materials Science and Engineering（材料科学与工程系） ； Department of Computer Science and Engineering（计算机科学与工程系） ； OSU（俄亥俄州立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 研究针对非晶材料能量景观难采样问题，提出ATLAS神经采样器，由等变图神经网络参数化，能跨系统泛化，利用扩散过程时间反转估计热力学量。在多种系统中验证有效性，还通过预训练降低逆设计成本，结合大语言模型搜索高熵金属玻璃，确立其为基础模型。

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

温度如何塑造检索增强生成中的意识形态话语？

Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

机构 * Wichita State University（威斯康星州立大学） ； São Paulo Catholic University（圣保罗天主教大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究探讨温度对检索增强生成中意识形态话语的影响，通过对新冠治疗文章语料库应用词汇多维分析，让模型在不同温度下回答意识形态问题并评估，发现RAG框架易转移意识形态话语，中等温度下话语对齐最高，低温时下降。

Scalable Semantic Steering of Embedding Projections

嵌入投影的可扩展语义引导

Wei Liu, Eric Krokos, Kirsten Whitley, Rebecca Faust, Chris North

机构 * Virginia Tech（弗吉尼亚理工学院） ； Department of Defense（国防部） ； Tulane University（路易斯安那州立大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究高维数据嵌入的低维投影语义结构问题，提出可扩展语义引导方法，将语义计算从单个项目转移到用户定义组，通过单LLM调用为组生成结构化配置文件，减少LLM调用并在多模态嵌入中有效应用。

Comments Accepted as a short paper at IEEE VIS 2026. 5 pages, 2 figures

Libra: Training the Environment for Agentic Information Retrieval

Libra: 为智能信息检索训练环境

Xuan Zhao, Andy Chiu, Gengyu Wang

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出Libra框架，通过引入可变目录和LLM驱动优化循环，自动改进代码仓库的索引结构，提升代码定位准确率，并实现跨模型和问题的零样本迁移。

MultiSynt/MT: Trillion-Token Multi-Parallel Pre-Training Data Translated Across 36 Languages

MultiSynt/MT：跨36种语言翻译的万亿Token多平行预训练数据

Maximilian Idahl, Jörg Tiedemann, Sampo Pyysalo, David Salinas, Tomasz Galica, Shenbin Qian, Tudor Nicolae Mateiu, Zihao Li, Anna Lokrantz, Fedor Vitiugin, André F. T. Martins, Jenna Kanerva, Filip Ginter, Matthias Lindemann, Tim Isbister, Birger Moell, Jonas Lindh, Jan Hajič, Jenia Jitsev, Andrey Kutuzov, Stephan Oepen, Gema Ramírez-Sánchez

机构 * ellamind ； Leibniz University Hannover（莱布尼茨汉诺威大学） ； University of Helsinki（赫尔辛基大学） ； University of Turku（图尔库大学） ； ELLIS Institute Tübingen（ELLIS 图宾根研究所） ； Prior Labs ； University of Oslo（奥斯陆大学） ； Prompsit Language Engineering（Prompsit 语言工程公司） ； AI Sweden ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico（高等技术学院） ； TransPerfect ； Charles University（查理大学） ； Ontocord ； LAION ； Juelich Supercomputing Center (JSC), Research Center Juelich (FZJ)（于利希超级计算中心 (JSC), 于利希研究中心 (FZJ)） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出MultiSynt/MT，一个覆盖36种欧洲语言、约4.8万亿token的合成平行语料库，通过翻译1000亿高质量token生成，使参考LLM在减少72%预训练token下达到原生数据基线性能，并发现标准基准测试的评估盲点。

When Certainty Is an Artifact: Keyword Lexicon Blindness and the (Mis)Measurement of Rhetorical Stance

当确定性是人为产物：关键词词典盲点与修辞立场的（误）测量

Bo Chen

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 通过对比关键词词典与LLM零样本分类在85篇访谈（2016-2026）中的表现，发现关键词计数产生的显著负情绪-确定性共现模式是测量伪影，而LLM揭示出悲观话语实际吸引的是模糊化而非确定性。

Comments 16 pages, 2 figures

Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution

通过令牌影响归因追踪中毒检索语料库中的目标答案

Yan-Lun Chen, Pin-Yu Chen, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University（阳明交通大学） ； IBM Research（IBM研究院） ； Hon Hai Research Institute（宏海研究院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出TRACE框架，通过令牌影响归因识别检索增强生成系统中的语料投毒攻击，无需额外分类器或LLM验证，在三个QA基准和六个LLM上验证了有效性。

Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs

对人类不可见，对机器可见：四个生物医学文献API的Unicode保真度预注册审计

Przemysław Czuma

机构 * Przemysław Czuma（普拉姆斯拉夫·茨马） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过预注册审计，评估四个生物医学API（PubMed、Crossref、OpenAlex、Semantic Scholar）返回摘要的Unicode保真度，发现PubMed和OpenAlex存在系统性字符丢失，影响文献计量和语料构建。

Comments 14 pages, 1 figure. Pre-registered on OSF. Data and code available on Zenodo and GitHub

Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs

SysML v2中的自动化语义故障定位：一种使用知识图谱增强大语言模型的人机协同框架

Haitham Al-Shami, Rohail Malik, Riku Ala-Laurinaho, Jari Vepsäläinen, Raine Viitala

机构 * Aalto University（艾洛大学） 纠错

专题命中 预训练与数据 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 提出一种人机协同框架，结合微调小语言模型与领域知识图谱，自动识别并修复SysML v2模型中保持语法有效但违反领域规则的语义错误，在车辆系统领域验证中故障修复率从低于3%提升至91%以上。

Comments 12 pages, 4 figures. Presented at INCOSE International Symposium 2026

Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

想要更好的合成数据？引导它：面向低资源语言生成的激活引导

Jan Cegin, Daniil Gurgurov, Yusser Al Ghussin, Simon Ostermann

机构 * Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所） ； German Research Institute for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出激活引导作为低资源语言合成数据生成的替代方法，包括语言引导和质量引导，实验表明早期层引导能提升数据多样性和下游模型性能。

Comments 25 pages

ROMPAR: Morphological Completion and Demographic Unlearning for Romanian-Accented Speech Recognition

ROMPAR：罗马尼亚口音语音识别的形态补全与人口统计去偏

Andrei-Marius Avram, Aureliu-Valentin Antonie, Ştefan-Bogdan Badea, Andrei Florea, Robert-Nicolae Zaharoiu, Dumitru-Clementin Cercel

机构 * National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出ROMPAR语料库和多任务对抗训练框架，通过指数衰减机制和LLM引导解码，实现人口统计不变性和形态补全，WER显著降低，形态重建F1达96.6%。