语言大模型 / LLM

DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving

DataEvolver: 通过多级自我进化实现大型语言模型的自动数据准备

Chao Deng, Shaolei Zhang, Ju Fan, Xiaoyong Du

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出DataEvolver，首个自我进化的数据准备系统，通过多级机制自动构建管道将原始数据转化为高质量数据，在七个基准上平均提升下游LLM性能10%。

Corpus Augmentation for Sign Language Translation via LLM-Guided Video Stitching

通过LLM引导的视频拼接进行手语翻译的语料增强

Zsolt Robotka, Ádám Rák, Jalal Al-Afandi, András Horváth, György Cserey

机构 * Peter Pazmany Catholic University, Faculty of Information Technology and Bionics（彼得·帕兹马尼天主教大学信息科技与仿生学院） ； DeepSign Technologies Ltd.（DeepSign科技有限公司） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.LG

AI总结 提出一种无需额外标注或生成模型的手语翻译语料增强方法，利用CTC强制对齐提取手语片段，通过LLM生成句子并拼接视频，在GFSLT-VLP基线上提升BLEU-4达2.92，并发现合成数据对视觉-语言预训练有害但可提升下游任务。

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

LifeSentence: Language models can encode human life course trajectories from longitudinal panel data

LifeSentence: 语言模型可以从纵向面板数据编码人类生命历程轨迹

Samuel Liu, Muchen Xi, William Yeoh, Joshua J. Jackson

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出LifeSentence模型，将大型语言模型与纵向面板数据结合，通过结构化自然语言记录生命事件并微调预训练模型，在少样本条件下超越传统方法，实现生命事件预测与时间顺序重建。

Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality

枢纽或边缘：基于网页图中心性的预训练数据选择

Vedant Badoni, Danqi Chen, Xinyi Wang

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） ； Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出WebGraphMix框架，利用Common Crawl主机级网页图的结构中心性得分调整预训练数据中中心与边缘文档的比例，无需模型训练或标注数据，在400M和1B参数模型上平均性能提升至41.4%。

Comments 10 pages

Unifying Learning Dynamics and Generalization in Transformers Scaling Law

统一Transformer缩放定律中的学习动力学与泛化

Chiwun Yang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过将Transformer学习动力学形式化为ODE系统并近似为核行为，严格分析了随机梯度下降训练下的泛化误差，揭示了计算资源缩放时泛化误差的指数衰减与幂律衰减的两阶段相变，并建立了紧的上下界。

Comments 87 pages, 10 figures, 3 tables

Small Experiments, Cheaper Decisions: A Case Study in Staged Promotion for Micro-Pretraining

小实验，更经济的决策：微预训练中分阶段提升的案例研究

Felipe Chavarro Polania

机构 * Hewlett Packard Enterprise（慧与科技公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究微预训练中分阶段提升协议，通过固定预算筛选配置，在Windows A100和Linux L40S上验证，发现早期排名不稳定，但最终协议以144 GPU小时找到最优配置，成本低于全量筛选。

Comments 14 pages, 5 figures; 12-hour dual-host micro-pretraining promotion study; source package includes curated ancillary artifacts

APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies

APT: 动作专家预训练提升视觉-语言-动作策略的指令泛化能力

Kechun Xu, Zhenjie Zhu, Anzhe Chen, Rong Xiong, Yue Wang

机构 * Zhejiang University（浙江大学） ； Zhejiang Humanoid Robot Innovation Center（浙江人形机器人创新中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 针对连续动作专家模型对分布外语言指令泛化差的问题，提出APT两阶段训练方法，先预训练动作专家作为视觉-动作先验，再通过门控融合注入语言，显著提升泛化性能。

AnyPPG: An ECG-Guided PPG Foundation Model Trained on Over 100,000 Hours of Recordings for Holistic Health Profiling

AnyPPG：基于心电引导的PPG基础模型，在超过10万小时记录上训练，用于全面健康分析

Guangkun Nie, Xiaocheng Fang, Gongzheng Tang, Yujie Xiao, Jun Li, Bo Liu, Hongyan Li, Shenda Hong

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 提出AnyPPG，一种基于心电引导预训练的光电容积描记（PPG）基础模型，在超10万小时数据上训练，首次开展覆盖1468种疾病表型的全表型关联研究，证明PPG可超越传统心血管应用，对307种表型（含230种非循环系统疾病）实现有效判别。

Probabilistic Contrastive Pretraining for Multi-task ADME Property Prediction

概率对比预训练用于多任务ADME性质预测

Yifan Xue, Srimukh Prasad Veccham, Saee Paliwal, Tyler Shimko, Micha Livne

机构 * NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出分子图-Transformer预训练框架，结合化学自监督与对比互信息，通过统一概率潜变量目标优化重构、对比和化学任务，在多任务微调中采用任务特定MLP头，在三个数据集上平均提升7.6%-9.5%。

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

面向接触丰富机器人强化学习的自监督多感官预训练

Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

机构 * Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国） ； Hessian.AI（海斯堡人工智能） ； Robotics Institute Germany (RIG)（德国机器人研究所（RIG）） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。

Comments 8 pages, 11 figures

Journal ref IEEE Robotics and Automation Letters, 2026, Vol. 11, No. 6, pp. 6799-6806

I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System

我理解你的感受：通过对话系统中的多语言情感验证增强深层情感支持

Zi Haur Pang, Yahui Fu, Koji Inoue, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 提出情感验证在对话系统中的应用，构建多语言语料库M-EDESConv和测试集M-TESC，设计多语言情感感知门控单元MEGUMI进行时机检测，并评估当前LLM在情感验证响应生成中的表现。

Comments This paper has been accepted for presentation at SIGdial Meeting on Discourse and Dialogue 2026 (SIGDIAL 2026)

SPADE: Split-and-Delay Embeddings for Autoregressive High-Granularity Calorimeter Simulation

SPADE: 用于自回归高粒度量热器模拟的分裂与延迟嵌入

Joschka Birk, Frank Gaede, Anna Hallin, Gregor Kasieczka, Martina Mozzanica, Henning Rose

机构 * Institute for Experimental Physics, Universität Hamburg（实验物理研究所，汉堡大学） ； Deutsches Elektronen-Synchrotron DESY（德国电子同步辐射光源DESY） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.LG

AI总结 提出SPADE自回归变压器，通过独立嵌入多特征令牌并延迟特征流，利用标准自注意力学习令牌内相关性，在ILD探测器点云簇射生成中优于现有模型。

Comments 20 pages, 13 figures

Goal-Autopilot: A Verifiable Anti-Fabrication Firewall for Unattended Long-Horizon Agents

Goal-Autopilot: 一种可验证的防伪造防火墙，用于无人值守的长周期智能体

Youwang Deng

机构 * EpistemicaLab — Independent Research（EpistemicaLab — 独立研究） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Autopilot执行模型，通过外部化状态到有限状态机并强制门控验证，使智能体无法虚假声称成功，在3,150个单元测试中伪造率降至0.95%，显著低于基线方法。

Comments Preprint. Code: https://github.com/EpistemicaLab/goal-compiled-autopilot

Bergson: An Open Source Library for Data Attribution

Bergson：一个用于数据归因的开源库

Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

机构 * EleutherAI ； Independent 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Bergson开源库，支持大规模语言模型和预训练数据集的多种数据归因方法，提供磁盘梯度存储和多节点分布式训练，首次开源实现MAGIC、SOURCE和TrackStar三种方法。

Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence

注意力中的相变：复制头涌现的贝叶斯理论

Itay Lavie, Kirsten Fischer, Andrey Lekov, Frederic Van Maele, Zohar Ringel, Moritz Helias

机构 * Racah Institute of Physics, Hebrew University of Jerusalem（拉卡学院物理研究所，耶路撒冷希伯来大学） ； John A. Paulson School of Engineering and Applied Sciences, Harvard University（约翰·A·保罗森工程与应用科学学校，哈佛大学） ； Institute for Advanced Simulation (IAS-6), Computational and Systems Neuroscience, Jülich Research Center（高级模拟研究所（IAS-6），计算与系统神经科学，茹里奇研究中心） ； Institute of AI for Health, Helmholtz Munich（健康人工智能研究所，海德堡-穆恩） ； RWTH Aachen University（亚琛工业大学） ； Department of Physics, Faculty 1, RWTH Aachen University（物理系，亚琛工业大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过分析单层softmax注意力网络在复制任务上的训练，提出贝叶斯理论揭示注意力矩阵的后验分布存在相变，并对比线性注意力发现softmax注意力呈现一阶相变。

ProGRank: Probe-Gradient Reranking to Defend Dense-Retriever RAG from Corpus Poisoning

ProGRank: 探针梯度重排序以防御密集检索器RAG免受语料投毒攻击

Xiangyu Yin, Yi Qi, Chih-Hong Cheng

机构 * Chalmers University of Technology, Sweden（瑞典查尔姆斯理工大学） ； University of Leeds, United Kingdom（英国利兹大学） ； Carl von Ossietzky University of Oldenburg, Germany（德国奥尔登堡卡尔·冯·奥西特齐大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ProGRank，一种无需训练的后处理检索器端防御方法，通过随机扰动下探针梯度提取不稳定信号并重排序，有效防御密集检索器RAG的语料投毒攻击。

Comments accepted by ECML PKDD 2026

SentTrack: Sentiment-Driven Bottleneck Detection in GitHub Issue Repositories

SentTrack: GitHub问题仓库中情感驱动的瓶颈检测

Xinyu Hu, Ali Behbahani, Daniel Moon, Yaren Dogan, Nasir U. Eisty

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 提出SentTrack双管道框架，结合大语言模型摘要与ABCDE交互分类，从约9000个GitHub问题线程中检测社会技术瓶颈，发现49%线程停滞，仅13%解决，并通过加权评分引擎优先处理高摩擦讨论。

Synthetic Homes: A Multimodal Generative AI Pipeline for Residential Building Data Generation under Data Scarcity

合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道

Jackson Eshbaugh, Chetan Tiwari, Jorge Silveyra

机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。

Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes

Journal ref Machine Learning with Applications, 25 (2026), 100959

Neural FOXP2 -- Language Specific Neuron Steering for Targeted Language Improvement in LLMs

Neural FOXP2——面向大型语言模型目标语言改进的语言特定神经元引导

Anusa Saha, Tanmay Joshi, Vinija Jain, Aman Chadha, Amitava Das

机构 * Meta, USA（Meta, 美国） ； Apple, USA（Apple, 美国） ； Pragya Lab, BITS Pilani Goa, India（Pragya实验室，BITS Pilani Goa，印度） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出Neural FOXP2方法，通过定位语言神经元、计算引导方向和施加稀疏激活偏移，将模型默认语言从英语切换为印地语或西班牙语，实现可控的语言主导性。

Noise-Guided Transport for Imitation Learning

噪声引导的模仿学习传输方法

Lionel Blondé, Joao A. Candido Ramos, Alexandros Kalousis

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对低数据场景下的模仿学习，提出噪声引导传输（NGT）方法，通过对抗训练将模仿问题转化为最优传输问题，无需预训练或特殊架构，在极低数据量下实现强性能。

Comments Accepted at ICML 2026. Code: https://github.com/lionelblonde/ngt

DAM-VLA: Decoupled Asynchronous Multimodal Vision Language Action model

DAM-VLA: 解耦异步多模态视觉语言动作模型

Pankhuri Vanjani, Zhuoyue Li, Jakub Suliga, Moritz Reuss, Gianluca Geraci, Xinkai Jiang, Rudolf Lioutikov

机构 * Intuitive Robots Lab, Karlsruhe Institute of Technology (KIT)（直觉机器人实验室，卡尔斯鲁厄理工学院） ； NVIDIA（英伟达） ； Robotics Institute of Germany（德国机器人研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对VLA模型同步时钟与物理交互中不同模态频率不匹配的问题，提出DAM-VLA，通过解耦各模态时间处理、维护传感器速率更新的潜在缓冲区，并利用门控交叉注意力整合高频模态，在7个真实操作任务中平均成功率提升至95.2%。

Comments 17 pages, 8 figures

TacCoRL: Integrating Tactile Feedback into VLA via Simulation

TacCoRL: 通过仿真将触觉反馈集成到视觉-语言-动作模型中

Siyu Ma, Yuqi Liang, Chang Yu, Yunuo Chen, Hao Su, Yixin Zhu, Yin Yang, Chenfanfu Jiang

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） ； University of Electronic Science and Technology of China（电子科技大学） ； Peking University（北京大学） ； University of Utah（犹他大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出TacCoRL框架，通过仿真与真实联合训练和强化学习，将触觉反馈注入视觉-语言-动作策略，在接触密集型任务中平均成功率提升22.5%。

3-Key-Input: Exploring the Theoretical Minimum Keys for Text Entry

3-Key-Input: 探索文本输入的理论最少按键数

Naoki Kimura

机构 * Naoki Kimura（金仓大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本研究通过结合语言模型与2-5个物理按键，系统评估文本输入系统，发现3键+GPT-4o可实现字符错误率9.46%，表明在强语言模型先验下3键是实用最小值。

Comments 6 pages, 1 figure, 7 tables. Published in ICASSP 2026

Journal ref Proc. ICASSP 2026, pp. 19392-19396, 2026

GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation

GEAR-VLA：学习几何感知的动作表示以实现可泛化的机器人操作

Yuan Zhang, Shiqi Zhang, Yedong Shen, Shuai Dong, Jiajun Deng, Xin Zhang, Yuxuan Gao, Jiajia Wu, Xin Nie, Zhiyuan Cheng, Jianmin Ji, Yanyong Zhang, Xingyi Zhang, Jia Pan

机构 * Anhui University（安徽大学） ； University of Science and Technology of China（中国科学技术大学） ； iFLYTEK（科大讯飞） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出GEAR-VLA框架，通过粗到细的动作学习、语义对齐的3D集成和具身规范化，学习统一的几何感知动作表示，实现跨物体、背景和机器人的泛化操作。

Scaling Laws of Global Weather Models

全球天气模型的缩放定律

Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文分析数据驱动天气模型中模型大小、数据集大小和计算预算与验证损失之间的缩放定律，发现Aurora数据缩放最强，GraphCast参数效率高但硬件利用率低，计算最优分析表明增加训练数据比增大模型更有效，且模型形状上宽度优于深度。

Comments Accepted at ICML 2026. 21 pages, 7 figures

World Pilot: Steering Vision-Language-Action Models with World-Action Priors

World Pilot: 用世界动作先验引导视觉-语言-动作模型

Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, Lue Fan, Zhaoxiang Zhang

机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出World Pilot框架，通过世界动作模型（WAM）的潜在引导和动作引导两条路径，为VLA模型提供场景演化先验和轨迹级运动提示，在LIBERO-Plus零样本OOD基准上达到84.7%的总成功率，并在多个真实机器人操作任务中取得最高成功率。

Comments Project Website: https://world-pilot.github.io/

ERN-Net : Evolving Reason Node-Net for Document Binarization

ERN-Net: 用于文档二值化的演化推理节点网络

Hsin-Jui Pan, Sheng-Wei Chan, Jen-Shiung Chiang

机构 * Dept. of Electrical Engineering Tamkang University（电子工程系 台湾科技大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出ERN-Net，通过演化推理节点和多尺度推理增强退化敏感区域，结合ConvNeXt-Tiny骨干网络和DIBCO预训练，在低数据低内存下实现高效文档二值化。

TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions

TRON：追踪光线以编排用于3D高斯重建的神经渲染器

Or Perel, Hassan Abu Alhaija, Zian Wang, Jacob Munkberg, Matan Atzmon, Sanja Fidler, Masha Shugrina

机构 * NVIDIA（英伟达） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出TRON框架，结合3D高斯光线追踪与神经渲染，实现真实世界3D场景在新光照、动态物体运动、物体插入和材质编辑下的逼真可控渲染，通过内在分解先验和光线追踪辐射引导，弥合物理渲染与神经渲染的差距。

Comments Project page: https://research.nvidia.com/labs/sil/projects/tron/