语言大模型 / LLM

PRECISE: Reducing the Bias of LLM Evaluations Using Prediction-Powered Ranking Estimation

PRECISE: 使用预测驱动的排名估计减少LLM评估的偏差

Abhishek Divekar, Anirban Majumder

机构 * Primary contributor and corresponding author（主要贡献者及通讯作者） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PRECISE框架，通过结合少量人工标注与LLM判断，利用预测驱动推断（PPI）方法，在低资源下可靠估计搜索、排序和RAG系统的指标，并校正LLM偏差。

Comments Accepted at AAAI 2026 - Innovative Applications of AI (IAAI-26)

A Latent Variable Framework for Scaling Laws in Large Language Models

大型语言模型中缩放定律的潜变量框架

Peiyao Cai, Chengyu Cui, Felipe Maia Polo, Seamus Somerstep, Leshem Choshen, Mikhail Yurochkin, Yuekai Sun, Kean Ming Tan, Gongjun Xu

机构 * Department of Statistics, University of Michigan（密歇根大学统计系） ； IBM Research and CSAIL, MIT（IBM研究与麻省理工学院计算机科学与人工智能实验室） ； Institute of Foundation Models, MBZUAI（MBZUAI基础模型研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出基于潜变量建模的统计框架，通过引入潜变量捕获不同模型家族和基准的异构性，以更准确地建模大型语言模型的缩放定律。

Towards Pretraining Text Encoders for TabPFN

面向TabPFN的文本编码器预训练

Mustafa Tajjar, Alexander Pfefferle, Lennart Purucker, Frank Hutter

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；language model(abstract)；foundation model(abstract)

AI总结 提出TabPFN文本适配器，通过轻量级适配器将文本嵌入映射到TabPFN的嵌入空间，避免PCA瓶颈，保留TabPFN数值优势，训练效率更高。

Need to Know: Contextual-Integrity-Grounded Query Rewriting for Privacy-Conscious LLM Delegation

须知：基于语境完整性的隐私意识LLM委托查询重写

Xinyue Huang, Xiaochun Cao, Wenyuan Yang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM委托中查询隐私泄露问题，提出基于语境完整性的查询重写框架，通过CI引导的强化学习训练重写器，在保留任务关键信息的同时抑制非必要敏感披露，实现最佳隐私-效用权衡。

Data Attribution in Large Language Models via Bidirectional Gradient Optimization

通过双向梯度优化实现大型语言模型中的数据归因

Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

机构 * EPFL, Switzerland（瑞士联邦理工学院） ； ETH Zurich, Switzerland（瑞士苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出一种基于双向梯度优化的训练数据归因方法，用于自动回归大型语言模型，以识别影响模型输出的关键训练数据，提升模型可解释性。

Comments Presented at the AI Governance (AIGOV) Workshop at AAAI 2026

DOMBA: Double Model Balancing for Access-Controlled Language Models via Minimum-Bounded Aggregation

DOMBA: 通过最小有界聚合实现访问控制语言模型的双模型平衡

Tom Segal, Asaf Shabtai, Yuval Elovici

机构 * Ben-Gurion University（本·古里安大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DOMBA方法，通过最小有界平均函数聚合两个不同访问级别文档训练的语言模型的概率分布，在保证安全性的同时实现高效用。

Comments Code: https://github.com/ppo1/DOMBA 11 pages, 3 figures

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 39, pp. 25101-25109, 2025

STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations

STRIDE: 通过子集扰动的稀疏恢复进行训练数据归因

Rishit Dagli, Abir Harrasse, Luke Zhang, Florent Draye, Amirali Abdullah, Bernhard Schölkopf, Zhijing Jin

机构 * Jinesis AI Lab, University of Toronto & Vector Institute（Jinesis AI实验室，多伦多大学及向量研究所） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（智能系统马克斯·普朗克研究所，图宾根，德国） ； Thoughtworks（Thoughtworks公司） ； Martian ； ELLIS Institute, Tübingen, Germany（图宾根ELLIS研究所，德国） ； EuroSafeAI 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出STRIDE框架，将训练数据归因建模为压缩感知中的稀疏恢复问题，通过激活空间中的轻量级“引导算子”模拟数据子集的影响，实现高效且准确的LLM预训练归因。

Comments project page: https://stride-tda.github.io/

Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering

先降噪，后正交：通过谱滤波理解Muon中的动量

Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

机构 * The Institute of Statistical Mathematics（统计数学研究所） ； The Graduate Institute for Advanced Studies, SOKENDAI（SOKENDAI高级研究院） ； National Institute of Informatics（国家信息研究所） ； The Chinese University of Hong Kong（香港中文大学） ； Tohoku University（东北大学） ； RIKEN AIP（理化学研究所AIP） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过谱滤波理论证明Muon优化器中的动量能抑制梯度扰动、扩大谱间隙，从而稳定正交化步骤，并证明先动量后正交化比相反顺序或去除动量更优。

Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic

解耦答案引擎优化与平台增长：基于日志的ChatGPT推荐流量自然实验

Keisuke Watanabe, Kazuki Nakayashiki

机构 * Glasp Inc.（Glasp公司） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过自然实验方法，利用同一域内未处理页面作为对照，分离了答案引擎优化（AEO）对推荐流量的因果效应与平台自身增长带来的混淆效应。

Comments 9 pages, 4 figures, 1 table

GenSpan: Generation-Calibrated Motion Span Priors for Multi-Verb Video Corpus Moment Retrieval

GenSpan: 用于多动词视频语料库时刻检索的生成校准运动跨度先验

Yunzhuo Sun, Xinyue Liu, Yanyang Li, Nanding Wu, Linlin Zong, Xianchao Zhang, Wenxin Liang

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出GenSpan框架，利用LLM生成辅助视频作为时间先验，结合令牌选择器和双向状态空间模型，提升多动词查询下的视频语料库时刻检索与定位性能。

Comments Major revision with title change, updated method, and additional experiments

Validity Threats for Foundation Model Research

基础模型研究的有效性威胁

Gunnar König, Martin Pawelczyk, Ulrike von Luxburg, Sebastian Bordt

机构 * University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心） ； University of Vienna（维也纳大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一个因果推断评估框架，将基础模型研究中的不同近似实验策略（代理实验、观察性研究、单次运行设计）映射为四种有效性（统计、内部、外部、构念）的权衡，揭示并分析计算节省带来的隐蔽有效性威胁。

q0: Primitives for Hyper-Epoch Pretraining

q0: 超周期预训练的原语

Bishwas Mandal, Shmuel Berman, Akshay Vegesna, Samip Dahal

机构 * Q Labs（Q实验室） ； Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对多周期训练中单模型性能饱和的问题，提出超周期预训练（q0）方法，通过循环调度、链式蒸馏和学习先验三个原语，从多周期预算中生成多样化模型群体并聚合其预测，显著提升数据效率。

Comments 22 pages, 5 figures

Effective vocabulary expansion of multilingual language models for extremely low-resource languages

针对极低资源语言的多语言语言模型的有效词汇扩展

Jianyu Zheng

机构 * School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出通过筛选源语言偏置词汇并利用双语词典初始化扩展词汇表示，对多语言预训练模型进行持续预训练，在词性标注和命名实体识别任务上分别提升0.54%和2.60%。

Comments 12 pages, 5 figures, 7 tables, under review

Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

基于简化模型预训练与模型同伦启发迁移的足式机器人动态策略学习

Dongyun Kang, Min-Gyu Kim, Tae-Gyu Song, Hajun Kim, Sehoon Ha, Hae-Won Park

机构 * Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（机械工程系，韩国科学技术院（KAIST）） ； School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出一种延续学习框架，结合简化模型预训练和模型同伦启发迁移，高效生成和优化足式机器人的复杂动态行为，并在真实四足机器人上验证了翻转和墙面辅助等动态任务。

Comments 8 pages

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 7, pp. 8068-8075, July 2026

TANDEM: Bi-Level Data Mixture Optimization with Twin Networks

TANDEM: 基于孪生网络的双层数据混合优化

Jiaxing Wang, Deping Xiang, Jin Xu, Mingyang Yi, Guoqiang Gong, Zicheng Zhang, Haoran Li, Pengzhang Liu, Zhen Chen, Ke Zhang, Ju Fan, Qixiang Jiang

机构 * JD.com（京东公司） ； University of Oxford（牛津大学） ； Renmin University of China（中国人民大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出TANDEM方法，通过孪生网络（代理模型和参考模型）的差异衡量数据效用，优化领域混合比例，在数据受限和监督微调等场景中显著提升大语言模型性能。

The Biomimetic Architecture of Software 4.0

软件4.0的仿生架构

Philip Sheldrake, Dirk Scheffler

机构 * Unnamed Labs Amsterdam（阿姆斯特丹无名实验室） ； Unnamed Labs Karlsruhe（卡尔斯鲁厄无名实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出软件4.0范式，通过自创生异质架构融合人类智能、神经AI与反射符号基底，解决概率-符号阻抗不匹配问题，并介绍实现该架构的编程语言Recognitive。

Comments 14 pages

Bilevel Autoresearch: Meta-Autoresearching Itself

双层自动研究：元自动研究自身

Yaonan Qu, Meng Lu

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 提出双层自动研究框架，外层循环通过读取内层循环代码和轨迹、识别瓶颈并注入可执行Python搜索机制来改进内层循环，在GPT预训练基准上实现5倍改进。

Comments 16 pages, 5 figures, 3 tables. v2 expands the framing as mechanism-level agentic self-improvement and updates related work and limitations; core method and experiments unchanged. This paper was primarily drafted by AI agents with human oversight and direction

CDPM-Align: Multi-Scale Guidance-Aligned Diffusion Pretraining for Robust Few-Shot Anatomical Landmark Detection

CDPM-Align：用于鲁棒少样本解剖标志检测的多尺度引导对齐扩散预训练

Roberto Di Via, Irina Voiculescu, Francesca Odone, Vito Paolo Pastore

机构 * MaLGa ； DIBRIS, University of Genoa（DIBRIS，热那亚大学） ； University of Genoa（热那亚大学） ； Department of Computer Science, University of Oxford（奥大利大学计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 提出多尺度引导对齐的条件扩散预训练方法CDPM-Align，通过生成式预训练学习鲁棒表示，在少样本和低标注场景下提升解剖标志检测的准确性和不确定性。

Comments Accepted MICCAI 2026

Coherence Maximization Improves Pluralistic Alignment

一致性最大化改进多元对齐

Taslim Mahbub, Yiding Pei, Shi Feng

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出内部一致性最大化（ICM）方法，通过最大化标签的互可预测性生成个性化示例，无需人工监督即可将模型与目标群体价值观对齐，并证明示例一致性比单独准确性更重要。

Towards A Generative Protein Evolution Machine with DPLM-Evo

迈向生成式蛋白质进化机器：DPLM-Evo

Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

机构 * Nanjing University（南京大学） ； CUHK（香港大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出DPLM-Evo，一种显式建模替换、插入和删除操作的进化离散扩散框架，在单序列设置下实现蛋白质突变效应预测的最优性能，并支持变长模拟进化与蛋白质编辑优化。

Comments A peer-reviewed version was accepted to ICML 2026

Can Generalist Agents Automate Data Curation?

通用智能体能否自动化数据筛选？

Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Curation-Bench基准，通过通用编码智能体自动化数据筛选循环，实验表明现成智能体可达到强基线，但存在执行-研究差距，而结构化方法引导的智能体能在十分之一数据预算下自主组合出优于强基线的数据选择策略。

Comments Preprint

GGT-100K: Generative Ground Truth for Generalizable Real-World Image Restoration

GGT-100K：面向泛化真实世界图像恢复的生成式真实标签

Xiangtao Kong, Jixin Zhao, Lingchen Sun, Rongyuan Wu, Lei Zhang

机构 * VISUAL COMPUTING LAB POLYU（PolyU视觉计算实验室） ； The Hong Kong Polytechnic University（香港理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；prompting(abstract)

AI总结 提出利用生成式多模态基础模型从真实低质量图像合成高质量目标作为真实标签，构建包含10万对数据的GGT-100K数据集，显著提升多种图像恢复模型的真实世界泛化能力。

Learning While Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies

在部署中学习：面向通用机器人策略的机群规模强化学习

Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo

机构 * Shanghai Innovation Institute（上海创新研究院） ； AGIBOT Finch ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)

AI总结 提出LWD框架，通过机群规模的离线到在线强化学习，结合分布式隐式价值学习与伴随匹配Q学习，持续后训练通用视觉-语言-动作策略，在16台双臂机器人上实现95%平均成功率。

Comments No

Building The Ph(ysical)AI Layer Of Machine Intelligence

构建机器智能的物理AI层

Ulbert Jose Botero, Liam Smith, Brooks Olney, Pooya Khorrami, Steven Kusiak, Watson Jia, Sage Trudeau, Daniel Capecci

机构 * MIT Lincoln Laboratory（麻省理工学院林肯实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于信号处理原理的基座模型，通过射频数据训练实现跨模态迁移，无需目标域微调，以1.99M参数在15个任务上平均准确率77.7%。

Comments 102 pages, 11 Figures

Can VLMs Predict Future States? Bootstrapping World Models from Inverse Dynamics

视觉语言模型能预测未来状态吗？从逆动力学引导世界模型

Yifu Qiu, Yftah Ziser, Anna Korhonen, Shay B. Cohen, Edoardo M. Ponti

机构 * Institute for Language, Cognition and Computation, University of Edinburgh（语言、认知与计算研究所，爱丁堡大学） ； Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学） ； NVIDIA（NVIDIA公司） ； University of Groningen（格罗宁根大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文发现视觉语言模型（VLM）难以直接进行前向动力学预测（FDP），但逆动力学预测（IDP）更容易学习，并利用IDP通过弱监督学习和推理时验证两种策略引导FDP，在Aurora-Bench上取得与最先进图像编辑模型竞争的性能。

Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

对比学习与相关聚类在网络望远镜数据序列中的应用

Jannik Presberger, Alexander Männel, Maynard Koch, Thomas C. Schmidt, Matthias Wählisch, Bjoern Andres

机构 * TU Dresden（德累斯顿技术大学） ； HAW Hamburg（汉堡应用技术大学） ； Center for Scalable Data Analytics and AI Dresden/Leipzig（德累斯顿/莱比锡可扩展数据与人工智能研究中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种无需预训练和标注的对比学习变压器模型，用于估计网络流记录序列间的语义关系，并通过相关聚类实现扫描器行为的无监督分组。

Comments Code: https://github.com/JannikPresberger/Contrastive_Learning_and_Correlation_Clustering_for_Sequences_of_Network_Telescope_Data

CYGNET: Cypher Gate for Neural Execution Triage and Cost Containment

CYGNET: 用于神经执行分类与成本控制的密码门

Nikodem Tomczak

机构 * Thulge Labs, Singapore（新加坡Thulge实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 提出CYGNET门控机制，通过预执行验证和错误修正，在保证生成准确率的同时，高效拦截结构错误的Cypher查询并标记成本过高的执行计划。

StandardE2E: A Unified Framework for End-to-End Autonomous Driving Datasets

StandardE2E：端到端自动驾驶数据集的统一框架

Stepan Konev

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出StandardE2E框架，通过统一数据模式、多数据集联合加载和简化新数据集添加流程，解决端到端自动驾驶数据集格式不兼容问题。

Instant-Fold: In-Context Imitation Learning for Deformable Object Manipulation

Instant-Fold: 可变形物体操作的情境模仿学习

Yilong Wang, Cheng Qian, Edward Johns

机构 * The Robot Learning Lab（机器人学习实验室） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出Instant-Fold框架，通过单次人类演示的情境模仿学习，无需梯度更新即可推断并执行多种可变形物体操作模式，在仿真训练后零样本迁移到真实世界。

Gravity-Aware Hierarchical Routing for Lightweight SensorLLM on Human Activity Recognition

面向人体活动识别的轻量级SensorLLM的重力感知层次路由

Hao Li, Mingrui Zheng, Yasuyuki Tahara, Yuichi Sei

机构 * Department of Informatics, Graduate School of Informatics and Engineering（信息学院信息科学与工程研究生院） ； Graduate School of Information Science and Technology（信息科学与技术研究生院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 针对轻量级SensorLLM在静态活动识别上的退化问题，提出一种基于重力感知层次路由的轻量级后对齐适配方法，通过统计线索和软路由显著提升静态类别的宏F1分数。