语言大模型 / LLM

Aortic Valve Disease Screening from PPG via Physiology-Guided Self-Supervised Learning

通过生理引导的自监督学习检测PPG中的主动脉瓣疾病

Jiaze Wang, Qinghao Zhao, Zizheng Chen, Zhejun Sun, Deyun Zhang, Yuxi Zhou, Shenda Hong

机构 * Department of Computer Science, Tianjin University of Technology（天津理工大学计算机科学系） ； National Institute of Health Data Science, Peking University（北京大学国家健康数据科学研究院） ； Department of Cardiology, Peking University People’s Hospital（北京大学人民医院心内科） ； HeartVoice Medical Technology（心声医疗科技） ； DCST, BNRist, RIIT, Institute of Internet Industry, Tsinghua University（清华大学计算机科学与技术系、北京人工智能研究所、互联网产业研究所） ； Institute of Medical Technology, Peking University Health Science Center（北京大学健康科学中心医学技术研究所） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究所） ； State Key Laboratory of Vascular Homeostasis and Remodeling, NHC Key Laboratory of Cardiovascular Molecular Biology and Regulatory Peptides, Peking University（北京大学血管稳态与重塑国家重点实验室、国家心血管分子生物学与调节肽重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出基于生理引导的自监督学习方法，利用大量未标记PPG数据高效筛查主动脉狭窄和反流，实现优于传统监督学习的检测性能。

Comments 33 pages, 8 figures. Under review

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

KeySI：基于人类反馈调整文本嵌入的交互框架

Yan Zhu, Y. Chen, Rebecca Faust

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 研究针对预训练语言模型调整难的问题，提出KeySI交互框架，通过基于关键词的概念规范实现特征级反馈，减少人工文档处理需求，经用户研究等评估，证明其能有效捕捉用户意图并改善嵌入对齐。

Comments Accepted to IEEE VIS 2026

Safe In-Context Reinforcement Learning

安全的上下文强化学习

Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

机构 * University of Virginia（弗吉尼亚大学） ； Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。

Comments ICML 2026

LV-ROVER-MLT: Low-Resource Maltese OCR by Synthetic Fine-Tuning and Multi-Stream Arbitration

LV-ROVER：用于马耳他语段落OCR的多流Tesseract投票

Adam Darmanin

机构 * Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 针对马耳他语OCR资源匮乏的问题，提出合成训练管道和5流Tesseract LV-ROVER集成，在422段落基准上将字符错误率从0.0234降至0.00700（降幅70%），其中集成识别贡献44%的改进。

Comments 10 pages, including 8 pages of main text and references plus appendices. Working paper. The held-out DocEng 2026 competition result is under organizer embargo and is not reported

Structure-Preserving Physics-Informed Neural Network for the Korteweg--de Vries (KdV) Equation

用于Korteweg - de Vries（KdV）方程的结构保持物理信息神经网络

Victory Obieke, Emmanuel Oguadimma

机构 * Oregon State University（俄勒冈州立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对KdV方程，提出结构保持物理信息神经网络框架，将质量和能量守恒嵌入损失函数，采用正弦激活函数，经案例和消融研究表明该方法能有效再现KdV动力学行为，加速收敛，提高稳定性，无需多阶段预训练。

Comments 9 Pages, 11 figures

Tumor-anchored deep feature random forests for out-of-distribution detection in lung cancer segmentation

基于肿瘤锚定的深度特征随机森林用于肺癌分割中的分布外检测

Aneesh Rangnekar, Harini Veeraraghavan

机构 * Memorial Sloan Kettering Cancer Center（纪念斯隆凯特林癌症中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出RF-Deep框架，利用深度特征提升CT扫描的分布外检测性能，通过少量标注数据改进分割管道的安全性。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026. Code available at: https://github.com/aneesh3108/RF-Deep

Time-Aware Prior Fitted Networks for Zero-Shot Forecasting with Exogenous Variables

考虑时间因素的先验拟合网络用于外生变量的零样本预测

Andres Potapczynski, Ravi Kiran Selvam, Tatiana Konstantinova, Malcolm Wolff, Kin G. Olivares, Ruijun Ma, Michael W. Mahoney, Andrew Gordon Wilson, Boris N. Oreshkin, Dmitry Efimov

机构 * Amazon（亚马逊） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出ApolloPFN，一种时间感知的先验拟合网络，能够原生整合外生变量，通过合成数据生成和时间感知架构改进，实现更准确的预测。

Comments Accepted and published in Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations

TerraTransfer: 无需专家示范的端到端驾驶策略学习

Zikang Xiong, Weixin Li, Zhouchonghao Wu, Akshay Rangesh, Saarth Bonde, Grantland Hall, Chen Tang, Yihan Hu, Wei Zhan

机构 * Applied Intuition ； UCLA（加州大学洛杉矶分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出一种无需专家示范的端到端驾驶方法，通过向量化模拟器中的自博弈预训练策略，再与预训练视觉骨干对齐，降低了数据成本并达到或超越现有方法。

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

M+Adam：通过加法-乘法优化进行低精度训练

Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

机构 * California Institute of Technology（加利福尼亚理工学院） ； University of Copenhagen（哥本哈根大学） ； Aarhus University（阿鲁斯大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究低精度训练中标准优化器的问题，提出结合加法和乘法更新的M+Adam方法，经证明在标准假设下单调下降，在多种模型预训练中持续改善低精度训练。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 45 pages

Geometric Causal Models

几何因果模型

Eli N. Weinstein, David M. Blei

机构 * Department of Chemistry, Technical University of Denmark（丹麦技术大学化学系） ； Departments of Statistics and Computer Science, Columbia University（哥伦比亚大学统计学与计算机科学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 针对非独立同分布结构化数据的因果推断难题，提出利用数据生成过程内在对称性的几何因果模型框架，结合群论、遍历理论与几何深度学习实现因果识别与估计。

Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure

通过整合因果结构改进TabPFN的合成数据生成

Davide Tugnoli, Andrea De Lorenzo, Marco Virgolin, Giovanni Cinà

机构 * Department of Mathematics, Informatics and Geosciences（数学、信息学与地质科学系） ； University of Trieste（特里este大学） ； Department of Engineering and Architecture（工程与建筑系） ； InSilicoTrials Technologies BV（InSilicoTrials技术公司） ； Amsterdam UMC Institute for Logic, Language and Computation（阿姆斯特丹大学医学中心逻辑、语言与计算研究所） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 通过整合因果结构改进TabPFN的合成数据生成，提升合成数据的质量和稳定性

Comments Camera-ready version, accepted at UAI 2026. 9 pages main text, 44 pages total (including supplementary material), 35 figures. Code: https://github.com/DavideTugnoli/tabpfn-causal-synthetic

Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs

概念树：一个可控的合成数据框架助力更强的个性化视觉语言模型

Ruichuan An, Kai Zeng, Ming Lu, Sihan Yang, Renrui Zhang, Huitong Ji, Hao Liang, Wentao Zhang

机构 * Peking University（北京大学） ； CUHK MMLab（香港中文大学MMLab） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence and Security（北京数据智能与安全重点实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 研究提升VLM个性化能力问题，提出概念树（CaT）框架，以树结构表示概念生成多样正负样本，经数据过滤策略确保质量，实验证明该框架显著增强VLM在个性化基准测试中的能力，是首个可控合成数据管道。

Comments ECCV26 Camera Ready

ScheMatiQ: From Research Question to Structured Data through Interactive Schema Discovery

ScheMatiQ: 从研究问题到结构化数据——通过交互式模式发现

Shahar Levy, Eliya Habba, Reshef Mintz, Barak Raveh, Renana Keydar, Gabriel Stanovsky

机构 * School of Computer Science and Engineering, The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校计算机科学与工程学院） ； Faculty of Law, The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校法学院） ； Allen Institute for AI（人工智能艾伦研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 提出ScheMatiQ系统，利用大语言模型从研究问题和语料库自动生成标注模式与结构化数据库，支持用户交互修正，在法律和计算生物学领域验证了有效性。

Gradual Capacity Growth for Sparse Network Discovery

稀疏网络发现的渐进容量增长

Qihang Yao, Constantine Dovrolis

机构 * Georgia Institute of Technology（佐治亚理工学院） ； The Cyprus Institute（塞浦路斯研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出渐进容量增长（GCG）框架，通过路径增长规则在训练中逐步分配网络容量，无需预训练或预设稀疏度，以较低成本发现接近稠密性能的稀疏网络。

Comments Accepted at ICANN 2026

Zero-Shot Cross-City Generalization in End-to-End Autonomous Driving: Self-Supervised versus Supervised Representations

端到端自动驾驶中的零样本跨城市泛化：自监督与监督表示

Fatemeh Naeinian, Ali Hamza, Haoran Zhu, Anna Choromanska

机构 * Department of Electrical and Computer Engineering, NYU Tandon School of Engineering（电气工程系，纽约大学Tandon工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究端到端自动驾驶模型在跨城市零样本迁移中的泛化能力，发现自监督预训练（如I-JEPA、DINOv2、MAE）相比监督预训练能显著减少位移和碰撞退化，提升闭环评估中的分布外PDMS。

Towards Understanding What State Space Models Learn About Code

理解状态空间模型在代码中学到了什么

Jiali Wu, Abhinav Anand, Shweta Verma, Mira Mezini

机构 * TU Darmstadt（图宾根大学） ； Hessian Center for Artificial Intelligence（黑森人工智能中心） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 本文首次系统分析状态空间模型（SSM）在代码理解中的学习机制，发现SSM在预训练时比Transformer更有效捕获语法和语义结构，但微调时会遗忘某些关系，并提出SSM-Interpret框架和架构改进，将NLCodeSearch的MRR提升高达6。

Discriminative Span as a Predictor of Synthetic Data Utility via Classifier Reconstruction

判别跨度作为通过分类器重构预测合成数据效用的指标

Radhika Amar Desai, Modigari Narendra

机构 * School Of Computer Science（计算机科学学院） ； Vellore Institute of Technology（维杰雷理工学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出一种几何驱动的指标，通过预训练模型的嵌入空间评估合成数据效用，无需模型训练，通过测量线性分类器权重向量在变化子空间中的投影误差，判断合成数据对下游分类性能的影响。

Comments 15 pages, 17 tables

MolSight: Molecular Property Prediction with Images

MolSight: 基于图像的分子属性预测

Aaditya Baranwal, Akshaj Gupta, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。

GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation

GEAR-VLA：学习几何感知的动作表示以实现可泛化的机器人操作

Yuan Zhang, Shiqi Zhang, Yedong Shen, Shuai Dong, Jiajun Deng, Xin Zhang, Yuxuan Gao, Jiajia Wu, Xin Nie, Zhiyuan Cheng, Jianmin Ji, Yanyong Zhang, Xingyi Zhang, Jia Pan

机构 * Anhui University（安徽大学） ； University of Science and Technology of China（中国科学技术大学） ； iFLYTEK（科大讯飞） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出GEAR-VLA框架，通过粗到细的动作学习、语义对齐的3D集成和具身规范化，学习统一的几何感知动作表示，实现跨物体、背景和机器人的泛化操作。

Scaling Laws of Global Weather Models

全球天气模型的缩放定律

Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文分析数据驱动天气模型中模型大小、数据集大小和计算预算与验证损失之间的缩放定律，发现Aurora数据缩放最强，GraphCast参数效率高但硬件利用率低，计算最优分析表明增加训练数据比增大模型更有效，且模型形状上宽度优于深度。

Comments Accepted at ICML 2026. 21 pages, 7 figures

$S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data

$S^3$-R1: 通过合成数据学习逐步检索与回答

Harsh Goel, Akhil Udathu, Susmija Jabbireddy, Pradnesh Kalkar, Atharva Parulekar

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 提出S^3-R1框架，通过合成数据生成和密集奖励信号，解决强化学习后训练中稀疏奖励和缺乏多跳问题数据的问题，提升模型搜索与问答能力。

Comments Under Review

Your Autoregressive Model Already Reveals the Causal Graph

你的自回归模型已经揭示了因果图

Hugo Math, Rainer Lienhart

机构 * Department of Machine Learning \& Computer Vision, University of Augsburg, Augsburg, Germany 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出TRACE框架，利用预训练自回归模型作为密度估计器进行条件独立性测试，从单序列离散事件中恢复时间因果图，并在大规模非线性SCM和真实车辆诊断日志上取得显著性能提升。

Comments 8 pages

Journal ref Structured Probabilistic Inference & Generative Modeling workshop ICML 2026

Influence Dynamics and Stagewise Data Attribution

影响动力学与分阶段数据归因

Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

机构 * University College London（伦敦大学学院） ； Independent（独立） ； University of Melbourne（墨尔本大学） ； Timaeus 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 针对神经网络训练中样本影响动态变化的问题，基于奇异学习理论提出分阶段数据归因框架，预测影响非单调变化（符号翻转、尖峰），并在玩具模型和语言模型中验证与模型学习阶段的对应。

Comments 28 pages, 15 figures

Causal Longitudinal Prior-Fitted Networks for Counterfactual Outcome Prediction

因果纵向先验拟合网络用于反事实结果预测

Amirhossein Zare, Amirhessam Zare, Herlock Rahimi, Reza Salarikia, Mohammad Kashkooli

机构 * Yale University（耶鲁大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出CausalLongPFN，一种基于先验拟合的上下文预测器，通过合成因果模型预训练实现无需梯度更新的纵向反事实结果预测，在多个基准上达到与领域训练模型竞争的性能。

Comments 31 pages, 10 tables

Label-Conditioned Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Curriculum-Gated Contrastive Alignment

基于标签的跨模态融合用于成人到儿童ECG转移 via 课程门控对比对齐

Xinran Liu, Yuwen Li, Hongxiang Gao, Heyang Xu, Jianqing Li, Zongmin Wang, Chengyu Liu

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Nanjing Medical University（南京医科大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出PEACE框架，通过预训练和适应性融合提升儿童ECG诊断，采用对比学习和课程适应策略，在有限标注下实现高准确率。

ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

ReTabSyn：通过强化学习实现真实表格数据合成

Xiaofeng Lin, Seungbae Kim, Zhuoya Li, Zachary DeSoto, Charles Fleming, Guang Cheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 ReTabSyn通过强化学习优先学习条件分布，提升小数据下表格数据合成效率，优于现有基线方法。

Scaling Laws for Masked-Reconstruction Transformers on Single-Cell Transcriptomics

单细胞转录组学中掩码重建Transformer的缩放定律

Ihor Kendiukhov

机构 * Department of Computer Science, University of Tübingen（图宾根大学计算机科学系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本研究首次系统探索单细胞RNA测序数据上掩码重建Transformer的缩放行为，发现数据充足时存在幂律缩放定律，数据稀缺时缩放可忽略，并指出数据-参数比是关键决定因素。

Massively Multilingual Joint Segmentation and Glossing

大规模多语言联合分割与标注

Michael Ginn, Lindia Tjuatja, Enora Rice, Ali Marashian, Maria Valentini, Jasmine Xu, Graham Neubig, Alexis Palmer

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.CL

AI总结 针对现有神经标注模型缺乏形态边界预测导致可解释性差的问题，提出PolyGloss模型，通过联合分割与标注提升准确性和对齐度，并支持低秩适应快速迁移。

Comments 15 pages, 9 figures, accepted to ACL 2026 Long Papers

Self-Supervised Dynamical System Representations for Physiological Time-Series

生理时间序列的自监督动力系统表示

Yenho Chen, Maxwell A. Xu, James M. Rehg, Christopher J. Rozell

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出PULSE框架，利用动力系统生成模型的信息结构，通过跨重建预训练目标提取共享系统参数信息，丢弃样本特异性噪声，提升生理时间序列的表示学习效果。

Comments Accepted to ICML 2026

Adaptive Pluralistic Alignment: A pipeline for dynamic artificial democracy

自适应多元对齐：动态人工民主的流水线

Rachel Freedman

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出自适应多元对齐（APA）流水线，通过低秩奖励基分解和陪审团投票机制，动态追踪社会价值观演变，避免价值锁定，无需重复预训练或大规模数据收集。