arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 138791 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 12393 篇

2605.29591 2026-05-29 cs.AI 79%

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

Mind-Omni:通过离散扩散实现脑-视觉-语言建模的统一多任务框架

Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He

机构 * NeuBCI Lab, State Key Laboratory of Brain Cognition Brain-inspired Intelligence Technology, Institute of Automation, Chinese Academy of Sciences, Beijing, China School of Future Technology, University of Chinese Academy of Sciences, Beijing, China School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China Zhongguancun Academy, Beijing, China Peking University, Beijing, China

专题命中 预训练与数据 :language model(title);foundation model(abstract);分类 cs.AI

AI总结 提出Mind-Omni框架,利用离散扩散范式统一七种编码与解码任务,通过脑分词器将连续脑信号转化为离散令牌,实现多模态交互,并构建脑问答指令调优数据集,在多项任务上达到或超越专用模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29425 2026-05-29 cs.AI 79%

ReasonLight: A Multimodal Foundation Model-Enhanced Reinforcement Learning Framework for Zero-Shot Traffic Signal Control

ReasonLight: 一种多模态基础模型增强的强化学习框架用于零样本交通信号控制

Aoyu Pang, Maonan Wang, Yuejiao Xie, Chung Shue Chen, Zhiwei Yang, Man-On Pun

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)科学与工程学院) Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学机械与自动化工程系) Shanghai AI Laboratory, Shanghai, China(上海人工智能实验室) Nokia Bell Labs, Paris-Saclay, France(法国巴黎萨克雷诺基贝尔实验室)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.AI

AI总结 提出ReasonLight框架,通过多模态基础模型增强强化学习,利用路侧传感器和摄像头数据实现零样本适应罕见交通事件,显著降低紧急车辆等待时间。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26194 2026-05-29 cs.LG 79%

On the Role of Inductive Bias in Time-Series Pretraining: A Case Study in Learning Generalizable Representations for Clinical Time Series

论归纳偏置在时间序列预训练中的作用:以临床时间序列学习通用表征的案例研究

Sharmita Dey, Diego Paez-Granados

机构 * ETH Zurich(苏黎世联邦理工学院) Swiss Paraplegic Research(瑞士脊髓损伤研究所) ETH Zurich, Swiss Paraplegic Research(苏黎世联邦理工学院、瑞士脊髓损伤研究所)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.LG

AI总结 通过PathoFM编码器中心Transformer,结合局部补全、时间连续性和无监督上下文动力学三种互补目标,研究预训练目标中归纳偏置对跨任务类型和受试者迁移的影响,发现动态中心混合目标能产生最平衡的迁移表征。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26661 2026-05-27 cs.CV cs.AI 79%

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

在预训练视觉语言模型的后验分布外检测中尊重模态差距

Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

机构 * The University of Queensland(昆士兰大学) University of Technology Sydney(悉尼科技大学)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.AI

AI总结 针对预训练视觉语言模型在后验分布外检测中文本原型与视觉原型存在模态差距的问题,提出在线伪监督框架直接在视觉特征空间学习类原型,实现新最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07120 2026-05-27 cs.CL 79%

Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model

锚定解码:可证明降低任何语言模型的版权风险

Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer, Pang Wei Koh

机构 * University of Washington(华盛顿大学) Allen Institute for Artificial Intelligence(人工智能研究院)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.CL

AI总结 提出锚定解码,一种即插即用的推理时方法,通过将生成内容约束在许可训练的安全模型附近,可证明地抑制语言模型逐字复制受版权保护的内容,实现可调的风险-效用权衡。

Comments Accepted to ICML 2026. 53 pages, 14 figures, 22 tables. Code is publicly available at https://github.com/jacqueline-he/anchored-decoding

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.11253 2026-05-27 cs.CV cs.LG 79%

Lifting Data-Tracing Machine Unlearning to Knowledge-Tracing for Foundation Models

将数据追踪的机器遗忘提升为基础模型的知识追踪

Yuwen Tan, Boqing Gong

机构 * Boston University(波士顿大学)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 本文提出将数据追踪的机器遗忘提升为基础模型的知识追踪,以应对多样化遗忘请求,并更接近人类遗忘机制,通过视觉语言模型案例展示实现范式。

Comments Accepted to TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25474 2026-05-26 cs.CL 79%

TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

TypedCSIP:面向中国立法冲突分类的类型化反事实预训练

Yao Liu

机构 * Chengdu University of Technology, Leshan, China(成都理工大学,乐山,中国) School of Computer Sciences, Universiti Sains Malaysia, Penang, Malaysia(马来西亚理科大学计算机科学学院,槟城,马来西亚)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.CL

AI总结 提出TypedCSIP方法,通过类型化反事实选择性干预预训练(阶段1)和五路分类头迁移(阶段2),在LCR-CN基准上提升立法冲突分类的宏F1值。

详情

展开后加载摘要…

URL PDF HTML 收藏
2309.07778 2026-05-26 eess.IV cs.CV cs.LG q-bio.TO 79%

Virchow: A Million-Slide Digital Pathology Foundation Model

Virchow:百万级数字病理学基础模型

Eugene Vorontsov, Alican Bozkurt, Adam Casson, George Shaikovski, Michal Zelechowski, Siqi Liu, Kristen Severson, Eric Zimmermann, James Hall, Neil Tenenholtz, Nicolo Fusi, Philippe Mathieu, Alexander van Eck, Donghun Lee, Julian Viret, Eric Robert, Yi Kan Wang, Jeremy D. Kunz, Matthew C. H. Lee, Jan Bernhard, Ran A. Godrich, Gerard Oakley, Ewan Millar, Matthew Hanna, Juan Retamero, William A. Moye, Razik Yousfi, Christopher Kanan, David Klimstra, Brandon Rothrock, Thomas J. Fuchs

机构 * Paige Microsoft Research(微软研究院) NSW Health Pathology(新南威尔士州卫生病理学) St George Hospital(圣乔治医院) Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心) University of Rochester(罗切斯特大学)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 提出Virchow,一个基于DINOv2自监督学习、在150万张H&E染色全切片图像上训练的6.32亿参数视觉Transformer模型,用于计算病理学,在泛癌检测和生物标志物预测任务上达到最先进性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24921 2026-05-26 cs.LG 79%

BandVQ: Band-Wise Vector-Quantized EEG Foundation Model

BandVQ: 分带向量量化的脑电图基础模型

Jamiyan Sukhbaatar, Satoshi Imamura, Toshihisa Tanaka

机构 * Tokyo University of Agriculture and Technology(东京农工大学) National University of Mongolia(蒙古国国立大学)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 针对脑电图基础模型中频率特异性活动表征不足的问题,提出BandVQ模型,通过分带VQ-VAE分词器和共享Transformer编码器,在71个公共数据集上预训练,并在六个分类任务上取得领先性能。

Comments 15 pages, 1 figure

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23797 2026-05-25 cs.LG cs.CV 79%

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

去偏负挖掘提升基于预训练视觉语言模型的分布外检测

Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

机构 * University of Technology Sydney(悉尼科技大学)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.LG

AI总结 针对分布外检测中负标签的假阴性问题,提出通过间接近似负标签分布来校正采样偏差的理论框架,并转化为基于ID标签和未标注语料数据的蒙特卡洛采样方法,在多种OOD检测设置中达到新最优。

Comments KDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23417 2026-05-25 cs.LG 79%

An Open-Source Training Dataset for Foundation Models for Black-box Optimization

黑箱优化的基础模型的开源训练数据集

Aaron Klein, Herilalaina Rakotoarison, Luca Thale-Bombien, David Salinas

机构 * ELLIS Institute Tübingen(图宾根ELLIS研究所) University of Helsinki(赫尔辛基大学) Leipzig University(莱比锡大学) Prior Labs(Prior实验室)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 为解决黑箱优化方法泛化性差的问题,提出首个大规模开源优化轨迹数据集BBO-Pile,并训练多尺度基础模型,验证了大规模预训练的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18123 2026-05-25 eess.IV cs.AI 79%

Understanding Task Aggregation for Generalizable Ultrasound Foundation Models

理解可泛化超声基础模型的任务聚合

Fangyijie Wang, Tanya Akumu, Vien Ngoc Dang, Amelia Jiménez-Sánchez, Jieyun Bai, Guénolé Silvestre, Karim Lekadir, Kathleen M. Curran

机构 * Research Ireland Centre for Research Training in Machine Learning Departament de Matem\`atiques i Inform\`atica, Universitat de Barcelona, Barcelona, Spain School of Medicine, University College Dublin, Dublin, Ireland School of Computer Science, University College Dublin, Dublin, Ireland Instituci\'o Catalana de Recerca i Estudis Avan c ats (ICREA) Department of Cardiovascular Surgery, The First Affiliated Hospital of Jinan University, Jinan University, Guangzhou, China Auckland Bioengineering Institute, University of Auckland, Auckland, New Zealand Equal contribution

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.AI

AI总结 本文通过系统分析任务异质性与训练数据规模对联合学习的影响,提出基于DINOv3和任务条件专家混合模块的M2DINO框架,并在27项超声任务上验证了聚合策略应同时考虑数据可用性和任务特性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.02239 2026-05-25 cs.RO cs.AI 79%

LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation

LACY: 基于视觉-语言模型的语言-动作循环用于自我改进的机器人操作

Youngjin Hong, Houjian Yu, Mingen Li, Changhyun Choi

机构 * Department of Electrical and Computer Engineering, Univ. of Minnesota(电气与计算机工程系,明尼苏达大学)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.AI

AI总结 提出LACY框架,通过联合学习语言到动作、动作到语言和语言一致性验证三个任务,实现机器人操作的自我改进,平均任务成功率提升56.46%。

Comments Accepted to ICRA 2026. Project page: https://vla2026.github.io/LACY/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21070 2026-05-21 cs.LG 79%

Towards Understanding Self-Pretraining for Sequence Classification

向序列分类中的自预训练理解迈进

Omar Coser, Loredana Zollo, Paolo Soda, Antonio Orvieto

机构 * Unit of Artificial Intelligence & Computer Systems, Università Campus Bio-Medico di Roma(人工智能与计算机系统单位,罗马生物医学学院) Unit of Advanced Robotics and Human-Centered Technologies, Università Campus Bio-Medico di Roma(先进机器人与以人为本技术单位,罗马生物医学学院) Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering, Umeå University(诊断与介入部门,辐射物理,生物医学工程,乌梅拉大学) Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所) ELLIS Institute Tübingen(图宾根ELLIS研究所) Tübingen AI Center(图宾根人工智能中心)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.LG

AI总结 本文通过复制和系统消融Amos等人的研究,揭示了自预训练(SPT)在序列分类中提升性能的关键因素,发现标签监督在学习有用的查询-键注意力模式方面存在瓶颈,并通过简化理论框架证明了自预训练通过学习接近性交互来提升性能。

Comments v1: Preliminary, extension of the version accepted at ICML 2025 Workshop MOSS

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15599 2026-05-20 cs.CV cs.AI 79%

Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study

预训练目标在极低数据细粒度视觉分类中的影响:一个骨干网络控制研究

Alexander Hackett, Srikanth Thudumu, Ginny Fisher, Jason Fisher

机构 * Santa Clara University(圣克拉拉大学) IAAIR

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.AI

AI总结 本文研究了在极低数据细粒度视觉分类中预训练目标对下游表示质量的影响,通过比较四种冻结的ViT-B/16编码器,得出了在数据稀缺时优先选择边界增强预训练目标的结论。

Comments Presented at the 13th Workshop on Fine-Grained Visual Categorization (FGVC13) at CVPR 2026

Journal ref 13th Workshop on Fine-Grained Visual Categorization (FGVC13), CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15284 2026-05-18 cs.LG 79%

Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning

Tadpole:用于3D偏微分方程的自动编码器作为基础模型的在线学习

Qiang Liu, Felix Koehler, Benjamin Holzschuh, Nils Thuerey

机构 * TUM School of Computation, Information and Technology(慕尼黑技术大学计算、信息与技术学院) Technical University of Munich, Garching, Germany(慕尼黑技术大学,慕尼黑,德国) MCML, Munich Center for Machine Learning, Munich, Germany(慕尼黑机器学习中心,慕尼黑,德国)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 Tadpole通过在线数据生成框架预训练自动编码器,学习跨异构物理系统的丰富可迁移表示,支持高维扩展和多任务应用,包括动态学习和生成建模。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.13405 2026-05-14 cs.LG 79%

When is Warmstarting Effective for Scaling Language Models?

何时在扩展语言模型时预热是有效的?

Neeratyoy Mallik, Maciej Janowski, Johannes Hog, Herilalaina Rakotoarison, Josif Grabocka, Frank Hutter, Aaron Klein

机构 * University of Freiburg(弗赖堡大学) Zuse School ELIZA(Zuse学校ELIZA) University of Technology Nuremberg(努尔登堡技术大学) University of Helsinki(赫尔辛基大学) Prior Labs(Prior实验室) ELLIS Institute Tübingen(图宾根ELLIS研究所)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.LG

AI总结 本文研究了预热在扩展语言模型中的有效性,发现简单策略优于复杂预热操作,并确定了增长因子的上限,为模型扩展提供实践指导。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.12720 2026-05-14 cs.CL 79%

FLEXITOKENS: Flexible Tokenization for Evolving Language Models

FLEXITOKENS: 用于进化语言模型的灵活分词

Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

机构 * The Ohio State University(俄亥俄州立大学) University of Washington(华盛顿大学)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.CL

AI总结 本文提出FLEXITOKENS,通过可学习的分词器实现灵活的分词,减少文本过碎片化,提升多语言和生成任务性能。

Comments Accepted to ACL (findings) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08541 2026-05-14 cs.LG 79%

Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation

每参数令牌覆盖量对鲁棒大语言模型扩展定律外推至关重要

Joshua Shay Kricheli, Alexander Lawrence Reid, Soumajyoti Sarkar, Venkata Gandikota, Paulo Shakarian

机构 * Syracuse University(Syracuse大学) Amazon AGI Foundations(Amazon AGI研究院)

专题命中 预训练与数据 :LLM(title);language model(abstract);分类 cs.LG

AI总结 研究揭示了在固定每参数令牌比下训练导致的扩展定律外推问题,通过数学证明和实验验证,提出了一种必要的令牌多样性阈值以确保估计的稳定性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.09110 2026-05-12 cs.LG 79%

CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model

CodeBrain: 桥接解耦分词器与多尺度架构的EEG基础模型

Jingying Ma, Feng Wu, Qika Lin, Yucheng Xing, Chenyu Liu, Ziyu Jia, Mengling Feng

机构 * Saw Swee Hock School of Public Health, National University of Singapore(新加坡国立大学 Saw Swee Hock 公共卫生学院) Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所) Guangzhou Research Translation and Innovation Institute, National University of Singapore(新加坡国立大学广州研究翻译与创新研究所) College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院) Beijing Key Laboratory of Brainnetome and Brain-Computer Interface, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所脑网络与脑机接口重点实验室) Brainnetome Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所脑网络中心)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 CodeBrain通过解耦分词器和多尺度架构提升EEG基础模型的表示能力,实现对大脑活动的高效捕捉与可解释性。

Comments Published as a conference paper at the International Conference on Learning Representations (ICLR 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.00816 2026-05-12 cs.LG 79%

Sundial: A Family of Highly Capable Time Series Foundation Models

Sundial:一个高能力时间序列基础模型家族

Yong Liu, Guo Qin, Zhiyuan Shi, Zhi Chen, Caiyin Yang, Xiangdong Huang, Jianmin Wang, Mingsheng Long

机构 * School of Software, BNRist, Tsinghua University(软件学院,BNRist,清华大学)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 Sundial提出基于流匹配的TimeFlow损失,实现无需离散化的时间序列Transformer预训练,生成多可能预测,提升表示学习灵活性,并在时间序列基础模型中取得前所未有的模型容量和泛化性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08241 2026-05-12 cs.CV cs.AI 79%

TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models

TinySSL:用于子兆字节MCU模型的蒸馏自监督预训练

Bibin Wilson

机构 * Bibin Wilson

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.AI

AI总结 本文提出CA-DSSL框架,通过蒸馏和自监督学习在子兆字节MCU模型上实现高效表示学习,达到优于SimCLR-Tiny的性能,且参数更少。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07266 2026-05-11 cs.IT cs.LG math.IT 79%

How Big Should a Wireless Foundation Model Be?

无线基础模型应该有多大?

Wei-Lun Cheng, Wanjiun Liao

机构 * Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan(电子工程系,国立台湾大学,台北,台湾)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 本文探讨了无线基础模型的规模限制,指出信道的内在维度是决定模型大小的关键因素,并提出了一种基于TTT的适应方法,证明在物理层无线AI设计中,信道几何而非模型大小决定缩放规律。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18516 2026-05-11 q-bio.NC cs.LG 79%

Decoding Dynamic Visual Experience from Calcium Imaging via Cell-Pattern-Aware Pretraining

通过细胞模式感知预训练解码动态视觉体验

Sangyoon Bae, Mehdi Azabou, Blake Richards, Jiook Cha

机构 * Interdisciplinary Program in Artificial Intelligence(人工智能跨学科项目) Seoul National University(首尔国立大学) NSF AI Institute for Artificial and Natural Intelligence (ARNI)(国家科学基金会人工智能与自然智能研究院) Columbia University(哥伦比亚大学) Mila (Quebec AI Institute)(蒙特利尔人工智能研究所) Dept. of Neurology & Neurosurgery(神经病学与神经外科系) McGill University(麦吉尔大学) Montreal Neurological Institute, McGill University(麦吉尔大学蒙特利尔神经科学研究所) School of Computer Science, McGill University(麦吉尔大学计算机科学学院) Learning in Machines and Brains Program, CIFAR(机器与大脑学习计划,CIFAR) Department of Psychology(心理学系) Department of Brain and Cognitive Sciences(脑与认知科学系)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.LG

AI总结 本文提出POYO-CAP方法,通过预训练提升神经解码鲁棒性,实验证明其在Allen脑观察数据集上比从头训练有12-13%的提升,并实现模型规模的平稳扩展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.06487 2026-05-08 cs.CV cs.AI 79%

3D MRI Image Pretraining via Controllable 2D Slice Navigation Task

通过可控的2D切片导航任务进行3D MRI图像预训练

Yu Wang, Qingchao Chen

机构 * Beijing University of Posts and Telecommunications(北京邮电大学) Peking University(北京大学)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.AI

AI总结 本文提出通过可控2D切片导航任务预训练3D MRI图像,利用动作轨迹控制生成视频动作序列,提升解剖和空间表示学习能力。

Comments 9 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.06343 2026-05-08 cs.AI 79%

Mind the Gap? A Distributional Comparison of Real and Synthetic Priors for Tabular Foundation Models

注意差距?对现实和合成先验的分布比较用于表格基础模型

Alex O. Davies, Telmo de Menezes e Silva Filho, Nirav Ajmeri

机构 * School of Geographical Sciences University of Bristol, UK(布里斯托尔大学地理科学学院) School of Engineering Mathematics and Technology University of Bristol, UK(布里斯托尔大学工程数学与技术学院) School of Computer Science University of Bristol, UK(布里斯托尔大学计算机科学学院)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.AI

AI总结 本文比较了现实和合成先验在表格基础模型中的分布差异,发现合成先验在真实表格空间中占据狭窄区域,且无法通过优化超参数关闭匹配差距,表明分布差异对模型性能有影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.09625 2026-05-05 cs.CV cs.AI 79%

Grounding Synthetic Data Generation With Vision and Language Models

基于视觉和语言模型的合成数据生成基础

Ümit Mert Çağlar, Alptekin Temizel

机构 * Graduate School of Informatics(信息学院)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.AI

AI总结 本文提出一种视觉-语言 grounded 框架,用于可解释的遥感合成数据增强与评估,引入 ARAS400k 数据集,包含 100k 真实图像和 300k 合成图像,用于语义分割和图像描述生成。

Comments Accepted for presentation at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Synthetic Data for Computer Vision Workshop (SynData4CV) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18900 2026-05-04 physics.chem-ph cond-mat.mtrl-sci cs.LG 79%

Foundation Models for Discovery and Exploration in Chemical Space

化学空间发现与探索中的基础模型

Alexius Wadell, Anoushka Bhutani, Victor Azumah, Austin R. Ellis-Mohr, Andrew J. Stier, Kareem Hegazy, Alexander Brace, Hancheng Zhao, Celia Kelly, Anuj K. Nayak, Yuhan Chen, Dimitrios Simatos, Hongyi Lin, Murali Emani, Venkatram Vishwanath, Kevin Gering, Melisa Alkan, Tom Gibbs, Jack Wells, Wesley W. Qian, Richard C. Gerkin, Benjamin Amorelli, Alexander B. Wiltschko, Lav R. Varshney, Bharath Ramsundar, Karthik Duraisamy, Michael W. Mahoney, Arvind Ramanathan, Venkatasubramanian Viswanathan

机构 * Department of Mechanical Engineering, University of Michigan(密歇根大学机械工程系) Department of Chemical Engineering, University of Michigan(密歇根大学化学工程系) Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系) The Santa Fe Institute(圣菲研究所) International Computer Science Institute(国际计算机科学研究所) Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计学系) Department of Computer Science, University of Chicago(芝加哥大学计算机科学系) Argonne National Laboratory(阿贡国家实验室) Idaho National Laboratory(爱达荷国家实验室) NVIDIA Corporation(英伟达公司) Osmo Labs, PBC AI Innovation Institute, Stony Brook University(石溪大学AI创新研究所) Brookhaven National Laboratory(布鲁赫斯研究所) Deep Forest Sciences, Palo Alto, CA(帕洛阿尔托的Deep Forest Sciences) Department of Aerospace Engineering, University of Michigan(密歇根大学航空航天工程系) Lawrence Berkeley National Laboratory(伯克利劳伦斯国家实验室)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 本文提出MIST模型,通过大规模无标签数据训练,实现对化学空间中多种分子性质的预测,展示了其在多目标电解质溶剂筛选和立体化学推理中的应用,以及在超参数感知贝叶斯神经缩放定律下的高效训练能力。

Comments Main manuscript: 30 pages (including references), 7 tables and 5 figures. Supplementary information: 158 pages (including references), 15 tables and 128 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2312.12339 2026-05-04 cs.LG cs.RO 79%

Value Explicit Pretraining for Learning Transferable Representations

为学习可迁移的表示进行价值显式预训练

Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

机构 * Thomas Lord Department of Computer Science at the University of Southern California(南加州大学汤姆·劳德计算机科学系)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.LG

AI总结 本文提出价值显式预训练(VEP),通过学习对环境动态和外观变化不变的表示,提升强化学习任务迁移能力。实验表明VEP在未见任务泛化能力、奖励和样本效率上均优于现有方法。

Comments Published in Robotics and Automation Letters (RA-L), January 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22854 2026-04-28 cs.CV cs.AI 79%

MAE-Based Self-Supervised Pretraining for Data-Efficient Medical Image Segmentation Using nnFormer

基于MAE的自监督预训练用于数据高效医学图像分割的nnFormer

R. M. Krishna Sureddi, T. Satyanarayana Murthy, Nomula Varsha Reddy, Adi Kanishka, Nalla Manvika Reddy

机构 * Chaitanya Bharathi Institute of Technology(恰蒂斯赫尔学院技术学院)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.AI

AI总结 本文提出基于MAE的自监督预训练方法,提升nnFormer在医学图像分割中的数据效率,实现更高的Dice得分、更快的收敛速度和更好的小样本泛化能力。

Comments 4 pages, 2 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏