语言大模型 / LLM

MaskTab: Scalable Masked Tabular Pretraining with Scaling Laws and Distillation for Industrial Classification

MaskTab: 适用于工业分类的可扩展遮蔽表格预训练与缩放定律及蒸馏

Bo Zheng, Yudong Chen, Zihua Xiong, Shuai Fang, Peidong He, Yang Yang, Sheng Guo

机构 * Zhejiang University（浙江大学） ； MyBank, Ant Group（蚂蚁集团MyBank） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MaskTab通过结合监督预训练和MoE增强损失，提升工业表格数据的分类性能，实现更高的AUC和KS值，并在轻量化模型中保持鲁棒性。

Unleashing Scalable Context Parallelism for Foundation Models Pre-Training via FCP

通过FCP释放可扩展的上下文并行性以实现基础模型预训练

Yilong Zhao, Xiaonan Nie, Kan Zhu, Shuang Ma, Zhichao Lai, Hongxiang Hao, Yang Zhou, Baris Kasikci, Ion Stoica

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出FCP，一种灵活的上下文并行范式，通过块级粒度划分和调度序列，实现高效计算和负载平衡，提升基础模型预训练的可扩展性。

Comments Accepted by MLSys 2026

Beyond ViT Tokens: Masked-Diffusion Pretrained Convolutional Pathology Foundation Model for Cell-Level Dense Prediction

超越ViT标记：面向细胞级密集预测的掩码扩散预训练卷积病理基础模型

Weiming Chen, Xitong Ling, Zhenyang Cai, Xidong Wang, Jiawen Li, Tian Guan, Benyou Wang, Yonghong He

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Research Institute of Tsinghua, Pearl River Delta（清华大学 Pearl River Delta 研究院） ； The Chinese University of Hong Kong, ShenZhen（香港中文大学（深圳）） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出ConvNeXt Masked-Diffusion模型，通过卷积生成预训练框架提升病理图像细胞级密集预测性能，实验表明其在有限标注条件下表现更优，优于现有ViT模型和端到端分割方法。

TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

通过补丁标记利用视觉基础模型特征进行AI生成图像检测

Ahmed Abdullah, Nikolas Ebert, Oliver Wasenmüller

机构 * Mannheim University of Applied Sciences（曼海姆应用科学大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文通过评估多种视觉基础模型家族，提出利用可调注意池化（TAP）改进分类器头，提升AI生成图像检测性能，发现最佳模型在准确率上超越CLIP超过12%。

Comments This paper has been accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026

The Randomness Floor: Measuring Intrinsic Non-Randomness in Language Model Token Distributions

随机底限：在语言模型令牌分布中测量固有非随机性

Jarosław Hryszko

机构 * Institute of Computer Science（计算机科学研究所） ； Faculty of Mathematics and Computer Science（数学与计算机科学学院） ； Jagiellonian University（雅盖隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过系统分析31200次生成数据，引入熵偏差（ED）衡量语言模型令牌分布与均匀分布的KL散度，发现即使在中性提示下，Transformer仍表现出约0.30的ED，表明非随机性主要源于模型权重而非上下文。

Comments 13 pages, 4 figures, 5 tables

JoyAI-RA 0.1: A Foundation Model for Robotic Autonomy

JoyAI-RA 0.1：一种用于机器人自主性的基础模型

Tianle Zhang, Zhihao Yuan, Dafeng Chi, Peidong Liu, Dongwei Li, Kejun Hu, Likui Zhang, Junnan Nie, Ziming Wei, Zengjue Chen, Yili Tang, Jiayi Li, Zhiyuan Xiang, Mingyang Li, Tianci Luo, Hanwen Wan, Ao Li, Linbo Zhai, Zhihao Zhan, Xiaodong Bai, Jiakun Cai, Peng Cao, Kangliang Chen, Siang Chen, Yixiang Dai, Shuai Di, Yicheng Gong, Chenguang Gui, Yucheng Guo, Peng Hao, Qingrong He, Haoyang Huang, Kunrui Huang, Zhixuan Huang, Shibo Jin, Yixiang Jin, Anson Li, Dongjiang Li, Jiawei Li, Ruodai Li, Yihang Li, Yuzhen Li, Jiaming Liang, Fangsheng Liu, Jing Long, Mingxi Luo, Xing Pan, Hui Shen, Xiaomeng Tian, Daming Wang, Song Wang, Junwu Xiong, Hang Xu, Wanting Xu, Zhengcheng Yu, He Zhang, Jiyao Zhang, Lin Zhao, Chen Zhou, Nan Duan, Yuzheng Zhuang, Liang Lin

机构 * Joy Future Academy（京东探索研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出JoyAI-RA，一种面向通用机器人操作的视觉-语言-动作基础模型，通过多源多层级预训练框架提升跨身体行为学习能力，在仿真和现实任务中表现优异。

Contextual Biasing for ASR in Speech LLM with Common Word Cues and Bias Word Position Prediction

基于常见词提示和偏置词位置预测的语音LLM上下文偏置

Sashi Novitasari, Takashi Fukuda, Kurata Gakuto, George Saon

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本文提出基于声音线索的上下文偏置方法，利用常见词发音相似性提升稀有词识别，通过多输出学习增强鲁棒性，实验显示在基准系统基础上错误率降低16.3%。

Comments Copyright 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment

TIPSv2：通过增强的补丁-文本对齐推进视觉-语言预训练

Bingyi Cao, Koert Chen, Kevis-Kokitsi Maninis, Kaifeng Chen, Arjun Karpur, Ye Xia, Sahil Dua, Tanmaya Dabral, Guangxing Han, Bohyung Han, Joshua Ainslie, Alex Bewley, Mithun Jacob, René Wagner, Washington Ramos, Krzysztof Choromanski, Mojtaba Seyedhosseini, Howard Zhou, André Araujo

机构 * Google（谷歌） ； DeepMind（深度Mind） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 本文提出TIPSv2，通过改进的预训练方法提升视觉-语言模型的补丁-文本对齐能力，实验表明其在多种任务和数据集上表现优异。

Comments CVPR2026 camera-ready + appendix

Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

微调如你预训练：提升视觉语言模型零样本对抗鲁棒性

Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） ； Xi’an Jiaotong University（西安交通大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 本文提出AdvFLYP方法，通过遵循CLIP预训练过程的训练配方，利用网络上收集的图像-文本对生成对抗样本，并通过对比损失匹配文本，提升视觉语言模型的零样本对抗鲁棒性。

Comments Accepted to CVPR Findings Track 2026

RESP: Reference-guided Sequential Prompting for Visual Glitch Detection in Video Games

RESP：基于参考的顺序提示用于视频游戏中的视觉故障检测

Yakun Yu, Ashley Wiens, Adrián Barahona-Ríos, Benedict Wilkins, Saman Zadtootaghaj, Nabajeet Barman, Cor-Paul Bezemer

机构 * University of Alberta（阿尔伯塔大学） ； Sony Interactive Entertainment（索尼互动娱乐） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)

AI总结 本文提出RESP框架，通过参考引导提示实现多帧视频游戏故障检测，利用VLMs在视频层面进行比较而非孤立分类，提升检测鲁棒性。

UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding

UniversalVTG: 一种通用且轻量的视频时间定位基础模型

Joungbin An, Agrim Jain, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：foundation model(title)；language model(abstract)；pretraining(abstract)

AI总结 本文提出UniversalVTG，一种通用轻量视频时间定位模型，通过大规模跨数据集预训练实现高效长视频定位，优于专用模型且比大语言模型更轻量。

Comments Project Page: https://vision.cs.utexas.edu/projects/universalvtg

AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors

AnomalyVFM -- 将视觉基础模型转变为零样本异常检测器

Matic Fučka, Vitjan Zavrtanik, Danijel Skočaj

机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

AI总结 本文提出AnomalyVFM框架，通过合成数据生成与参数高效适应机制，使视觉基础模型在零样本异常检测中表现更优，实测在9个数据集上达到94.1%的AUROC。

Comments Accepted to CVPR 2026

Combining Masked Language Modeling and Cross-Modal Contrastive Learning for Prosody-Aware TTS

结合掩码语言建模与跨模态对比学习的语调感知语音合成

Kirill Borodin, Vasiliy Kudryavtsev, Maxim Maslov, Nikita Vasiliev, Mikhail Gorodnichev, Grach Mkrtchian

机构 * MTUCI（莫斯科电信与信息技术大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 本文研究了基于扩散模型的语音合成中多阶段预训练对语调建模的影响，通过掩码语言建模与混合音素对比学习相结合，提升了生成质量与感知指标。

Comments This paper has been submitted to Interspeech 2026 for review

FineLAP: Taming Heterogeneous Supervision for Fine-grained Language-Audio Pretraining

FineLAP: 通过异质监督驯化细粒度语言-音频预训练

Xiquan Li, Xuenan Xu, Ziyang Ma, Wenxi Chen, Haolin He, Qiuqiang Kong, Xie Chen

机构 * X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学X-LANCE实验室） ； SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院） ； Shanghai Innovation Institute（上海创新研究院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 本文提出FineLAP，一种新型预训练范式，通过异质数据提升CLAP在clip和frame级对齐能力，引入双流sigmoid损失和聚类采样策略，结合大规模合成SED数据集，实现多任务SOTA性能。

Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

基于体素CT的自监督与跨模态预训练的扩展

Cris Claessens, Christiaan Viviers, Giacomo D'Amicantonio, Egor Bondarev, Fons van der Sommen

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； ARIA Lab（ARIA实验室） ； AIMS Lab（AIMS实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 SPECTRE通过可扩展的3D视觉Transformer架构和现代自监督与视觉-语言预训练策略，学习通用CT表示，克服了体素CT的极端标记扩展、几何各向异性及临床监督弱的问题，实现了大规模3D注意力计算。

MDKeyChunker: Single-Call LLM Enrichment with Rolling Keys and Key-Based Restructuring for High-Accuracy RAG

MDKeyChunker: 基于滚动键和键驱动重构的单次调用LLM增强方法用于高精度RAG

Bhavik Mangla

机构 * Independent Research（独立研究） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MDKeyChunker通过结构感知分块、单次LLM调用增强和键驱动重构提升RAG精度，实现单次调用提取七种元数据，消除多轮提取需求。

Comments 13 pages, 4 figures, 7 tables, 2 algorithms. Code: https://github.com/bhavik-mangla/MDKeyChunker

The NCS-Model: A seismic foundation model trained on the Norwegian repository of public data

NCS模型：基于挪威公共数据仓库的地震基础模型

Alba Ordonez, Theodor Johannes Line Forgaard, David Wade, Aina Juell Bugge, Hakon Nese, Anders Ueland Waldeland

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出NCS模型，通过挪威大陆架的公开DISKOS数据库预训练，开发大规模地震基础模型，提供可扩展的3D训练方法，并量化盆地定向预训练和嵌入维度对下游解释性能的影响。

Comments 29 pages, 8 figures

Cluster-Wise Spatio-Temporal Masking for Efficient Video-Language Pretraining

基于簇的时空掩码用于高效的视频-语言预训练

Weijun Zhuang, Yuqing Huang, Weikang Meng, Xin Li, Ming Liu, Xiaopeng Hong, Yaowei Wang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 本文提出ClusterSTM策略，通过簇内掩码保留关键时空信息，提升视频-语言预训练效率，并在多任务上取得新状态。

Comments Accepted by CVPR 2026

Repurposing Geometric Foundation Models for Multi-view Diffusion

将几何基础模型重新利用于多视图扩散

Wooseok Jang, Seonghu Jeon, Jisang Han, Jinhyeok Choi, Minkyung Kwon, Seungryong Kim, Saining Xie, Sainan Liu

机构 * KAIST AI（韩国科学技术院人工智能实验室） ； New York University（纽约大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出Geometric Latent Diffusion框架，利用几何一致的特征空间作为多视图扩散的潜在空间，提升多视角生成的几何一致性和图像质量。

Comments project website: https://cvlab-kaist.github.io/GLD/

Toward a Multi-View Brain Network Foundation Model: Cross-View Consistency Learning Across Arbitrary Atlases

迈向多视角脑网络基础模型：跨视角一致性学习在任意脑图谱上的应用

Jiaxing Xu, Jingying Ma, Xin Lin, Yuxiao Liu, Kai He, Qika Lin, Yiping Ke, Yang Li, Dinggang Shen, Mengling Feng

机构 * Saw Swee Hock School of Public Health at National University of Singapore（国立新加坡大学 Saw Swee Hock 公共卫生学院） ； School of Biomedical Engineering & State Key Laboratory of Advanced Medical Materials and Devices, ShanghaiTech University（上海科技大学 生物医学工程学院及先进医学材料与设备国家重点实验室） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学 计算与数据科学学院） ； School of Automation Science and Electrical Engineering, Beihang University（北航自动化科学与电气工程学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北航虚拟现实技术与系统国家重点实验室） ； Shanghai United Imaging Intelligence（上海联合影像智能有限公司） ； Shanghai Clinical Research and Trial Center（上海临床研究与试验中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出MV-BrainFM多视角脑网络基础模型，通过跨视角一致性学习在任意脑图谱上学习通用且可扩展的表示，提升跨图谱的鲁棒性和一致性，实验表明其在20000+受试者数据集上优于现有模型。

A Tutorial on ALOS2 SAR Utilization: Dataset Preparation, Self-Supervised Pretraining, and Semantic Segmentation

ALOS2 SAR利用教程：数据准备、自监督预训练与语义分割

Nevrez Imamoglu, Ali Caglayan, Toru Kouyama

机构 * National Institute of Advanced Industrial Science（国家先进工业科学促进机构） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 本文介绍如何利用ALOS2 SAR数据进行预训练和语义分割，通过改进的预训练方法减少噪声影响，提升分割性能。

Comments 10 pages, 8 figures, 1 Table

CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis

CARE：一种具有自适应区域建模的分子引导基础模型用于全切片图像分析

Di Zhang, Zhangpeng Gong, Xiaobo Pang, Jiashuai Liu, Junbo Lu, Hao Cui, Jiusong Ge, Zhi Zeng, Kai Yi, Yinghua Li, Si Liu, Tingsong Yu, Haoran Wang, Mireia Crispin-Ortuzar, Weimiao Yu, Chen Li, Zeyu Gao

机构 * Xi’an Jiaotong University（西安交通大学） ； University of Cambridge（剑桥大学） ； KingMed（康方生物） ； BGI Research（贝登基因研究院） ； A ⋆ STAR 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 CARE通过自适应区域建模和分子引导，提升全切片图像分析的性能，实现对病理区域的精准识别与分类，优于现有基础模型。

Comments Accepted to CVPR 2026

Directional Embedding Smoothing for Robust Vision Language Models

方向嵌入平滑用于鲁棒视觉语言模型

Ye Wang, Jing Liu, Toshiaki Koike-Akino

机构 * Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过方向嵌入平滑技术提升视觉语言模型的鲁棒性，针对多模态劫持攻击，验证了方向嵌入噪声在降低攻击成功率中的有效性。

Comments Accepted at ICLR 2026 Workshop on Agents in the Wild

MINT: Molecularly Informed Training with Spatial Transcriptomics Supervision for Pathology Foundation Models

MINT: 通过空间转录组监督进行病理基础模型的分子引导训练

Minsoo Lee, Jonghyun Kim, Juseung Yun, Sunwoo Yu, Jongseong Jang

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 MINT通过整合空间转录组监督提升病理基础模型的分子信息捕捉能力，实现基因表达预测和病理任务的性能优化。

SIGMAE: A Spectral-Index-Guided Foundation Model for Multispectral Remote Sensing

SIGMAE：一种用于多光谱遥感的基于频谱指数的基础模型

Xiaokang Zhang, Bo Li, Chufeng Zhou, Weikang Yu, Lefei Zhang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Artificial Intelligence and Automation, Wuhan University of Science and Technology（武汉科技大学人工智能与自动化学院） ； School of Electronic Information, Wuhan University of Science and Technology（武汉科技大学电子信息学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 SIGMAE通过引入频谱指数引导动态令牌遮蔽，提升多光谱遥感图像预训练效果，实现更优的空谱特征学习和复杂目标识别。

Comments 17pages,10figures

DeepSparse: A Foundation Model for Sparse-View CBCT Reconstruction

DeepSparse: 一种用于稀疏视图CBCT重建的基础模型

Yiqun Lin, Jixiang Chen, Hualiang Wang, Jiewen Yang, Jiarong Guo, Yi Zhang, Xiaomeng Li

机构 * Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学） ； School of Cyber Science and Engineering, Sichuan University（网络科学与工程学院，四川大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 DeepSparse是一种用于稀疏视图CBCT重建的基础模型，通过DiCE网络和HyViP框架提升重建质量与泛化能力。

In-Orbit GRB Identification Using LLM-based model for the CXPD CubeSat

利用基于大语言模型的模型进行轨道上伽马射线暴识别

Cunshi Wang, Zuke Feng, Difan Yi, Yuyang Li, Lirong Xie, Huanbo Feng, Yi Liu, Qian Liu, Yang Huang, Hongbang Liu, Xinyu Qi, Yangheng Zheng, Ali Luo, Guirong Xue, Jifeng Liu

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于大语言模型的轨道上伽马射线暴识别方法，通过模拟数据训练模型，实现高精度分类和光谱指数估计，为未来轨道上实时GRB检测提供技术基础。

Comments 16 pages, 8 figures, accepted by RAA

U-VLM: Hierarchical Vision Language Modeling for Report Generation

U-VLM：用于报告生成的分层视觉语言模型

Pengcheng Shi, Minghui Zhang, Kehan Song, Jiaqi Liu, Yun Gu, Xinglin Zhang

机构 * Medical Image Insights Co. Ltd.（医疗影像洞察有限公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 U-VLM通过分层视觉语言建模在CT-RATE和AbdomenAtlas 3.0上实现了最先进的报告生成性能，展示了精心设计的视觉编码器预训练的重要性。

Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models

看清森林与树木：面向长视频多模态语言模型的查询感知分词器

Siyou Li, Huanan Wu, Juexi Shao, Yinghao Ma, Yujian Gan, Yihao Luo, Yuwei Wang, Dong Nie, Lu Wang, Wenqing Wu, Le Zhang, Massimo Poesio, Juntao Yu

机构 * Queen Mary University of London（伦敦女王学院） ； University of Sheffield（谢菲尔德大学） ； Imperial College London（伦敦帝国学院） ； Pengcheng Laboratory（鹏城实验室） ； Meta Inc（Meta公司） ； Meituan Inc（美团公司） ； Nanjing University of Science（南京理工大学） ； University of Birmingham（伯明翰大学） ； Utrecht University（乌得勒支大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)

AI总结 QTSplus是一种轻量高效的视觉token选择模块，通过动态选择重要视觉证据提升长视频多模态语言模型的性能，显著降低计算成本并提高处理效率。

Renaissance: Investigating the Pretraining of Vision-Language Encoders

文艺复兴：探究视觉语言编码器的预训练

Clayton Fields, Casey Kennington

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 文艺复兴通过元分析探究视觉语言编码器预训练的最佳实践，展示冻结大部分模型可节省计算资源，同时探讨基于视觉或文本模型构建变压器的影响。

Comments 9 pages