语言大模型 / LLM

The TMU System for the XACLE Challenge: Training Large Audio Language Models with CLAP Pseudo-Labels

TMU系统用于XACLE挑战：利用CLAP伪标签训练大型音频语言模型

Ayuto Tsutsumi, Kohei Tanaka, Sayaka Shiota

机构 * Tokyo Metropolitan University（东京 Metropolitan 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 TMU系统通过CLAP伪标签预训练，在XACLE挑战中实现0.632的SRCC成绩，优于基线系统并获得第三名。

Comments 3 pages; 2 figures; 2 tables; Accepted at ICASSP 2026 Workshop (SP Grand Challenges, GC-12: XACLE)

Omni-fMRI: A Universal Atlas-Free fMRI Foundation Model

Omni-fMRI：一种无图谱的fMRI基础模型

Mo Wang, Wenhao Ye, Junfeng Xia, Junxiang Zhang, Xuanye Pan, Minghao Xu, Haotian Deng, Hongkai Wen, Quanying Liu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 Omni-fMRI提出了一种无需图谱的fMRI基础模型，通过动态拼接机制实现高效预训练，提升了脑表示学习的可扩展性和可重复性。

Turning Language Model Training from Black Box into a Sandbox

将语言模型训练从黑箱转变为沙盒

Nicolas Pope, Matti Tedre

专题命中 预训练与数据 ：language model(title,abstract)；prompting(abstract)

AI总结 通过让学生直接训练语言模型，研究发现可视化训练过程能显著提升学生对AI数据驱动本质的理解。

Comments 4 pages, 2 figures, WIP, accepted to IEEE conference

VISTA-PATH: An interactive foundation model for pathology image segmentation and quantitative analysis in computational pathology

VISTA-PATH: 一种交互式的基础模型用于计算病理学中病理图像分割和定量分析

Peixian Liang, Songhao Li, Shunsuke Koga, Yutong Li, Zahra Alipour, Yucheng Tang, Daguang Xu, Zhi Huang

机构 * Department of Pathology and Laboratory Medicine, University of Pennsylvania（病理学与实验室医学系，宾夕法尼亚大学） ； Department of Electrical and System Engineering, University of Pennsylvania（电气与系统工程系，宾夕法尼亚大学） ； Department of Biomedical Engineering, Georgia Institute of Technology and Emory University（生物医学工程系，佐治亚理工学院和埃默里大学） ； NVIDIA Corporation（NVIDIA公司） ； Department of Biostatistics, Epidemiology and Informatics, University of Pennsylvania（生物统计学、流行病学与信息学系，宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 VISTA-PATH是一种交互式基础模型，通过整合专家反馈和多类分割，提升病理图像分割的临床应用价值。

The Spatial Blindspot of Vision-Language Models

视觉-语言模型的空间盲区

Nahid Alam, Leema Krishna Murali, Siddhant Bharadwaj, Patrick Liu, Timothy Chung, Drishti Sharma, Akshata A, Kranthi Kiran, Wesley Tam, Bala Krishna S Vegesna

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 本文提出通过改进图像编码器和2D位置编码来提升视觉-语言模型的空间推理能力，以解决其在空间关系捕捉上的不足。

Comments Work done as part of the EleutherAI SOAR Program

Can Language Models Discover Scaling Laws?

语言模型能否发现扩展定律？

Haowei Lin, Haotian Ye, Wenzheng Feng, Quzhe Huang, Yujun Li, Hubert Lim, Zhengrui Li, Xiangyu Wang, Jianzhu Ma, Yitao Liang, James Zou

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SLDAgent，一种基于进化的代理，能够自动发现比人类衍生定律更准确的扩展定律，展示了AI在科学发现中的潜力。

Scaling Laws for Geospatial Foundation Models: A case study on PhilEO Bench

地理空间基础模型的扩展规律：以PhilEO基准测试为例

Nikolaos Dionelis, Riccardo Musto, Jente Bosmans, Simone Sarti, Giancarlo Paoletti, Peter Naylor, Valerio Marsocci, Sébastien Lefèvre, Bertrand Le Saux, Nicolas Longépé

机构 * 1. European Space Agency (ESA), -lab. 2. Leonardo Labs, Italy. 3. VITO. 4. IRISA, Université Bretagne Sud. 5. European Commission (EC) 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文研究地理空间基础模型的扩展规律，通过不同数据集和架构的实验，发现CNN在低样本下表现优异，ViT-UPerNet在大规模数据上表现最佳，Mamba模型展现出效率优势但需进一步训练。

Comments 11 pages, 12 figures, 3 tables, Submitted

Proprioception Enhances Vision Language Model in Generating Captions and Subtask Segmentations for Robot Task

本体感知增强视觉语言模型在为机器人任务生成描述和子任务分割中的应用

Kanata Suzuki, Shota Shimizu, Tetsuya Ogata

机构 * Faculty of Science and Engineering, Waseda University（工学部，早稻田大学） ； Artificial Intelligence Laboratory, Fujitsu Limited（Fujitsu 人工智能实验室） ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；foundation model(abstract)

AI总结 本研究通过引入本体感知数据，提升视觉语言模型在机器人任务描述和子任务分割中的性能，以增强机器人模仿学习效率。

TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation

TURNA：一种用于增强理解和生成的土耳其编码器-解码器语言模型

Gökçe Uludoğan, Zeynep Yirmibeşoğlu Balal, Furkan Akkurt, Melikşah Türker, Onur Güngör, Susan Üsküdarlı

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TURNA是一种专为土耳其语设计的编码器-解码器语言模型，通过预训练在低资源环境下实现了对自然语言理解和生成任务的提升。

Journal ref Findings of the Association for Computational Linguistics: ACL 2024

MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models

MoIIE：多模态专家的混合模型用于大视觉语言模型

Dianyi Wang, Siyuan Wang, Zejun Li, Yikun Wang, Yitong Li, Duyu Tang, Xiaoyu Shen, Xuanjing Huang, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institut（上海创新研究院） ； University of Southern California（南加州大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT（宁波空间智能与数字衍生关键实验室，数字孪生研究院，EIT） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)

AI总结 本文提出MoIIE模型，通过混合内模态和跨模态专家提升大视觉语言模型的效率和性能。

Extracting books from production language models

从生产语言模型中提取书籍

Ahmed Ahmed, A. Feder Cooper, Sanmi Koyejo, Percy Liang

机构 * Stanford University（斯坦福大学） ； Yale University（耶鲁大学） 纠错

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过两阶段方法测试从生产LLM中提取书籍的可行性，发现部分模型可提取受版权保护文本，但需不同劫持策略，揭示生产LLM存在训练数据泄露风险。

Comments We ran experiments from mid-August to mid-September 2025, notified affected providers shortly after, and now make our findings public after a 90-day disclosure window

Weakly Supervised Ephemeral Gully Detection In Remote Sensing Images Using Vision Language Models

基于视觉语言模型的弱监督瞬时沟壑遥感图像检测

Seyed Mohamad Ali Tousi, Ramy Farag, John A. Lory, G. N. DeSouza

机构 * Vision Guided and Intelligent Robotics Laboratory (ViGIR)（视觉引导与智能机器人实验室） ； EECS Dept.（电子工程与计算机科学系） ； Division of Plant Science and Technology（植物科学与技术系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 本文提出基于视觉语言模型的弱监督瞬时沟壑检测方法，通过半监督学习和噪声感知损失函数提升遥感图像检测性能。

GraphTracer: Graph-Guided Failure Tracing in LLM Agents for Robust Multi-Turn Deep Search

GraphTracer: LLM代理中基于图的故障追踪以实现鲁棒多轮深度搜索

Heng Zhang, Yuling Shi, Xiaodong Gu, Haochen You, Zijian Zhang, Lubin Gan, Yilei Yuan, Jin Huang

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 GraphTracer通过信息流分析和依赖图构建，提升多代理系统在多轮深度搜索中的故障归因准确性与鲁棒性。

Comments This submission has been withdrawn by the authors due to a fundamental error in the methodology that affects the validity of the main results

Chorus: Multi-Teacher Pretraining for Holistic 3D Gaussian Scene Encoding

Chorus：多教师预训练用于整体3D高斯场景编码

Yue Li, Qi Ma, Runyi Yang, Mengjiao Ma, Bin Ren, Nikola Popovic, Nicu Sebe, Theo Gevers, Luc Van Gool, Danda Pani Paudel, Martin R. Oswald

机构 * University of Amsterdam（阿姆斯特丹大学） ； ETH Zürich（苏黎世联邦理工学院） ； University of Trento（特伦托大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 Chorus通过多教师预训练方法，实现对3D高斯场景的高效编码，提升多任务表现并实现数据高效监督。

Any-Optical-Model: A Universal Foundation Model for Optical Remote Sensing

Any-Optical-Model: 一种通用的光学遥感基础模型

Xuyang Li, Chenyu Li, Danfeng Hong

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 Any-Optical-Model提出了一种通用的光学遥感基础模型，能够适应任意波段配置、传感器类型和分辨率尺度，通过多尺度自适应补丁嵌入和语义对齐机制实现光谱-空间关系建模，有效提升遥感任务的泛化能力和实际应用性能。

Comments Accepted by AAAI2026

Reusable theory representations for colliders: a demonstrator SMEFT foundation model

可重用的理论表示用于对撞机：SMEFT基础模型的演示

Supratim Das Bakshi, T. J. Hobbs, Brandon Kriesten

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出了一种基于对比表示的SMEFT基础模型，用于高能对撞机中对新物理的探索，通过训练编码器网络生成低维潜在流形，以捕捉SMEFT引起的Drell-Yan光谱变形的几何结构。

Comments 39 pages, 12 figures, 2 tables

ExpShield: Safeguarding Web Text from Unauthorized Crawling and LLM Exploitation

ExpShield: 保护网络文本免受未经授权的爬虫和大语言模型利用

Ruixuan Liu, Toan Tran, Tianhao Wang, Hongsheng Hu, Shuo Wang, Li Xiong

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 ExpShield通过不可见扰动减轻大语言模型对网络文本的记忆化，同时保持可读性，并通过实例利用指标和优化方法有效防御数据泄露风险。

Comments 18 pages

Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos

通过人类视频中的视觉-物理对齐实现空间感知的VLA预训练

Yicheng Feng, Wanpeng Zhang, Ye Wang, Hao Luo, Haoqi Yuan, Sipeng Zheng, Zongqing Lu

机构 * Peking University（北京大学） ； Renmin University of China（中国人民大学） ； BeingBeyond 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 通过人类视频中的视觉-物理对齐实现空间感知的VLA预训练，提升机器人任务的稳健性和通用性。

From Show Programmes to Data: Designing a Workflow to Make Performing Arts Ephemera Accessible Through Language Models

从节目到数据：设计一种工作流，通过语言模型使表演艺术的临时性资料可访问

Clarisse Bardiot, Pierre-Carl Langlais, Bernard Jacquemin, Jacob Hart, Antonios Lagarias, Nicolas Foucault, Aurélie Lemaître-Legargeant, Jeanne Fras

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出利用多模态语言模型和本体推理模型，将戏剧节目转化为结构化数据，以提升文化遗产资料的可访问性和分析能力。

Comments 19 pages, 8 figures, 5 tables, 17 references

PixCell: A generative foundation model for digital histopathology images

PixCell：数字病理图像的生成基础模型

Srikar Yellapragada, Alexandros Graikos, Zilinghan Li, Kostas Triaridis, Varun Belagali, Tarak Nath Nandi, Karen Bai, Beatrice S. Knudsen, Tahsin Kurc, Rajarsi R. Gupta, Prateek Prasanna, Ravi K Madduri, Joel Saltz, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； Argonne National Laboratory（阿贡国家实验室） ； The University of Chicago（芝加哥大学） ； University of Utah（犹他大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

AI总结 PixCell是首个针对数字病理图像的生成基础模型，通过扩散模型在大规模数据集上训练，实现隐私保护的数据生成和虚拟染色任务，提升病理学研究效率。

Comments Project page - https://histodiffusion.github.io/docs/projects/pixcell

Silhouette-based Gait Foundation Model

基于轮廓的步态基础模型

Dingqiang Ye, Chao Fan, Kartik Narayan, Bingzhe Wu, Chengwen Luo, Jianqiang Li, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Shenzhen University（深圳大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 FoundationGait是首个可扩展的自监督预训练框架，用于步态理解，通过大规模预训练在多个数据集上实现稳健的步态识别性能。

Scaling up self-supervised learning for improved surgical foundation models

提升自监督学习以改进手术基础模型

Tim J. M. Jaspers, Ronald L. P. D. de Jong, Yiping Li, Carolus H. J. Kusters, Franciscus H. A. Bakker, Romy C. van Jaarsveld, Gino M. Kuiper, Richard van Hillegersberg, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Peter H. N. de With, Marcel Breeuwer, Yasmina Al Khalil, Fons van der Sommen

机构 * Department of Electrical Engineering, Video Coding \& Architectures, Eindhoven University of Technology, Eindhoven, The Netherlands ； Department of Biomedical Engineering, Medical Image Analysis, Eindhoven University of Technology, Eindhoven, The Netherlands ； Department of Surgery, University Medical Center Utrecht, Utrecht, The Netherlands ； Department of Oncological Urology, University Medical Center Utrecht, Utrecht, The Netherlands ； Department of Urology, Catharina Hospital, Eindhoven, The Netherlands 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出SurgeNetXL，通过大规模预训练提升手术计算机视觉性能，实现多个任务上的显著改进。

Journal ref Medical Image Analysis, 2025

Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training

电力线：大规模预训练中权重衰减和批量大小的缩放定律

Shane Bergsma, Nolan Dey, Gurpreet Gosal, Gavia Gray, Daria Soboleva, Joel Hestness

机构 * Cerebras Systems（Cerebras系统） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了大规模语言模型预训练中权重衰减和批量大小的缩放定律，揭示了超参数在不同训练设置下的优化规律，并提出了基于令牌数比的精确预测方法。

Comments NeurIPS 2025

Landslide Hazard Mapping with Geospatial Foundation Models: Geographical Generalizability, Data Scarcity, and Band Adaptability

Wenwen Li, Sizhe Wang, Hyunho Lee, Chenyan Lu, Sujit Roy, Rahul Ramachandran, Chia-Yu Hsu

机构 * School of Geographical Sciences and Urban Planning（地理科学与城市规划学院） ； Arizona State University（亚利桑那州立大学） ； School of Computing and Augmented Intelligence（计算与增强智能学院） ； NASA Marshall Space Flight Center（国家航空航天局马歇尔航天飞行中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Training Optimal Large Diffusion Language Models

Jinjie Ni, Qian Liu, Chao Du, Longxu Dou, Hang Yan, Zili Wang, Tianyu Pang, Michael Qizhe Shieh

机构 * National University of Singapore（新加坡国立大学） ； Sea AI Lab（Sea AI 实验室） ； StepFun ； Shanghai Qiji Zhifeng Co Ltd（上海启智丰有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

ChemFM as a Scaling Law Guided Foundation Model Pre-trained on Informative Chemicals

Feiyang Cai, Katelin Zacour, Tianyu Zhu, Tzuen-Rong Tzeng, Yongping Duan, Ling Liu, Srikanth Pilla, Gang Li, Feng Luo

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling

Zhuo Chen, Oriol Mayné i Comas, Zhuotao Jin, Di Luo, Marin Soljačić

机构 * NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基础相互作用研究院） ； Massachusetts Institute of Technology（麻省理工学院） ； Polytechnic University of Catalonia（加泰罗尼亚理工大学） ； Harvard University（哈佛大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 34 pages, 13 figures, 2 tables

Class-Aware Prototype Learning with Negative Contrast for Test-Time Adaptation of Vision-Language Models

Xiaozhen Qiao, Jingkai Zhao, Yuqiu Jiang, Xianda Guo, Zhe Sun, Hongyuan Zhang, Xuelong Li

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom, P. R. China（人工智能研究所（TeleAI），中国电信，中华人民共和国） ； College of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院，光学与电子学（iOPEN），西北工业大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation

Zhitong Xiong, Yi Wang, Fahong Zhang, Adam J. Stewart, Joëlle Hanna, Damian Borth, Ioannis Papoutsis, Bertrand Le Saux, Gustau Camps-Valls, Xiao Xiang Zhu

机构 * Chair of Data Science in Earth Observation, Technical University of Munich (TUM)（地球观测数据科学教授职位，慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； AIML Lab, School of Computer Science, University of St. Gallen（人工智能实验室，圣加尔登大学计算机科学学院） ； School of Rural, Surveying and Geoinformatics Engineering, National Technical University of Athens（农村、测绘与地理信息工程学院，国家技术大学雅典） ； Image Processing Laboratory (IPL), Universitat de València（图像处理实验室（IPL），瓦伦西亚大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments 18 pages, 8 figures

Isolated Channel Vision Transformers: From Single-Channel Pretraining to Multi-Channel Finetuning

Wenyi Lian, Patrick Micke, Joakim Lindblad, Nataša Sladoje

机构 * Department of Information Technology Uppsala University（信息科技系乌普萨拉大学） ； Department of Immunology, Genetics and Pathology Uppsala University（免疫学、遗传学和病理学系乌普萨拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

Comments Paper has been accepted by BMVC as an Oral presentation