语言大模型 / LLM

A Metamorphic Testing Approach to Diagnosing Memorization in LLM-Based Program Repair

一种用于诊断基于LLM的程序修复中记忆现象的元测试方法

Milan De Koning, Ali Asgari, Pouria Derakhshanfar, Annibale Panichella

机构 * JetBrains Research（JetBrains研究） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过结合元测试与负对数似然，揭示LLM程序修复中数据泄露问题，发现模型在变换基准上的修复成功率显著下降，与NLL值高度相关。

Comments 12 pages

Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance

预训练在哪里？探究预训练数据多样性如何影响地理空间基础模型性能

Amandeep Kaur, Mirali Purohit, Gedeon Muhawenayo, Esther Rolf, Hannah Kerner

机构 * Arizona State University（亚利桑那州立大学） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文研究预训练数据地理组成对模型下游性能的影响，发现欧洲预训练数据在全局和本地评估中表现最佳，发现光谱多样性与性能强相关。

Comments Accepted at EarthVision workshop, CVPR 2026

Adaptive Instruction Composition for Automated LLM Red-Teaming

自适应指令生成用于自动化大语言模型红队测试

Jesse Zymet, Andy Luo, Swapnil Shinde, Sahil Wadhwa, Emily Chen

机构 * Capital One, AI Foundations（Capital One人工智能基础研究） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出自适应指令生成框架，通过强化学习平衡探索与利用，提升红队测试的攻击效果与多样性，优于随机组合和现有方法。

Comments Accepted to ACL 2026 Main Conference

JoyAI-RA 0.1: A Foundation Model for Robotic Autonomy

JoyAI-RA 0.1：一种用于机器人自主性的基础模型

Tianle Zhang, Zhihao Yuan, Dafeng Chi, Peidong Liu, Dongwei Li, Kejun Hu, Likui Zhang, Junnan Nie, Ziming Wei, Zengjue Chen, Yili Tang, Jiayi Li, Zhiyuan Xiang, Mingyang Li, Tianci Luo, Hanwen Wan, Ao Li, Linbo Zhai, Zhihao Zhan, Xiaodong Bai, Jiakun Cai, Peng Cao, Kangliang Chen, Siang Chen, Yixiang Dai, Shuai Di, Yicheng Gong, Chenguang Gui, Yucheng Guo, Peng Hao, Qingrong He, Haoyang Huang, Kunrui Huang, Zhixuan Huang, Shibo Jin, Yixiang Jin, Anson Li, Dongjiang Li, Jiawei Li, Ruodai Li, Yihang Li, Yuzhen Li, Jiaming Liang, Fangsheng Liu, Jing Long, Mingxi Luo, Xing Pan, Hui Shen, Xiaomeng Tian, Daming Wang, Song Wang, Junwu Xiong, Hang Xu, Wanting Xu, Zhengcheng Yu, He Zhang, Jiyao Zhang, Lin Zhao, Chen Zhou, Nan Duan, Yuzheng Zhuang, Liang Lin

机构 * Joy Future Academy（京东探索研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文提出JoyAI-RA，一种面向通用机器人操作的视觉-语言-动作基础模型，通过多源多层级预训练框架提升跨身体行为学习能力，在仿真和现实任务中表现优异。

CARE: Counselor-Aligned Response Engine for Online Mental-Health Support

CARE：面向在线心理健康支持的咨询师对齐响应引擎

Hagai Astrin, Ayal Swaid, Avi Segal, Kobi Gal

机构 * Ben-Gurion University（本· Gurion 大学） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） ； School of Informatics, University of Edinburgh Edinburgh UK（爱丁堡大学信息学院爱丁堡 英国） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CARE通过针对希伯来语和阿拉伯语的微调，提升心理健康领域低资源语言下的响应质量，增强咨询师与求助者对话的动态结构和情感语境。

Comments 9 pages, 4 figures

Association Is Not Similarity: Learning Corpus-Specific Associations for Multi-Hop Retrieval

关联并非相似性：为多跳检索学习语料特定的关联

Jason Dury

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出AAR方法，通过对比学习在嵌入空间中学习语料特定的关联关系，提升多跳检索的召回率，且无需评估集调优。

Comments 10 pages, 7 appendices, 10 tables. Code: https://github.com/EridosAI/AAR

Listen and Chant Before You Read: The Ladder of Beauty in LM Pre-Training

在阅读前聆听与吟唱：在LM预训练中的美感阶梯

Yoshinori Nomura

机构 * Mirage Mountain Technologies Inc.（Mirage Mountain Technologies公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 通过在语言前预训练音乐模型，显著加速语言学习。音乐→诗歌→散文的流程在随机初始化下提升了17.5%的困惑度，且在不同模型容量下表现出数据校准原则。

Comments 17 pages, 3 figures

InVitroVision: a Multi-Modal AI Model for Automated Description of Embryo Development using Natural Language

InVitroVision：一种多模态AI模型，用于通过自然语言自动描述胚胎发育

Nicklas Neu, Thomas Ebner, Jasmin Primus, Raphael Zefferer, Bernhard Schenkenfelder, Mathias Brunbauer, Florian Kromp

机构 * Software Competence Center Hagenberg GmbH（软件能力中心海根贝格有限公司） ； Kinderwunsch Zentrum Kepler Universitätsklinikum（儿童愿望中心凯普勒大学诊所） ； Wunschkind Klinik Dr. Brunbauer（愿望宝宝诊所布兰鲍尔医生） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出InVitroVision模型，通过微调多模态视觉语言模型，实现了对胚胎形态和发育的自然语言描述预测，展示了基础视觉语言模型在有限数据下应用于体外受精任务的潜力。

Comments 15 pages, 2 figures

Learning Linear Regression with Low-Rank Tasks in-Context

在上下文中学习低秩任务的线性回归

Kaito Takanami, Takashi Takahashi, Yoshiyuki Kabashima

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了在上下文中学习如何在高维极限下精确刻画预测分布和泛化误差，并发现有限预训练数据中的统计波动诱导了隐式正则化，揭示了任务结构对泛化误差的相变。

Comments Accepted at AISTATS 2026

Losing our Tail, Again: (Un)Natural Selection & Multilingual LLMs

再次失去我们的尾巴：(非)自然选择与多语言大语言模型

Eva Vanmassenhove

机构 * Research Centre for Cognitive Science & Artificial Intelligence（认知科学与人工智能研究中心） ； Department of Computational Cognitive Science（计算认知科学系） ； Tilburg University（蒂尔堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨多语言大语言模型中翻译技术导致语言多样性丧失的问题，指出模型崩溃可能使语言形式、语法特征和文化内涵消失，呼吁保护多语言多样性。

Comments 12 pages

Image-Based Malware Type Classification on MalNet-Image Tiny: Effects of Multi-Scale Fusion, Transfer Learning, Data Augmentation, and Schedule-Free Optimization

基于图像的恶意软件类型分类在MalNet-Image Tiny上的应用：多尺度融合、迁移学习、数据增强和无调度优化的效果

Ahmed A. Abouelkhaire, Waleed A. Yousef, Issa Traor

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文研究了在MalNet-Image Tiny数据集上进行43类恶意软件分类，探讨多尺度融合、迁移学习、数据增强和无调度优化对紧凑图像分类器性能的影响。

Modal Backflow Neural Quantum States for Anharmonic Vibrational Calculations

模态反流神经量子态用于非谐振动计算

Lexin Ding, Markus Reiher

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出模态反流神经量子态方法，用于高效处理非谐振动问题，通过改进的配置选择方案提升计算精度，并在人工和从头计算哈密顿量中验证了其在零点能和振动跃迁计算中的准确性。

Comments 32 pages, 6 figures, 1 table

Journal ref J. Chem. Theory Comput. 22 (2026) 3032