语言大模型 / LLM

Same Data, Different Schemas: Robustness of LLM-based Text-to-SQL

相同数据，不同模式：基于LLM的文本到SQL的鲁棒性

Nitin Kanchinadam, Aditya Menachery, Amol Deshpande

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一个框架，通过从同一E/R模型生成多个等价关系模式变体，评估LLM在文本到SQL任务中对模式变化的鲁棒性，发现模式结构显著影响模型行为，且提供E/R规范可改善但不完全消除不一致性。

Comments Accepted for publication at Nineth International Workshop on Exploiting Artificial Intelligence Techniques for Data Management (aiDM '26), co-located with ACM SIGMOD 2026

Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring

谁来评判评判者？基于指标的治理：面向持续LLM合规监控的运行时框架

Jehanne Dussert

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；small language model(abstract)；SLM(abstract_cn)

AI总结 针对AI合规作为审计时二元判定而非生产系统持续可测量属性的问题，提出基于指标的治理原则，并开发开源框架govllm，通过运行时可观测性信号实现持续合规监控，验证了多模型陪审团设计在监管评估中的有效性。

Comments 41 pages, 8 figures, preprint

Spectral Retrieval: Multi-Scale Sinc Convolution over Token Embeddings for Localized Retrieval in LLM Multi-Agent Systems

光谱检索：基于多尺度sinc卷积的令牌嵌入局部化检索在LLM多智能体系统中的应用

Andrea Morandi

机构 * Cisco（思科） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出光谱检索方法，通过多尺度sinc卷积对令牌嵌入进行重排序，在无需重新训练的情况下显著提升局部化检索性能，并自然适配于LLM多智能体系统。

PowLU: An Activation Function for Stable Pre-Training of LLMs

PowLU: 一种用于LLM稳定预训练的激活函数

Peijie Jiang, Yuqi Feng, Cunyin Peng, Qian Zhao, Jia Liu, KunLong Chen, Zhiqiang Zhang, Jun Zhou

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PowLU激活函数，通过有理幂函数实现自适应非线性，解决SwiGLU在低精度LLM训练中的数值不稳定问题，在大规模训练中取得与SwiGLU和SwiGLU-Clip相当的性能并提升可扩展性。

Comments 17 pages, 7 figures, techreport

Check Your LLM's Secret Dictionary! Five Lines of Code Reveal What Your LLM Learned (Including What It Shouldn't Have)

检查你的大语言模型的秘密词典！五行代码揭示你的大语言模型学到了什么（包括它不应该学到的）

Hisashi Miyashita

机构 * Mgnite Inc.（Mgnite公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 通过对lm_head权重矩阵进行奇异值分解（仅需五行PyTorch代码且无需模型推理），直接从模型权重中揭示可解释的语义子空间，并发现模型训练数据组成和策展哲学。

Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

利用多模态大语言模型增强单图像面部去变形

Nitish Shukla, Arun Ross

机构 * IEEE 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 提出一种基于多模态大语言模型引导的耦合扩散重建框架，通过提取中间层语义嵌入作为条件，实现无参考的面部去变形，恢复构成图像并保持身份一致性。

How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws

LLM应如何消费高质量数据？通过质量感知的功能缩放定律实现最优数据调度

Zhitao Zhu, Xili Wang, Shizhe Wu, Jiawei Fu, Xiaoqing Liu

机构 * Peking University（北京大学） ； Meituan（美团） 纠错

专题命中 预训练与数据 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过引入数据质量维度扩展功能缩放定律，解析求解了联合数据质量和批次大小调度问题，揭示了高质量数据的双重角色，并提出了Drop-Stable-Rampup调度策略，在15B MoE模型上相比WSD和余弦衰减分别提升平均准确率+1.70和+2.98。

Extracting Training Data from Diffusion Language Models via Infilling

通过填充从扩散语言模型中提取训练数据

Yihan Wang, N. Asokan

机构 * University of Waterloo（滑铁卢大学） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出填充提取协议，利用扩散语言模型的双向去噪能力，通过任意二进制掩码参数化，揭示掩码几何形状控制提取能力，边缘条件掩码比前缀条件掩码多提取三倍逐字序列，且双向访问打开了自回归模型无法利用的通道。

A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring

一种用于光片荧光显微镜的多模态3D基础模型实现少样本分割、分类和去模糊

Adina Scheinfeld, Haotan Zhang, Shang Mu, Rudolf L. M. van Herten, Lucas Stoffl, Ali Erturk, Zhuhao Wu, Johannes C. Paetzold

机构 * Tri-Institutional Program in Computational Biology \& Medicine, Weill Cornell Medicine, New York, NY, USA Department of Radiology, Weill Cornell Medicine, New York, NY, USA Helen ； Robert Appel Alzheimers Disease Research Institute, Feil Family Brain ； Mind Research Institute, Weill Cornell Medicine, New York, NY, USA Graduate Program in Physiology, Biophysics ； Systems Biology, Weill Cornell Medicine, New York, NY, USA Cornell Tech, New York, NY, USA Institute for Intelligent Biotechnologies (iBIO), Helmholtz Center Munich, Neuherberg, Germany Institute for Stroke ； Dementia Research, Klinikum der Universität München, Ludwig-Maximilians University Munich, Munich, Germany 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于掩码重建与图像-文本对齐联合优化的3D基础模型，在光片荧光显微镜数据上预训练，通过少样本适应显著降低标注成本并提升分割、分类和去模糊性能。

Comments 11 pages, 3 figures

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

DIVER-1: 扩展颅内脑电图基础模型以实现可迁移表示

Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

机构 * Seoul National University（首尔国立大学） ； Brookhaven National Laboratory（布鲁克海文国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出DIVER-1自监督iEEG基础模型，通过可变电极-时间注意力、时空重采样等设计处理可变输入，在5310小时ECoG和SEEG上预训练，在认知解码和癫痫检测任务上超越现有模型，并首次进行受控计算感知的扩展研究。

Comments 31 pages, 12 figures, 14tables

Leveraging Language Models for Log Statement Generation in Multilingual Scenarios: How Far Are We?

利用语言模型在多语言场景下生成日志语句：我们走了多远？

Kazuki Kusama, Honglin Shu, Masanari Kondo, Yasutaka Kamei

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)

AI总结 本文通过构建包含五种编程语言的多语言基准，比较评估了三种最先进的日志语句生成方法和五个大型语言模型，发现UniLog方法在多语言环境中表现最佳，并揭示了不同语言间日志生成难度的差异源于日志插入分布和语言特定日志习惯，指出单纯扩大模型规模或训练数据量不足以解决多语言日志生成问题，需针对目标语言特性设计方法。

C3P: Contrastive promoter-protein pretraining yields representations capturing bacterial gene regulation

C3P: 对比启动子-蛋白质预训练产生捕捉细菌基因调控的表征

Cameron Dufault, Scott Xu, Alan M. Moses

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)

AI总结 提出对比启动子-蛋白质预训练（C3P），通过对齐启动子与对应蛋白质来学习细菌调控序列表征，在调控注释推断和零样本共调控基因检索中显著优于基因组语言模型。

Does Continued Pretraining on a Learner Corpus Improve Automated Essay Scoring on English Proficiency Tests? Evidence from EFCAMDAT

在学习者语料库上继续预训练是否能提高英语水平测试的自动作文评分？来自EFCAMDAT的证据

Duy Anh Nguyen

机构 * University of Greenwich（格林威治大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究通过在EFCAMDAT学习者语料库上进行领域自适应继续预训练（DAPT），探究其对基于Transformer的自动作文评分（AES）在英语水平测试中的影响，发现全语料库DAPT效果不一，而基于CEFR分级的针对性DAPT能更可靠地提升领域内评分性能。

Comments 16 pages, 3 figures, 10 tables, including references and appendices

HELO-APR: Enhancing Low-Resource Program Repair through Cross-Lingual Knowledge Transfer

HELO-APR：通过跨语言知识迁移增强低资源程序修复

Zhipeng Wang, Boyang Yang, Yidong Wan, Liuye Guo, You Lv, Tao Zheng, Zhuowei Wang, Tieke He

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出HELO-APR框架，通过从高资源语言合成低资源语言修复数据并采用课程学习策略，显著提升低资源语言的自动程序修复效果。

TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

TypedCSIP：面向中国立法冲突分类的类型化反事实预训练

Yao Liu

机构 * Chengdu University of Technology, Leshan, China（成都理工大学，乐山，中国） ； School of Computer Sciences, Universiti Sains Malaysia, Penang, Malaysia（马来西亚理科大学计算机科学学院，槟城，马来西亚） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 提出TypedCSIP方法，通过类型化反事实选择性干预预训练（阶段1）和五路分类头迁移（阶段2），在LCR-CN基准上提升立法冲突分类的宏F1值。

Virchow: A Million-Slide Digital Pathology Foundation Model

Virchow：百万级数字病理学基础模型

Eugene Vorontsov, Alican Bozkurt, Adam Casson, George Shaikovski, Michal Zelechowski, Siqi Liu, Kristen Severson, Eric Zimmermann, James Hall, Neil Tenenholtz, Nicolo Fusi, Philippe Mathieu, Alexander van Eck, Donghun Lee, Julian Viret, Eric Robert, Yi Kan Wang, Jeremy D. Kunz, Matthew C. H. Lee, Jan Bernhard, Ran A. Godrich, Gerard Oakley, Ewan Millar, Matthew Hanna, Juan Retamero, William A. Moye, Razik Yousfi, Christopher Kanan, David Klimstra, Brandon Rothrock, Thomas J. Fuchs

机构 * Paige ； Microsoft Research（微软研究院） ； NSW Health Pathology（新南威尔士州卫生病理学） ； St George Hospital（圣乔治医院） ； Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心） ； University of Rochester（罗切斯特大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出Virchow，一个基于DINOv2自监督学习、在150万张H&E染色全切片图像上训练的6.32亿参数视觉Transformer模型，用于计算病理学，在泛癌检测和生物标志物预测任务上达到最先进性能。

BandVQ: Band-Wise Vector-Quantized EEG Foundation Model

BandVQ: 分带向量量化的脑电图基础模型

Jamiyan Sukhbaatar, Satoshi Imamura, Toshihisa Tanaka

机构 * Tokyo University of Agriculture and Technology（东京农工大学） ； National University of Mongolia（蒙古国国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对脑电图基础模型中频率特异性活动表征不足的问题，提出BandVQ模型，通过分带VQ-VAE分词器和共享Transformer编码器，在71个公共数据集上预训练，并在六个分类任务上取得领先性能。

Comments 15 pages, 1 figure

Semantics-Guided Multimodal Masked Autoencoder Pretraining for 3D BEV Object Detection

语义引导的多模态掩码自编码器预训练用于3D BEV目标检测

Prabuddhi Wariyapperuma, Rajitha de Silva, Marc Hanheide, Thomas Bohné, Leonardo Guevara

机构 * University of Lincoln, Lincoln Centre for Autonomous Systems（林肯大学，林肯自主系统中心） ； University of Cambridge, Institute for Manufacturing, Department of Engineering（剑桥大学，制造研究所，工程系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出语义引导的多模态掩码自编码器框架，通过语义引导的LiDAR体素掩码和辅助点语义解码分支，在预训练中注入语义信息，提升3D BEV目标检测性能。

Comments Accepted at the ICRA 2026 Workshop on Semantics for Reliable Robot Autonomy (SRRA) as a lightning talk and poster

Understanding the Impact of Geometric Foundation Models on Vision-Language-Action Models

理解几何基础模型对视觉-语言-动作模型的影响

Yurou Yang, Muyuan Lin, Roberto Martin-Martin, Martin Labrie, Shreekant Gayaka, Cheng-Hao Kuo, Luca Carlone

机构 * Amazon Personal Robotics Group（亚马逊个人机器人小组） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本文通过线性探测分析量化了视觉-语言-动作模型（VLA）与几何基础模型（GFM）之间的“几何差距”，比较了三种注入几何信息的架构，并研究了非架构因素对几何VLA性能的影响。

Retrieval-Augmented Detection of Potentially Abusive Clauses in Chilean Terms of Service

智利服务条款中潜在滥用条款的检索增强检测

Christoffer Loeffler, Tomás Rey Pizarro, Daniel Ignacio Miranda Vásquez, Andrea Martínez Freile

机构 * School of Computer Engineering, Pontificia Universidad Católica de Valparaíso（Pontificia Universidad Católica de Valparaíso计算机工程学院） ； Faculty of Law, Universidad Adolfo Ibáñez（Adolfo Ibáñez大学法学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出检索增强生成框架，结合混合稠密-稀疏检索与提示增强，用于自动检测和分类智利服务条款中的潜在滥用条款，并引入包含100份合同和10,029条标注条款的语料库，实验表明该方法显著提升性能，使本地模型接近云端系统。

Comments 42 pages, 6 figures, 9 tables

Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

因式分解以泛化：面向时间序列预测的检索引导不变-动态分解

Jinjin Chi, Lei Feng, Lulu Zhang, Yongcheng Jing, Yiming Wang, Ximing Li, Jialie Shen, Leszek Rutkowski, Dacheng Tao

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； City St George’s, University of London（伦敦大学城圣乔治学院） ； Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出检索引导的不变-动态分解框架，通过分离稳定共享结构与实例特定变化，提升时间序列零样本预测在分布偏移下的鲁棒性。

QASA: Quality-Aware Semantic Augmentation for Robust Multimodal Sentiment Analysis

QASA: 面向鲁棒多模态情感分析的质量感知语义增强

Jiazhang Liang, Jianheng Dai, Miaosen Luo, Menghua Jiang, Sijie Mai

机构 * School of Computer Science, South China Normal University（华南师范大学计算机学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出QASA框架，利用扩散模型生成视觉和听觉增强样本，并通过解耦质量感知评分模块分配训练权重，以解决高质量数据稀缺问题，提升多模态情感分析的鲁棒性和泛化能力。

Comments 11 pages, 4 figures

Overview of the PsyDefDetect Shared Task at BioNLP 2026: Detecting Levels of Psychological Defense Mechanisms in Supportive Conversations

PsyDefDetect 共享任务概述：在支持性对话中检测心理防御机制水平

Hongbin Na, Zimu Wang, Zhaoming Chen, Yining Hua, Rena Gao, Kailai Yang, Ling Chen, Wei Wang, Shaoxiong Ji, John Torous, Sophia Ananiadou

机构 * University of Technology Sydney（技术大学悉尼） ； Xi’an Jiaotong-Liverpool University（西安交通大学-利物浦大学） ； University of Utah（犹他大学） ； Harvard University（哈佛大学） ； The University of Melbourne（墨尔本大学） ； The University of Manchester（曼彻斯特大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文介绍了与 BioNLP@ACL 2026 合办的 PsyDefDetect 共享任务，该任务基于临床验证的 DMRS 框架，要求系统将求助者话语分类为九个类别，最佳系统达到 0.420 的宏 F1 分数，但仍存在改进空间。

LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

LLaVA-OneVision-2：迈向下一代感知智能

Xiang An, Yin Xie, Feilong Tang, Yunyao Yan, Huajie Tan, Didi Zhu, Changrui Chen, Xiuwei Zhao, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Kaichen Zhang, Wenkang Zhang, Zheng Cheng, Nansen Zhang, Chunsheng Wu, Chunjiang Ge, Zimin Ran, Dehua Song, Chunyuan Li, Shikun Feng, Ming Hu, Zhangquan Chen, Junbo Niu, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

机构 * Glint Lab（Glint实验室） ； AIM for Health Lab（健康AI实验室） ； MVP Lab（MVP实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 提出LLaVA-OV-2模型，通过编解码流令牌化、窗口注意力和3D RoPE实现统一视频理解与时空定位，在多项基准上超越Qwen3-VL-8B。

Momentum Streams for Optimizer-Inspired Transformers

动量流：优化器启发的Transformer

Jingchu Gai, Nai-Chieh Huang, Jiayun Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一类优化器启发的Transformer（如三重动量TMMFormer），通过将残差更新解释为优化器步骤，发现动量是性能提升的关键，能收敛到更平坦的极小值，减少遗忘并改善泛化。

Mapping the Schedule x Bit-Width Boundary in Sub-100M Quantisation-Aware Training

在小于100M参数量化感知训练中映射调度策略与位宽边界

Christian Brandt Thomassen

机构 * Dwarf A/S（Dwarf公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过大规模实验研究子100M参数解码器语言模型中，量化感知训练的最佳学习率调度是否依赖于位宽，发现INT6 QAT无需不同调度，INT4在50M以上需wd33调度，以下则噪声主导。

Comments 20 pages, 6 figures, 4 tables. 1345 training runs total (720 + 625). Submitted for review at TMLR

Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning

潜在Q-屏障屏蔽用于安全上下文强化学习

Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种潜在Q-屏障屏蔽方法，通过学习上下文表示、潜在动力学和集成成本评论家，在部署时无需参数更新即可根据剩余预算和预测未来成本过滤或软重加权候选动作，从而改善安全上下文强化学习在分布外转移下的奖励-安全权衡。

Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment

通过测试时后验调整缓解表格上下文学习中的标签偏移

Seunghan Lee

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对TabPFN在表格数据上下文学习中对标签偏移敏感的问题，提出DistPFN方法，通过测试时后验调整重新缩放类别概率，无需修改架构或额外训练，在250多个OpenML数据集上显著提升分类性能。

Comments ICML 2026

MindAlign: Bridging EEG, Vision, and Language for Zero-Shot Visual Decoding

MindAlign: 弥合脑电图、视觉和语言实现零样本视觉解码

Zexuan Chen, Sichao Liu, Runhao Lu, Huichao Qi, Alexandra Woolgar, Xi Vincent Wang, Lihui Wang

机构 * KTH, SWeden（瑞典皇家理工学院） ； University of Cambridge, UK（剑桥大学） ； EPFL, Switzerland（瑞士联邦理工学院） ； McGill University, Canada（麦吉尔大学） ； Karolinska Institutet, Sweden（卡罗林斯卡研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种三模态对比学习框架MindAlign，通过对齐脑电图、图像和文本表示，在Things-EEG2零样本基准上实现54.1% Top-1和83.4% Top-5准确率，显著超越先前方法。

Comments 20 pages, 10 figures, 15 tables

Generative Visual Code Mobile World Models

生成式视觉代码移动世界模型

Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

机构 * Trillion Labs（万亿实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过单一视觉语言模型预测可执行网页代码来生成移动GUI下一状态，结合文本和视觉世界模型优势，实现高保真视觉生成与精确文本渲染。

Comments ICML 2026