语言大模型 / LLM

Evaluating the Generalizability of Foundation Models for Extreme Environmental Events: Case Study of California Wildfire PM2.5

评估极端环境事件基础模型的泛化能力：以加利福尼亚野火PM2.5为例

Yongcan Huang, Li Jiang, Ze Yu Liu

机构 * College of Engineering, University of Georgia（佐治亚大学工程学院） ； Information System Department, UMBC（马里兰大学巴尔的摩郡分校信息系统系） ； College of Graduate and Professional Studies, Trine University（特瑞大学研究生与专业研究学院） ； School of Professional Studies, Columbia University（哥伦比亚大学专业研究学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究以加利福尼亚野火PM2.5为例，比较六种时间序列基础模型配置与全训练基线及朴素持久性方法，通过留一事件法评估泛化能力，发现BiLSTM表现最佳，零样本TSFMs改进有限，LoRA微调有改善但未超循环基线，挑战大预训练模型主导环境预测的假设并提供指导。

When Do Foundation Models Pay Off? A Break-Even Analysis of Pretrained Time Series Forecasters

基础模型何时能取得成效？预训练时间序列预测器的盈亏平衡分析

Nicholas Tan Jerome, Frank Simon

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究何时投资时间序列基础模型能有回报，通过对比基础模型和传统基线在不同训练集规模下的表现，给出部署规则和决策框架，助从业者决策。

Stacked LoRA for Subject-Adaptive EEG Foundation Models in Motor Imagery Decoding

用于运动想象解码中主题自适应脑电基础模型的堆叠式LoRA

Aymen Sarhane, Fouad Lbakali, Mouad Souissi, Jonathan Lys, Giulia Lioi

机构 * IMT Atlantique, Lab-STICC（法国布雷斯特的IMT大西洋学院，Lab-STICC实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 脑机接口的脑电图解码面临受试者间差异大的挑战。基于现有脑电基础模型，研究不同低秩适应策略对运动想象分类的影响，提出堆叠式LoRA框架，有效减轻受试者间差异，在多数组合中获最佳准确率。

Comments 10 pages, 1 figure, 2 tables. Accepted at the 2026 IEEE World Congress on Computational Intelligence (WCCI 2026), Maastricht, Netherlands

VISTA: Auditing Semantic Divergence in Vision-Language Models

VISTA：视觉语言模型中的语义差异审计

Junchi Liao, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型中视觉概念条件性差异，提出VISTA黑箱跨模型审计方法，结合语义熵与基于分布的差异标记异常，通过实验验证其有效性并发现新差异模式。

Comments Preprint. 3 figures

Probing Chemical Language Models: Effects of Pre-training and Fine-tuning

探测化学语言模型：预训练与微调的影响

Anna Karnysheva, Dietrich Klakow, Ji-Ung Lee

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 通过探测78种分子子结构，系统研究了预训练和微调对化学语言模型分子结构感知能力的影响，发现预训练提升上层结构意识，微调增强任务相关子结构表征。

Zeus: Towards Tuning-Free Foundation Model for Time Series Analysis

Zeus：面向时间序列分析的无调优基础模型

Yisong Fu, Zezhi Shao, Chengqing Yu, Yujie Li, Yongjun Xu, Xueqi Cheng, Fei Wang

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出统一无调优时间序列基础模型Zeus，通过多尺度Transformer和Multi-Objective Temporal Masking策略，在无需任务特定调优下实现多种分析任务的优异性能。

Comments Accepted by ICML 2026

EO-VGGT: Orbital Ray-Conditioned 3D Foundation Models for Satellite Multi-View Reconstruction

EO-VGGT：用于卫星多视角重建的轨道光线条件化3D基础模型

Qiyan Luo, Yingdong Pi, Lekang Wen, Jie Yang, Xiaoyu Wang, Haiming Zhang, Mi Wang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Hubei Luojia Laboratory（湖北珞珈实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对卫星遥感中透视模型与轨道几何不匹配的问题，提出EO-VGGT框架，通过几何相关约束选择、传感器射线编码器和射线指向适配器，实现冻结视角驱动模型适应轨道观测，提升多视角卫星3D重建质量。

Comments This article is submitted to journal and under review

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

具有结构保证的嵌入基础模型预测的离散选择模型

Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出两阶段适配器，将基础模型的预测嵌入多项Logit效用中，通过符号约束保持边际替代率，在三个数据集上平均提升6.4个百分点准确率，并保证成本单调性和合理时间价值。

Comments Extends arXiv:2605.26559 (ICML 2026 FMSD Workshop)

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

VoidPadding: 让 [VOID] 处理掩码扩散语言模型中的填充，以便 [EOS] 专注于语义终止

Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(title)；instruction tuning(abstract)；分类 cs.CL

AI总结 提出VoidPadding方法，通过引入[VOID]令牌处理填充，将[EOS]从双重角色中解放，实现大块解码下的早期停止和自适应响应扩展，在数学推理和代码生成任务上平均提升17.84分，并减少55.7%的NFE。

Comments Minor related-work revisions; results unchanged

Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families

可操作的激活方向：检测和缓解跨语言模型家族的突发性对齐失调

Abdul Rafay Syed

机构 * Universität des Saarlandes（萨尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 通过差分均值方向在最终层实现99.6%的对齐/失调分离，因果干预将代码泄露降低21-51点；跨架构迁移虽有效但缺乏特异性，揭示了两层特异性结构。

Comments 12 pages, 2 figures

Robust and Interpretable Adaptation of Equivariant Materials Foundation Models via Sparsity-promoting Fine-tuning

通过稀疏性促进微调实现等变材料基础模型的鲁棒和可解释适应

Youngwoo Cho, Seunghoon Yi, Wooil Yang, Sungmo Kang, Young-woo Son, Jaegul Choo, Joonseok Lee, Soo Kyung Kim, Hongkee Yoon

机构 * KAIST（韩国科学技术院） ； Seoul National Univ.（首尔国立大学） ； KIAS（韩国宇宙科学研究所） ； Ewha Womans Univ.（成均馆大学） ； Kangwon National Univ.（江原国立大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出稀疏性促进微调方法，利用E(3)等变材料基础模型的结构特性选择性更新参数，在能量和力预测任务中以约3%参数达到或超越全微调性能，并展示在磁矩预测等任务中的泛化性和可解释性。

Comments Accepted by ICLR 2026

Self-Generated Error Training for Token Editing in Diffusion Language Models

扩散语言模型中令牌编辑的自生成错误训练

Lin Yao

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 指令微调 ：language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 针对LLaDA2.1中令牌编辑的训练-推理不匹配问题，提出自生成T2T方法，通过无梯度草稿传递和自生成错误监督，提升编辑准确率并减少编辑强度。

Understanding Cross-Modal Contributions in Continual Vision-Language Models: A Theoretical Perspective

理解连续视觉-语言模型中的跨模态贡献：一个理论视角

Salimeh Sekeh, Mary Wisell

机构 * San Diego State University（圣地亚哥州立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 本文从理论角度分析连续视觉-语言模型中跨模态（视觉-语言）贡献，提出新视角并通过实验验证其有效性，揭示任务顺序和相似性对贡献鲁棒性的影响，提升泛化性能。

Dense Coordinate-List Fine-Tuning Induces a Controllable Interference Surface in Vision-Language Models

密集坐标列表微调在视觉语言模型中诱导可控干扰面

Chenyu Zhou, Qiliang Jiang, Boguang Pan

机构 * School of Engineering, Institute of Science Tokyo（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） ； Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 研究密集坐标列表微调对视觉语言模型结构化输出（如重复、终止）的影响，发现其产生结构绑定且跨家族的干扰面，可通过目标信号分离和结构轴探针进行测量与控制。

Adapting Prithvi-EO for Fallow Detection for Food-Water Nexus: ViT-Adapter Necks and Parameter-Efficient Backbone tuning of Geospatial Foundation Model

为食物-水关系调整Prithvi-EO用于休耕地检测：地理空间基础模型的ViT-Adapter颈部与参数高效骨干微调

Sk Muhammad Asif, Orhun Aydin

机构 * Earth, Atmospheric and Geospatial Science, Saint Louis University（圣路易斯大学地球、大气与地理空间科学系） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对休耕地检测中多尺度特征需求与基础模型单尺度ViT骨干不匹配的问题，提出结合LoRA和混合PEFT的两种参数高效微调方案与三种颈部设计，其中Lite ViT-Adapter配合单阶段检测头在mAP@50上达到0.9479，优于无适配器方法25.70%。

Comments 10 pages, 6 figures. Preprint. Submitted to ACM SIGSPATIAL 2026

Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

哪种LoRA？多语言指令微调中LoRA技术有效性的实证研究

Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

机构 * School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL

AI总结 通过实验比较基本LoRA与四种变体在多语言指令微调中的效果，发现复杂变体在平衡跨语言迁移与知识保留方面并无显著优势。

A Unified Adaptive Feature Composition Framework for Multi-Task Generalization in Wireless Foundation Models

无线基础模型中多任务泛化的统一自适应特征组合框架

Yuxuan Shi, Tingting Yang, Kangning Ma, Liwen Jing, Yuwei Wang, Mengfan Zheng, Li Sun

机构 * Department of Broadband Communication, Pengcheng Laboratory（宽带通信系，鹏城实验室） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出RAFC路由适配器，通过轻量级任务驱动网络动态组合Transformer各层隐藏特征，实现无线基础模型的多任务泛化，仅增加少于50K参数。

Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models

通过视觉语言模型从自我中心视觉解码行人过街意图

Danya Li, Xiang Su, Yan Feng, Rico Krueger

机构 * Technical University of Denmark（丹麦技术大学） ； University of Helsinki（赫尔辛基大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 利用视觉语言模型（VLM）将行人过街意图预测转化为视觉问答任务，通过参数高效微调并结合自我运动、车辆运动和眼动等上下文线索，在自我中心视频上实现了14.5%的准确率提升，创下新纪录。

Vision Language Model Helps Private Information De-Identification in Vision Data

视觉语言模型助力视觉数据中的隐私信息去标识化

Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出VisShield框架，通过专用指令微调数据集OPTIC和训练策略，使视觉语言模型精准定位并掩码敏感文本，有效保护医学图像等视觉数据中的隐私信息。

Single-Cell Cross-Modal Transfer by Adversarial Fine-Tuning of Foundation Models

通过基础模型的对抗微调实现单细胞跨模态迁移

Joseph Boyd, Matthew Lyon, Martino Mansoldo, Christian Hurry, Finnian Firth

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出利用单细胞基础模型进行对抗微调，实现未配对空间转录组与单细胞RNA测序数据的跨模态翻译，性能优于多组学翻译方法。

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

SS-TPT：面向对抗鲁棒视觉语言模型的稳定性和适用性引导的测试时提示微调

Sunoh Kim, Daeho Um

机构 * Dankook University, Yongin, South Korea（首尔大学，韩国永兴） ； University of Seoul, Seoul, South Korea（首尔大学，韩国首尔） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出SS-TPT方法，通过稳定性与适用性分数评估增强视图质量，引导测试时提示微调，在保持高吞吐量的同时显著提升对抗鲁棒性。

Comments Accepted in ICML2026

Federated Foundation Models over Vehicular Networks

车辆网络中的联邦基础模型

Kasra Borazjani, Fardis Nadimi, Payam Abdisarabshali, Owen Palinski, Allan Salihovic, Dinh Nguyen, Minghui Liwang, Seyyedali Hosseinalipour

机构 * University of Waterloo（多伦多大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出将多模态多任务联邦基础模型（M3T FedFMs）集成到车辆网络中的愿景，结合基础模型的表达力与联邦学习的隐私保护分布式学习能力，并通过Waymo数据集案例验证其潜力。

Comments 8 pages, 4 figures

Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning

Latent-LoRA：用于持续学习的具有无梯度路由的紧凑潜在空间适配器

Reza Rahimi Azghan, Gautham Krishna Gudur, Giulia Pedrielli, Pavan Turaga, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； The GAME School, Arizona State University（亚利桑那州立大学GAME学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型持续学习的灾难性遗忘问题，提出Latent-LoRA系统。利用冻结嵌入层池化令牌嵌入分离任务分布，无需可训练路由组件，通过奇异值分解和正交正则化控制任务干扰，实验显示其有近零遗忘的最优性能。

AgentOmnia: Scaling Agentic Models for Full-Scenario Applications

AgentOmnia：用于全场景应用的规模化智能体模型

Hao Jiang, Gangtao Xin, Yingdi Huang, Guojie Zhu, Jiangshan Zhang, Xinyuan Lin, Yunkun Xu, Chengyu Shen, Wenlong Fei, Jiawei Li, Yujie Fu, Sichen Kang, Tingyu Xie, Yedi Hu, Jingren Zhang, Hongcheng Gao, Jianshu Zeng, Chong Chen, Chang Guo, Chao Feng, Feng Wang, Fulin Lin, Jinchao Ma, Lang Mei, Li Huang, Liyan Liu, Qing He, Shuting Tao, Siyu Mo, Xiangnan Chen, Xiaohan Yu, Xiaoyang Li, Yanheng Hou, Yanyu Wu, Zhihan Yang, Wentao Zhang, Yang Gao, Zhao Cao

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型智能体全场景扩展问题，提出AgentOmnia框架，结合多种技术构建环境、工具和任务，通过多种方式支持训练后处理，能将多个基准测试通过率和宏平均率大幅提高，实现广泛改进并为自我进化提供证据。

Comments 69 pages, 18 figures, 13 tables

The Blessing of Dimensionality: How Near-Orthogonality in High-Dimensional Spaces Explains Temporal Portability

维度的祝福：高维空间中的近正交性如何解释时间可移植性

Abigail Woodring, Adrian Chan, Rana Muhammad Shahroz Khan, Sukwon Yun, Chau-Wai Wong, Tianlong Chen

机构 * NC State University（北卡罗来纳州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨PortLLM在持续预训练中LoRA补丁的长期时间可移植性及有效性。通过对Mistral、Gemma和Qwen基础模型进行实证研究，并提供理论分析，发现其可移植性持久，高维向量近正交性是关键，还展示了损失景观几何视角。

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

内省微调（IFT）：训练小型语言模型进行内省

Ely Hahami, Ishaan Sinha, Lavik Jain

机构 * Harvard College（哈佛大学） 纠错

专题命中 指令微调 ：language model(abstract)；small language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究小型语言模型内省能力，提出句子定位和强度比较评估范式，发现小模型有内省能力且随规模提升，引入内省微调（IFT），能提高模型内省能力，还表明内省能力可训练，对AI透明度和对齐有意义。

Comments 9 pages (excluding appendices / references), 2 figures, 3 tables

PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails

PolicyShiftGuard：基准测试与改进策略自适应图像护栏

Mingyang Song, Luxin Xu, Haoyu Sun, Minzhou Pan, Yu Cheng, Bo Li

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） ； Virtue AI（美德人工智能公司） ； The Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究策略自适应图像护栏问题，提出PolicyShiftGuard方法，结合随机策略SFT和边界对策略适应进行两阶段训练，在PolicyShiftBench基准测试中显著提升性能，消融实验验证关键因素。

Evil Spectra: How Optimisers can Amplify or Suppress Emergent Misalignment

邪恶光谱：优化器如何放大或抑制涌现性失调

Jason R. Brown, Patrick Leask, Lev McKinney

机构 * Astra Fellows Program（Astra Fellows 项目） ； University of Cambridge（剑桥大学） ； Durham University（杜伦大学） ； University of Toronto（多伦多大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究优化器选择对LLM涌现性失调的影响，发现优化器导致7倍失调率差异，Muon通过隐式正则化奇异值分布保持对齐，谱正则化可缓解失调。

Priority-Aware Learning-Unlearning Correction for Dynamic Decentralized LoRA Fine-Tuning

面向动态去中心化LoRA微调的优先级感知学习-遗忘校正

Nuocheng Yang, Yechen He, Sihua Wang, Zihan Chen, Tony Q. S. Quek, Changchuan Yin

机构 * Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of Posts and Telecommunications（网络系统架构与融合北京市重点实验室，北京邮电大学） ； Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对去中心化边缘网络中设备动态加入/离开导致的参数纠缠问题，提出基于正交LoRA的优先级感知校正框架，通过拓扑调整和资源分配实现高效知识评估与修正。

Comments 15 pages, 8 figures

Sparsity Curse: Understanding RLVR Model Parameter Space from Model Merging

稀疏性诅咒：从模型合并理解RLVR模型参数空间

Chenrui Wu, Zexi Li, Jiajun Bu, Jiangchuan Liu, Haishuai Wang

机构 * Zhejiang University（浙江大学） ； Simon Fraser University（西蒙菲莎大学） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang Key Lab of Accessible Perception and Intelligent Systems（浙江省可感知智能系统重点实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现RLVR模型的稀疏更新在参数空间中分散更远，形成近正交捷径导致合并脆弱，并提出SAR-Merging方法解决该问题。

Comments Accepted by KDD 2026