语言大模型 / LLM

Pretraining EHR Foundation Models with Patient-Aware Sampling

基于患者感知采样的电子健康记录基础模型预训练

Joshua Placidi, Yuxuan Liu, Jinpei Han, Marek Rei, A. Aldo Faisal

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对电子健康记录自回归基础模型预训练方法存在的问题，提出患者采样方法，通过控制训练信号分布来构建序列，实验表明该方法在真实EHR数据上提升了性能，凸显训练和验证序列构建对相关模型的重要性。

Comments Accepted at the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning (ICML 2026). 7 pages, 4 figures

Journal ref ICML 2026 Workshop on Structured Data for Health (SD4H)

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

音频基础模型捕捉到的海洋哺乳动物和鸟类发声中的系统发育信号：特定领域预训练的有限益处

Víctor Rincón Yepes

机构 * Earth Species Project（地球物种计划） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究利用四个预训练音频模型从物种发声恢复系统发育距离，在海洋哺乳动物和鸟类中，通用基础模型能恢复信号，特定领域预训练的BirdNET等未超越，表明预训练音频嵌入可携带进化信息，特定领域预训练非必需。

Comments 17 pages, 5 figures, 2 supplementary tables. Code, embeddings and derived matrices: https://github.com/rinvictor/bioacoustic-phylogeny-embeddings

Pretraining Recurrent Networks without Recurrence

无递归预训练循环网络

Akarsh Kumar, Phillip Isola

机构 * MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出监督记忆训练（SMT）方法，通过将循环神经网络训练转化为一步记忆转换标签上的监督学习，实现时间并行训练和稳定梯度路径，优于反向传播通过时间（BPTT）方法。

Comments 30 pages, 23 figures

A Foundation Model for Cross-Band CSI Reconstruction

跨频段 CSI 重建的基础模型

Hongpu Zhang, Shu Sun, Ruifeng Gao, Tongjia Zhang, Feng Yang

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 研究多频段低空无线系统中跨频段 CSI 重建问题，提出在公共频谱表示频段、用射频元数据辅助的基础模型，经特定训练，相比基线降低平均归一化均方误差，能转移到未见频段对且在导频有噪声时仍有效。

Comments 6 pages, 4 figures, accepted by 2026 IEEE/CIC International Conference on Communications in China (ICCC Workshops)

NexForge: Scaling Agent Capabilities through Requirement-Driven Task Synthesis for LLMs

NexForge：通过需求优先合成扩展可执行智能体任务

Jiarong Zhao, Zhikai Lei, Zhiheng Xi, Rui Zheng, Hang Yan, Jie Zhou, Qin Chen, Liang He

专题命中 预训练与数据 ：LLM(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对可执行智能体训练数据扩展瓶颈，提出需求优先框架NexForge，通过需求发现、任务编译等步骤生成训练数据，提升了模型在多个基准测试中的性能，助力Nex-N2模型达到开源先进水平。

Low-Altitude Channel Multipath Prediction via Panoramic Perception and Vision-Language Model

通过全景感知和视觉语言模型进行低空信道多径预测

Zihang Zeng, Shu Sun, Meixia Tao, Zhiyong Chen, Jianhua Mo, Xiangwen Gu

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 针对无人机通信中传统信道预测方法的局限，提出基于全景感知和视觉语言模型的PanoLAMP框架，利用预训练模型及全景观测捕捉特征预测多径参数，实验显示其在多径参数、统计指标及泛化性上表现出色。

Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models

高质量文本，稳健视觉：语言在增强视觉语言模型视觉稳健性中的作用

Futa Waseda, Saku Sugawara, Isao Echizen

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（日本信息处理研究所） ； The University of Tokyo, National Institute of Informatics（东京大学、日本信息处理研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究针对视觉语言模型对抗攻击问题，提出质量文本引导的对抗微调方法QT-AFT，利用高质量字幕提升视觉编码器对抗鲁棒性，在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率，并揭示了语言增强视觉鲁棒性的关键见解。

Comments ACMMM 2025 Accepted. Codes are available at: https://github.com/futakw/QTAFT

A Defense of the Quadratic Model

二次模型的辩护

Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

机构 * Kempner Institute at Harvard University（哈佛大学坎普纳研究所） ； MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究对二次模型进行压力测试，通过泰勒展开预测优化动态，利用兰索斯求积法分析海森矩阵谱和局部稳定性，发现其在语言模型中能准确反映优化情况，或可作为预训练优化动态的理论易处理代理。

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

使用语法书进行低资源机器翻译合成数据生成的析因研究

Varun Ghat Ravikumar, Sina Ahmadi, Lena Jäger, Rico Sennrich

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对濒危语言机器翻译缺平行数据问题，利用大语言模型从语法书提取内容生成合成语料库微调，经三种低资源语言验证，通过析因研究确定增益因素组合，证明可将静态语言文档用于机器翻译微调，为资源匮乏语言提供翻译工具路径。

Comments Accepted at CLiC-it 2026

IQ-JEPA: A Joint-Embedding Predictive Architecture with a Hermitian Vision Transformer for Sound Speed and Attenuation Estimation from Ultrasound IQ Data

IQ-JEPA：一种带有厄米特视觉变换器的联合嵌入预测架构，用于从超声 IQ 数据估计声速和衰减

Masashi Sode, Gianmarco Pinton

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究利用超声 IQ 数据估计声速和衰减的难题，提出 IQ-JEPA 架构，先无标签预训练编码器预测 IQ 区域潜在表示，再微调。实验表明该方法提高标签效率，自监督是主导因素，为定量超声基础模型迈出第一步。

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

基于字节前缀边缘化的跨分词器策略内蒸馏

Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； KwaiKAT Team（快手KwaiKAT团队） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何通过策略内蒸馏整合不同家族语言模型，提出字节前缀边缘化方法，在共享字节空间重表达教师下一个令牌分布，在数学和编程基准测试中，该方法优于现有跨分词器方法，提升了平均准确率。

Comments Project page: https://bpm-opd.github.io/

Hyperball May Not Be a Free Lunch

超球可能并非免费午餐

Yihao Xiao, Jialong Sun, Zitian Gao, Zeming Wei, Chutian Wang, Ran Tao, Jiaye Teng, Bryan Dai

机构 * IQuest Research（IQuest研究公司） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究超球风格优化器优势来源，通过推导角有效学习率等方法分析，发现其优势并非源于更新方向，而是有效步长演变，预训练实验表明学习率衰减策略影响性能，谨慎调度对发挥其潜力至关重要。

Comments 14 pages, 4 figures. Code: https://github.com/mangocrazz/hyperball-may-not-be-a-free-lunch. Equal contribution: Yihao Xiao and Jialong Sun. Corresponding author: Bryan Dai

Graph-Theoretic Neural Network Fragmentation with Covariant Direct Molecular Force Learning: Enabling Coupled-Cluster Accuracy AIMD for Fluxional Systems

基于协变直接分子力学习的图论神经网络碎片化：实现用于通量系统的耦合簇精度的从头算分子动力学

Xiao Zhu, Srinivasan S. Iyengar

机构 * Department of Chemistry, Department of Physics, and the Indiana University Quantum Science and Engineering Center (IU-QSEC)（化学系、物理系以及印第安纳大学量子科学与工程中心（IU-QSEC）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 针对复杂通量化学系统AIMD模拟受限于高计算量的问题，提出图论分子碎片化框架与机器学习集成，直接模拟核力，建立协变描述符，经验证可再现动力学和结构特征，为化学动力学模拟的迁移学习奠定基础。

KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback

KeySI：基于人类反馈调整文本嵌入的交互框架

Yan Zhu, Y. Chen, Rebecca Faust

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 研究针对预训练语言模型调整难的问题，提出KeySI交互框架，通过基于关键词的概念规范实现特征级反馈，减少人工文档处理需求，经用户研究等评估，证明其能有效捕捉用户意图并改善嵌入对齐。

Comments Accepted to IEEE VIS 2026

Safe In-Context Reinforcement Learning

安全的上下文强化学习

Amir Moeini, Minjae Kwon, Alper Kamil Bozkurt, Yuichi Motai, Rohan Chandra, Lu Feng, Shangtong Zhang

机构 * University of Virginia（弗吉尼亚大学） ； Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。

Comments ICML 2026

ResiPhy-MDNF: A Residual-Based Physics-Aware Multilevel Discrete Neural Field Framework for PDE-Constrained Inverse Problems

PhyRes-MDNF：用于多级离散神经场反演的物理耦合残差GNN校正

Zheng Lu, Jiwei Jia, Young Ju Lee

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 研究针对偏微分方程约束下细网格系数反演病态问题，提出PhyRes-MDNF框架，通过固定物理的多级离散神经场优化，在全空间达西实现中联合优化状态场与系数场，实验表明该方法提升了精度与迭代效率。

Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination

基于美国核管理委员会反应堆操作员执照考试的多模态语言模型微调与检索策略基准测试

Isak Hwang, Yoon Pyo Lee

机构 * organization= Department of Nuclear Engineering, Hanyang University , addressline= 222 Wangsimni-ro , postcode= 04763 , state= Seongdong-gu , city= Seoul , country= South Korea ； organization= The Grainger College of Engineering, Nuclear, Plasma \& Radiological Engineering, University of Illinois Urbana-Champaign , city= Urbana , state= IL , country= USA 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对美国核管理委员会反应堆操作员执照考试，评估310亿参数多模态模型应用核知识的能力，通过对比基础模型与多种微调及检索配置，发现固定大小分块RAG的SFT配置表现最佳，并揭示了分块策略规律及RAFT与SFT的性能差异。

Joint Lossless Compression and Steganography for Medical Images via Large Language Models

通过大语言模型实现医学图像的联合无损压缩与隐写术

Pengcheng Zheng, Xiaorong Pu, Kecheng Chen, Jiaxin Huang, Meng Yang, Bai Feng, Yazhou Ren, Jianan Jiang, Chaoning Zhang, Yang Yang, Heng Tao Shen

机构 * Center for Future Media and School of Computer Science and Engineering, University of Electronic Science and Technology of China（未来媒体中心和电子科技大学计算机科学与工程学院） ； Department of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学） ； Department of Electrical Engineering, and the Center for Intelligent Multidimensional Data Analysis, City University of Hong Kong（电子工程系和智能多维数据分析中心，城市大学） ； Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence（机器学习系，Mohamed bin Zayed人工智能大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对医学图像无损压缩中性能与效率权衡及安全问题，提出联合无损压缩与隐写术框架。基于位平面切片，设计自适应模态分解，创新局部模态路径分段消息隐写术算法，结合A-LoRA微调策略，提升压缩率、效率与安全性。

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

容量之上的数据质量：将文档内化到LoRA适配器中用于闭卷问答

Joan Figuerola Hurtado

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究将文档内化到LoRA适配器用于闭卷问答，发现适配器容量足够时，训练数据质量主导闭卷准确率，一次整理大幅提升准确率，确认容量趋势及秩与学习率耦合，内化适配器在低延迟下表现优于检索基线，还报告了调试LLM训练的过程。

Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On

Oxygen-TryOn：用于任意物品虚拟试穿的时尚原生基础模型

Yong Liu, Xiaolong Fu, Zihang Xu, Wen Xue, Xueheng Li, Lin Song, Yuan Zhang, Chuyang Zhao, Haoyang Huang, Nan Duan, Yipeng Sun, Yan Li, Simiu Gu

机构 * Oxygen AIGC Group（氧气AIGC集团） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；SFT(abstract)

AI总结 研究提出时尚原生的Oxygen-TryOn基础模型，用于任意物品虚拟试穿。通过专用数据引擎和特定训练构建，重新定义试穿任务，设计三阶段训练方法，在单物品和多物品试穿中取得先进成果，超越多个系统。

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

小视觉语言模型知道自己何时出错但无法表达：在现实图像退化下对陈述置信度与内部置信度的双模型研究

M M Asif Ferdous

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究小型视觉语言模型在现实图像退化下陈述置信度与内部置信度的差异，通过评估两个模型在六种退化情况及三种严重程度下的表现，发现内部概率是更好的延迟信号，严重低光时两种信号都不可信。

Comments 15 pages, 4 figures

Color Me Correctly: Bridging Perceptual Color Spaces and Text Embeddings for Improved Diffusion Generation

正确为我上色：弥合感知颜色空间与文本嵌入以改进扩散生成

Sung-Lin Tsai, Bo-Lun Huang, Yu Ting Shen, Cheng Yu Yeo, Chiang Tseng, Bo-Kai Ruan, Wen-Sheng Lien, Hong-Han Shuai

机构 * National Yang Ming Chiao Tung University 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究文本到图像生成中颜色对齐问题，提出利用大语言模型消除颜色提示歧义、在文本嵌入空间指导颜色混合操作的无需训练框架，提高了颜色准确性且不影响图像质量，弥合文本语义与视觉生成差距。

Comments Accepted to ACM Multimedia 2025 (MM '25)

Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs

过犹不及：强化学习如何减轻大语言模型中任务冲突的综合分析

Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Baidu Inc.（百度公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 研究对比强化学习与监督微调训练的大语言模型的合并行为，经五项任务评估发现强化学习能减少任务冲突及合并后性能下降。通过实验和分析揭示三个关键因素，表明强化学习在模型合并中更具优势。

Comments Published in ICLR 2026

Universal BCI Personalization: One API for Frozen EEG Trunks and Foundation Models

通用脑机接口个性化：用于冻结脑电图主干和基础模型的单一应用程序编程接口

Sergey Musienko

机构 * NimbusBCI 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.LG

AI总结 研究针对冻结脑电图编码器微调难的问题，提出Nimbus Personalizer，通过与主干无关的API，可在异构冻结主干上运行，在多数据集和基础编码器上验证，相比传统方法成本低且能恢复精度增益，结果具探索性。

Comments 20 pages, 12 figures. Companion paper on the control layer forthcoming

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

用自然语言自动编码器探究Qwen2.5 - 7B中潜在的哥伦比亚身份推断

Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

机构 * Universidad Autónoma de Occidente（西自治大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息，用自然语言自动编码器转化残差流激活，通过含30个提示的数据集进行研究，将激活可解释性与西班牙语变体偏差评估相联系。

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

过程性知识不是低秩的：为什么LoRA无法内化多步骤过程

Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现对于过程性知识，LoRA在保持效率优势的秩上无法与完全微调匹配。通过实验表明在旅行预订等任务中LoRA配置失败，跨域复制也证实其普遍不佳，分析指出完全微调权重变化的有效秩高，LoRA难以企及，这是智能体应用的基本限制。

Comments 14 pages

DCS: A Unified Conditional Sensitivity Framework for Cross-Modal Copyright Infringement Detection

DCS：用于跨模态版权侵权检测的统一条件敏感度框架

Xiafeng Man

机构 * Fudan University（复旦大学） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 研究针对基础模型版权侵权检测问题，提出统一的DCS框架，将侵权证据视为反事实条件分布转移，通过条件差分隐私形式化，创建双分支并结合多种因素界定敏感度，还定义校准统计量，适用于多种模型并以不同方式评估。

MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

MoE$^2$-LoRA：当专家混合模型遇上专家混合风格的低秩自适应

Qingyu Yang, Haonan He, Minglei Li, Jingqi Ye, Tao Chen, Lei Bai, Peng Ye

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究探索MoE模型的参数高效微调方法，提出MoE$^2$-LoRA，通过双通道RCP模块耦合预训练专家专业化与任务适应性，引入全局专家池，在多MoE主干上评估，能保持通用能力并实现最优下游精度。

Comments Preprint, under review

Encoding Invisible Causation for Bridge Diagnostic Agents: Triple-Guided Retrieval-Augmented Fine-Tuning with QLoRA

为桥梁诊断代理编码无形因果关系：基于QLoRA的三重引导检索增强微调

Takato Yasuno

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对桥梁损伤原因难以肉眼察觉及专家诊断依赖隐性知识的问题，提出基于QLoRA的三重引导检索增强微调方法（含知识三元组提取等组件），能在消费级硬件上实现内存高效、高精度的桥梁诊断代理。

Comments 13 pages, 7 figures, 6 tables

Layer-wise LoRA fine-tuning: a similarity metric approach

逐层LoRA微调：相似性度量方法

Keith Ando Ogawa, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出逐层LoRA微调方法，通过选择性微调部分层以减少可训练参数并保持预测性能，适用于不同架构和任务。

Comments Accepted at the International Conference on Pattern Recognition (ICPR 2026)