语言大模型 / LLM

Pretraining EHR Foundation Models with Patient-Aware Sampling

基于患者感知采样的电子健康记录基础模型预训练

Joshua Placidi, Yuxuan Liu, Jinpei Han, Marek Rei, A. Aldo Faisal

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对电子健康记录自回归基础模型预训练方法存在的问题，提出患者采样方法，通过控制训练信号分布来构建序列，实验表明该方法在真实EHR数据上提升了性能，凸显训练和验证序列构建对相关模型的重要性。

Comments Accepted at the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning (ICML 2026). 7 pages, 4 figures

Journal ref ICML 2026 Workshop on Structured Data for Health (SD4H)

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

音频基础模型捕捉到的海洋哺乳动物和鸟类发声中的系统发育信号：特定领域预训练的有限益处

Víctor Rincón Yepes

机构 * Earth Species Project（地球物种计划） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究利用四个预训练音频模型从物种发声恢复系统发育距离，在海洋哺乳动物和鸟类中，通用基础模型能恢复信号，特定领域预训练的BirdNET等未超越，表明预训练音频嵌入可携带进化信息，特定领域预训练非必需。

Comments 17 pages, 5 figures, 2 supplementary tables. Code, embeddings and derived matrices: https://github.com/rinvictor/bioacoustic-phylogeny-embeddings

A Foundation Model for Cross-Band CSI Reconstruction

跨频段 CSI 重建的基础模型

Hongpu Zhang, Shu Sun, Ruifeng Gao, Tongjia Zhang, Feng Yang

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 研究多频段低空无线系统中跨频段 CSI 重建问题，提出在公共频谱表示频段、用射频元数据辅助的基础模型，经特定训练，相比基线降低平均归一化均方误差，能转移到未见频段对且在导频有噪声时仍有效。

Comments 6 pages, 4 figures, accepted by 2026 IEEE/CIC International Conference on Communications in China (ICCC Workshops)

Low-Altitude Channel Multipath Prediction via Panoramic Perception and Vision-Language Model

通过全景感知和视觉语言模型进行低空信道多径预测

Zihang Zeng, Shu Sun, Meixia Tao, Zhiyong Chen, Jianhua Mo, Xiangwen Gu

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 针对无人机通信中传统信道预测方法的局限，提出基于全景感知和视觉语言模型的PanoLAMP框架，利用预训练模型及全景观测捕捉特征预测多径参数，实验显示其在多径参数、统计指标及泛化性上表现出色。

A Defense of the Quadratic Model

二次模型的辩护

Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

机构 * Kempner Institute at Harvard University（哈佛大学坎普纳研究所） ； MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究对二次模型进行压力测试，通过泰勒展开预测优化动态，利用兰索斯求积法分析海森矩阵谱和局部稳定性，发现其在语言模型中能准确反映优化情况，或可作为预训练优化动态的理论易处理代理。

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

使用语法书进行低资源机器翻译合成数据生成的析因研究

Varun Ghat Ravikumar, Sina Ahmadi, Lena Jäger, Rico Sennrich

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对濒危语言机器翻译缺平行数据问题，利用大语言模型从语法书提取内容生成合成语料库微调，经三种低资源语言验证，通过析因研究确定增益因素组合，证明可将静态语言文档用于机器翻译微调，为资源匮乏语言提供翻译工具路径。

Comments Accepted at CLiC-it 2026

IQ-JEPA: A Joint-Embedding Predictive Architecture with a Hermitian Vision Transformer for Sound Speed and Attenuation Estimation from Ultrasound IQ Data

IQ-JEPA：一种带有厄米特视觉变换器的联合嵌入预测架构，用于从超声 IQ 数据估计声速和衰减

Masashi Sode, Gianmarco Pinton

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究利用超声 IQ 数据估计声速和衰减的难题，提出 IQ-JEPA 架构，先无标签预训练编码器预测 IQ 区域潜在表示，再微调。实验表明该方法提高标签效率，自监督是主导因素，为定量超声基础模型迈出第一步。

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

基于字节前缀边缘化的跨分词器策略内蒸馏

Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； KwaiKAT Team（快手KwaiKAT团队） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何通过策略内蒸馏整合不同家族语言模型，提出字节前缀边缘化方法，在共享字节空间重表达教师下一个令牌分布，在数学和编程基准测试中，该方法优于现有跨分词器方法，提升了平均准确率。

Comments Project page: https://bpm-opd.github.io/

Hyperball May Not Be a Free Lunch

超球可能并非免费午餐

Yihao Xiao, Jialong Sun, Zitian Gao, Zeming Wei, Chutian Wang, Ran Tao, Jiaye Teng, Bryan Dai

机构 * IQuest Research（IQuest研究公司） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究超球风格优化器优势来源，通过推导角有效学习率等方法分析，发现其优势并非源于更新方向，而是有效步长演变，预训练实验表明学习率衰减策略影响性能，谨慎调度对发挥其潜力至关重要。

Comments 14 pages, 4 figures. Code: https://github.com/mangocrazz/hyperball-may-not-be-a-free-lunch. Equal contribution: Yihao Xiao and Jialong Sun. Corresponding author: Bryan Dai

Graph-Theoretic Neural Network Fragmentation with Covariant Direct Molecular Force Learning: Enabling Coupled-Cluster Accuracy AIMD for Fluxional Systems

基于协变直接分子力学习的图论神经网络碎片化：实现用于通量系统的耦合簇精度的从头算分子动力学

Xiao Zhu, Srinivasan S. Iyengar

机构 * Department of Chemistry, Department of Physics, and the Indiana University Quantum Science and Engineering Center (IU-QSEC)（化学系、物理系以及印第安纳大学量子科学与工程中心（IU-QSEC）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 针对复杂通量化学系统AIMD模拟受限于高计算量的问题，提出图论分子碎片化框架与机器学习集成，直接模拟核力，建立协变描述符，经验证可再现动力学和结构特征，为化学动力学模拟的迁移学习奠定基础。

Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination

基于美国核管理委员会反应堆操作员执照考试的多模态语言模型微调与检索策略基准测试

Isak Hwang, Yoon Pyo Lee

机构 * organization= Department of Nuclear Engineering, Hanyang University , addressline= 222 Wangsimni-ro , postcode= 04763 , state= Seongdong-gu , city= Seoul , country= South Korea ； organization= The Grainger College of Engineering, Nuclear, Plasma \& Radiological Engineering, University of Illinois Urbana-Champaign , city= Urbana , state= IL , country= USA 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对美国核管理委员会反应堆操作员执照考试，评估310亿参数多模态模型应用核知识的能力，通过对比基础模型与多种微调及检索配置，发现固定大小分块RAG的SFT配置表现最佳，并揭示了分块策略规律及RAFT与SFT的性能差异。

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

容量之上的数据质量：将文档内化到LoRA适配器中用于闭卷问答

Joan Figuerola Hurtado

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究将文档内化到LoRA适配器用于闭卷问答，发现适配器容量足够时，训练数据质量主导闭卷准确率，一次整理大幅提升准确率，确认容量趋势及秩与学习率耦合，内化适配器在低延迟下表现优于检索基线，还报告了调试LLM训练的过程。

Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On

Oxygen-TryOn：用于任意物品虚拟试穿的时尚原生基础模型

Yong Liu, Xiaolong Fu, Zihang Xu, Wen Xue, Xueheng Li, Lin Song, Yuan Zhang, Chuyang Zhao, Haoyang Huang, Nan Duan, Yipeng Sun, Yan Li, Simiu Gu

机构 * Oxygen AIGC Group（氧气AIGC集团） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；SFT(abstract)

AI总结 研究提出时尚原生的Oxygen-TryOn基础模型，用于任意物品虚拟试穿。通过专用数据引擎和特定训练构建，重新定义试穿任务，设计三阶段训练方法，在单物品和多物品试穿中取得先进成果，超越多个系统。

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

小视觉语言模型知道自己何时出错但无法表达：在现实图像退化下对陈述置信度与内部置信度的双模型研究

M M Asif Ferdous

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究小型视觉语言模型在现实图像退化下陈述置信度与内部置信度的差异，通过评估两个模型在六种退化情况及三种严重程度下的表现，发现内部概率是更好的延迟信号，严重低光时两种信号都不可信。

Comments 15 pages, 4 figures

Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs

过犹不及：强化学习如何减轻大语言模型中任务冲突的综合分析

Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Baidu Inc.（百度公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 研究对比强化学习与监督微调训练的大语言模型的合并行为，经五项任务评估发现强化学习能减少任务冲突及合并后性能下降。通过实验和分析揭示三个关键因素，表明强化学习在模型合并中更具优势。

Comments Published in ICLR 2026

Universal BCI Personalization: One API for Frozen EEG Trunks and Foundation Models

通用脑机接口个性化：用于冻结脑电图主干和基础模型的单一应用程序编程接口

Sergey Musienko

机构 * NimbusBCI 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.LG

AI总结 研究针对冻结脑电图编码器微调难的问题，提出Nimbus Personalizer，通过与主干无关的API，可在异构冻结主干上运行，在多数据集和基础编码器上验证，相比传统方法成本低且能恢复精度增益，结果具探索性。

Comments 20 pages, 12 figures. Companion paper on the control layer forthcoming

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

用自然语言自动编码器探究Qwen2.5 - 7B中潜在的哥伦比亚身份推断

Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

机构 * Universidad Autónoma de Occidente（西自治大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息，用自然语言自动编码器转化残差流激活，通过含30个提示的数据集进行研究，将激活可解释性与西班牙语变体偏差评估相联系。

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

过程性知识不是低秩的：为什么LoRA无法内化多步骤过程

Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现对于过程性知识，LoRA在保持效率优势的秩上无法与完全微调匹配。通过实验表明在旅行预订等任务中LoRA配置失败，跨域复制也证实其普遍不佳，分析指出完全微调权重变化的有效秩高，LoRA难以企及，这是智能体应用的基本限制。

Comments 14 pages

DCS: A Unified Conditional Sensitivity Framework for Cross-Modal Copyright Infringement Detection

DCS：用于跨模态版权侵权检测的统一条件敏感度框架

Xiafeng Man

机构 * Fudan University（复旦大学） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 研究针对基础模型版权侵权检测问题，提出统一的DCS框架，将侵权证据视为反事实条件分布转移，通过条件差分隐私形式化，创建双分支并结合多种因素界定敏感度，还定义校准统计量，适用于多种模型并以不同方式评估。

MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

MoE$^2$-LoRA：当专家混合模型遇上专家混合风格的低秩自适应

Qingyu Yang, Haonan He, Minglei Li, Jingqi Ye, Tao Chen, Lei Bai, Peng Ye

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究探索MoE模型的参数高效微调方法，提出MoE$^2$-LoRA，通过双通道RCP模块耦合预训练专家专业化与任务适应性，引入全局专家池，在多MoE主干上评估，能保持通用能力并实现最优下游精度。

Comments Preprint, under review

Encoding Invisible Causation for Bridge Diagnostic Agents: Triple-Guided Retrieval-Augmented Fine-Tuning with QLoRA

为桥梁诊断代理编码无形因果关系：基于QLoRA的三重引导检索增强微调

Takato Yasuno

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对桥梁损伤原因难以肉眼察觉及专家诊断依赖隐性知识的问题，提出基于QLoRA的三重引导检索增强微调方法（含知识三元组提取等组件），能在消费级硬件上实现内存高效、高精度的桥梁诊断代理。

Comments 13 pages, 7 figures, 6 tables

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

SMEFT-Pheno-Agent: a natural-language-driven AI agent for machine-learning-assisted Standard Model Effective Field Theory phenomenology

SMEFT-现象学智能体：一种由自然语言驱动的人工智能智能体，用于机器学习辅助的标准模型有效场论现象学

Yu-Chen Guo, Jie Wang, Ji-Chong Yang

专题命中 指令微调 ：LLM(abstract)

AI总结 介绍SMEFT-现象学智能体这一Python工作流程，由自然语言AI引导，用于高能对撞机的SMEFT现象学研究。它协调多阶段，自动生成参数文件等，委托工具计算，记录相关工件，建立了可重复性和审核可追溯性。

Comments 10 pages, 4 figures, 4 tables

Co-design of LLM-based preference agents: participation may drive overtrust

基于大语言模型的偏好智能体协同设计：参与可能导致过度信任

Michael J. Fell

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型模拟人类偏好引发的问题，通过12名参与者在家庭能源领域协同设计个人偏好智能体的定性研究，发现参与和过程透明度或成“过度信任引擎”，并将此发展为参与式偏好智能体设计核心机制。

Comments 43 pages (18 main text plus supplementary material), 5 figures

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

Discrete Action Space as a Prerequisite for GRPO Convergence in Small-Model Continuous Control

离散动作空间是小模型连续控制中GRPO收敛的前提条件

Dmytro Filatov, Valentyn Fedorov, Vira Filatova

专题命中 后训练与偏好优化 ：language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 研究GRPO对小语言模型用于四旋翼连续控制任务微调的情况，发现普通GRPO微调失败，两项消融实验虽防熵崩溃但无法学习，更换动作接口后训练收敛，描绘出帕累托前沿，该方法在三个模型上评估，还对比了经典基线并发现训练分布差距。

Comparing and Conceptualizing Data Protection Requirements Worldwide for Privacy Regulatory Compliance

全球范围内隐私监管合规的数据保护要求比较与概念化

Claudia Negri-Ribalta, Lorena Sanchez Chamorro, Ioana Visescu, Muriel Frank, Anastasia Sergeeva, Alberto García, Rene Noel

专题命中 后训练与偏好优化 ：prompting(abstract)

AI总结 本文从法律专家角度，通过访谈和法规分析，识别全球通用及不同的数据保护要求，回答相关问题，并转化为数据保护官故事，助力组织管理跨境个人数据流动的监管合规。

Be Consistent! Enhancing Robust Visual Reasoning in LVLMs with Consistency Constraints

保持一致！利用一致性约束增强大视觉语言模型中的鲁棒视觉推理

Liqiang Jing, Xiong Zhou, Siddharth Varia, Neha Anna John, Xinya Du, Vassilis N. Ioannidis

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Amazon Web Services（亚马逊网络服务公司） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 研究针对LVLMs在视觉推理任务中较脆弱的问题，引入ConVBench基准及逻辑一致性等评估指标，提出ConVLM，通过基于GRPO的强化学习及一致性奖励改进LVLM推理，利用自动生成的问答对和双重奖励设计提升模型表现。

HarnessLLM: Rust Verification Harness Generation with Large Language Models

HarnessLLM：使用大语言模型生成Rust验证框架

Minghua Wang, Yuwei Liu, Lin Huang

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对Rust代码内存安全验证开发验证框架难的问题，提出HarnessLLM自动化工作流程，利用大语言模型从测试套件生成框架，经实验评估效果良好，能检测内存安全漏洞，是首个用大语言模型为Rust项目内存安全验证生成框架的工作。

RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention

RIS-Kernel：一种通过稀疏注意力实现长上下文语言模型推理的模型无关架构

Anderson R. Santos

机构 * Federal University of Uberlândia (UFU)（乌贝兰迪亚联邦大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型全自注意力复杂度高限制长上下文分析的问题，提出RIS-Kernel模型无关架构，通过稀疏随机几何降低复杂度，经实验验证其在不同设置下的有效性及在普通CPU服务器上实现长上下文推理的可行性。

Comments 20 pages, 9 figures, 5 tables