语言大模型 / LLM

NeuronSpark: A Spiking Neural Network Language Model with Selective State Space Dynamics

NeuronSpark：一种具有选择性状态空间动态的脉冲神经网络语言模型

Zhengzheng Tang

机构 * Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.AI

AI总结 NeuronSpark是一种基于脉冲神经网络的大型语言模型，通过选择性状态空间动态和多种优化技术，在无Transformer蒸馏的情况下实现大规模语言建模。

Comments 10 pages, 6 figures, 6 tables. Preprint

Tokenization Tradeoffs in Structured EHR Foundation Models

结构电子健康记录基础模型中的分词权衡

Lin Lawrence Guo, Santiago Eduardo Arciniegas, Joseph Jihyung Lee, Adam Paul Yan, George Tomlinson, Jason Fries, Lillian Sung

机构 * Child Health Evaluative Sciences（儿童健康评估科学） ； The Hospital for Sick Children（圣迈克尔医院） ； University Health Network（大学健康网络） ； Department of Medicine（医学部） ； Division of Computational Medicine, Department of Medicine（计算医学科，医学部） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响，通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优，且计算效率更高。

CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis

CARE：一种具有自适应区域建模的分子引导基础模型用于全切片图像分析

Di Zhang, Zhangpeng Gong, Xiaobo Pang, Jiashuai Liu, Junbo Lu, Hao Cui, Jiusong Ge, Zhi Zeng, Kai Yi, Yinghua Li, Si Liu, Tingsong Yu, Haoran Wang, Mireia Crispin-Ortuzar, Weimiao Yu, Chen Li, Zeyu Gao

机构 * Xi’an Jiaotong University（西安交通大学） ； University of Cambridge（剑桥大学） ； KingMed（康方生物） ； BGI Research（贝登基因研究院） ； A ⋆ STAR 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 CARE通过自适应区域建模和分子引导，提升全切片图像分析的性能，实现对病理区域的精准识别与分类，优于现有基础模型。

Comments Accepted to CVPR 2026

Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities

迈向稳健的多模态生理基础模型：处理任意缺失模态

Wei-Bang Jiang, Xi Fu, Yi Ding, Cuntai Guan

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出PhysioOmni模型，通过解耦多模态信号提取通用表示，解决现有方法在跨数据集泛化和缺失模态处理上的不足，实验显示其在情绪识别等任务中表现优异。

Comments 19 pages, 5 figures

Morphemes Without Borders: Evaluating Root-Pattern Morphology in Arabic Tokenizers and LLMs

无国界词素：在阿拉伯语分词器和大语言模型中评估根-模式词素学

Yara Alakeel, Chatrine Qwaider, Hanan Aldarmaki, Sawsan Alqahtani

机构 * Saudi Data & AI Authority (SDAIA)（沙特数据与人工智能局） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Princess Nourah Bint Abdulrahman University (PNU)（普罗瑟·努拉·本·阿卜杜勒拉赫曼大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估了阿拉伯语分词器和大语言模型在处理根-模式词素学方面的表现，发现分词器的词素对齐并非生成词素学的必要或充分条件。

Comments Accepted at LREC 2026

PashtoCorp: A 1.25-Billion-Word Corpus, Evaluation Suite, and Reproducible Pipeline for Low-Resource Language Development

PashtoCorp：一个12.5亿词语料库、评估套件和可重复的低资源语言开发流水线

Hanif Rahman

机构 * Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文介绍了PashtoCorp，一个包含12.5亿词的Pashto语料库，通过可重复的流水线和多种数据源，显著提升了低资源语言的NLP研究水平。

Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation

迈向视觉-声音-语言-动作范式：用于以声音为中心的操作的HEAR框架

Chang Nie, Tianchen Deng, Guangming Wang, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University and Shanghai Key Laboratory of Navigation and Location Based Services（自动化与智能感知学院，上海交通大学，导航与基于位置的服务重点实验室） ； Department of Engineering, Cambridge University（工程系，剑桥大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出HEAR框架，通过整合声音、视觉、语言和本体感知，解决实时声音中心操作中的关键声音遗漏问题，强调因果持续性和显式时间学习的重要性。

POLAR:A Per-User Association Test in Embedding Space

POLAR：嵌入空间中的用户级关联测试

Pedro Bento, Arthur Buzelin, Arthur Chagas, Yan Aquino, Victoria Estanislau, Samira Malaquias, Pedro Robles Dutenhefner, Gisele L. Pappa, Virgilio Almeida, Wagner MeiraJr

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL

AI总结 POLAR在嵌入空间中进行用户级词汇关联测试，通过定制化的词汇轴评估作者差异，区分LLM驱动的机器人与真实账号，并揭示极端论坛中词汇偏移趋势。

Comments Accepted paper at ICWSM 2026

LLMs as Repositories of Factual Knowledge: Limitations and Solutions

大型语言模型作为事实知识库：局限性与解决方案

Seyed Mahed Mousavi, Simone Alghisi, Giuseppe Riccardi

机构 * Signals and Interactive Systems Lab, Department of Information Engineering and Computer Science, University of Trento（信号与交互系统实验室，信息工程与计算机科学系，特伦托大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了LLM作为事实知识库的适用性，评估了24种先进LLM在时间敏感事实问题中的准确性和一致性，并提出ENAF方法以提升响应稳定性。

Finding Common Ground in a Sea of Alternatives

在众多替代品中寻找共同点

Jay Chooi, Paul Gölz, Ariel D. Procaccia, Benjamin Schiffer, Shirley Zhang

机构 * Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院） ； School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院） ； Department of Statistics, Harvard University（哈佛大学统计学系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究在多样偏好下选择能找到共同点的声明问题，提出基于比例否决核心的社会选择模型，并设计高效采样算法以高概率返回近似核心声明，同时证明了查询次数的下界。

Fanar 2.0: Arabic Generative AI Stack

Fanar 2.0：阿拉伯生成AI堆栈

FANAR TEAM, Ummar Abbas, Mohammad Shahmeer Ahmad, Minhaj Ahmad, Abdulaziz Al-Homaid, Anas Al-Nuaimi, Enes Altinisik, Ehsaneddin Asgari, Sanjay Chawla, Shammur Chowdhury, Fahim Dalvi, Kareem Darwish, Nadir Durrani, Mohamed Elfeky, Ahmed Elmagarmid, Mohamed Eltabakh, Asim Ersoy, Masoomali Fatehkia, Mohammed Qusay Hashim, Majd Hawasly, Mohamed Hefeeda, Mus'ab Husaini, Keivin Isufaj, Soon-Gyo Jung, Houssam Lachemat, Ji Kim Lucas, Abubakr Mohamed, Tasnim Mohiuddin, Basel Mousi, Hamdy Mubarak, Ahmad Musleh, Mourad Ouzzani, Amin Sadeghi, Husrev Taha Sencar, Mohammed Shinoy, Omar Sinan, Yifan Zhang

机构 * Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute） ； Hamad Bin Khalifa University（哈马德·本·卡西姆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 Fanar 2.0在资源受限条件下实现卓越性能，通过数据质量优先、持续预训练和模型融合，提升阿拉伯语知识、语言、方言及英语能力，同时引入多项新功能。

FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment

FALCON：视觉-语言对齐中对比负样本的假阴性感知学习

Myunsoo Kim, Seongwoong Shim, Byung-Jun Lee

机构 * Korea University（韩国大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 FALCON通过动态选择合适难度的负样本平衡硬负样本与假阴性，提升视觉-语言对齐性能，验证其在多种框架和任务中的有效性。

Comments Accepted at CVPR 2026

Tuning Cu/Diamond Interfacial Thermal Conductance via Nitrogen-Termination Engineering

通过氮终止工程调节Cu/金刚石界面热导率

Guang Yang, Xinling Tang, Zhongkang Lin, Yulin Gu, Wei Hao, Yujie Du, Xiaoguang Wei

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文通过氮终止策略提升Cu/金刚石界面热导率，揭示了氮化物中间层调控声子传输的原子机制，为非金属改性优化Cu/金刚石界面热传递提供了新方向。

SpikeCLR: Contrastive Self-Supervised Learning for Few-Shot Event-Based Vision using Spiking Neural Networks

SpikeCLR：基于脉冲神经网络的少样本事件视觉的对比自监督学习

Maxime Vaillant, Axel Carlier, Lai Xing Ng, Christophe Hurter, Benoit R. Cottereau

机构 * CNRS, IPAL IRL 2955, Singapore（CNRS，IPAL IRL 2955，新加坡） ； Université de Toulouse, IRIT, France（图卢兹大学，IRIT，法国） ； Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse, France（ENAC ISAE-SUPAERO ONERA联合会，图卢兹大学，法国） ； Institute for Infocomm Research, A*STAR, Singapore（信息通信研究所，A*STAR，新加坡） ； CerCo, CNRS UMR 5549, Université de Toulouse, France（CerCo，CNRS UMR 5549，图卢兹大学，法国） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出SpikeCLR框架，利用脉冲神经网络从未标记事件数据中学习鲁棒视觉表示，通过空间、时间和极性变换提升模型在少样本和半监督场景下的性能。

Comments 17 pages, 4 figures

On Geometric Understanding and Learned Priors in Feed-forward 3D Reconstruction Models

关于馈送式3D重建模型中的几何理解与学习先验

Jelena Bratulić, Sudhanshu Mittal, Thomas Brox, Christian Rupprecht

机构 * University of Freiburg（弗赖堡大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 研究探讨了馈送式3D重建模型是否基于传统多视图流程的几何原理或依赖大规模训练的学习先验，通过分析内部表示和注意力模式验证了几何理解的存在。

Amnesia: Adversarial Semantic Layer Specific Activation Steering in Large Language Models

遗忘：大型语言模型中的对抗性语义层特定激活引导

Ali Raza, Gurang Gupta, Nikolay Matyunin, Jibesh Patra

机构 * Honda Research Institute Europe（本田欧洲研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Amnesia攻击，通过操纵transformer内部状态绕过开放式大语言模型的安全机制，展示其能生成有害内容而无需微调。研究强调了对开放式大语言模型安全性的迫切需求。

Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models

Evontree：基于本体规则的大型语言模型自进化

Mingchen Tu, Zhiqiang Liu, Juan Li, Liangyurui Liu, Junjie Wang, Lei Liang, Wen Zhang

机构 * Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Evontree方法，通过提取领域本体知识、检测不一致性和自蒸馏微调，提升低资源专业领域LLM的自进化能力，实验表明其在医疗问答基准上准确率提升达3.7%。

Geometry-Aligned LLM Fine-Tuning for Sequential Narrow-Opening Planning

几何对齐的LLM微调用于序列狭窄开口规划

Al Jaber Mahmud, Xuan Wang

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出几何对齐的LLM微调框架，通过多阶段狭窄开口序列规划实现长视距几何推理，采用失败驱动LoRA监督微调与GRPO优化提升路径可行性。

Comments 8 pages, 3 figures

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

在不使用学习率衰减的情况下预训练LLM增强了监督微调

Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

机构 * Tohoku University（东大大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文研究了学习率调度在大语言模型预训练中的作用，发现不使用衰减的学习率调度在监督微调后表现更优，且损失景观分析显示其保持更平坦的最小值以支持适应性。

Comments 25 pages, accepted by ICLR 2026 as a conference paper

HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

HIPO：通过约束强化学习实现指令层级

Keru Chen, Jun Luo, Sen Lin, Yingbin Liang, Alvaro Velasquez, Nathaniel Bastian, Shaofeng Zou

机构 * School of ECEE Arizona State University（亚利桑那州立大学电子与计算机工程学院） ； Department of ECE The Ohio State University（俄亥俄州立大学电子工程系） ； Computer Science Department University of Houston（休斯顿大学计算机科学系） ； College of Engineering & Applied Science CU Boulder（科罗拉多大学博尔德分校工程与应用科学学院） ； Dept. of Electrical Engineering & Computer Science United States Military Academy（美国军事学院电子工程与计算机科学系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 HIPO通过约束马尔可夫决策过程解决层级指令遵循问题，提升系统合规性与用户效用。

Comments 9 pages + appendix. Under review

Generalizable End-to-End Tool-Use RL with Synthetic CodeGym

通用端到端工具使用强化学习与合成CodeGym

Weihua Du, Hailei Gong, Zhan Ling, Kang Liu, Lingfeng Shen, Xuesong Yao, Yufei Xu, Dingyuan Shi, Yiming Yang, Jiecao Chen

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出CodeGym框架，通过合成多样化的多轮工具使用环境，提升LLM代理在不同任务配置下的泛化能力，实验显示Qwen2.5-32B-Instruct在OOD基准测试中准确率提升8.7个百分点。

Comments 24 pages. Accepted to ICLR 2026. Project repository: https://github.com/StigLidu/CodeGym

On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting

策略学习融合专家数据：通过动态加权实现监督微调与强化学习的和谐统一

Wenhao Zhang, Yuexiang Xie, Yuchang Sun, Yanxi Chen, Guoyin Wang, Yaliang Li, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 本文提出CHORD框架，通过动态加权将监督微调与强化学习统一，解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题，实验表明其在多个任务中具有稳定高效的性能。

A Family of LLMs Liberated from Static Vocabularies

一种摆脱静态词汇库的LLM家族

Aleph Alpha, :, Adnen Abdessaied, Artur Baranowski, Lukas Balles, Michael Barlow, Fabien C. Y. Benureau, Felix Berkenkamp, Lukas Bluebaum, Bastian Boll, Thomas F. Burns, Björn Deiseroth, Constantin Eichenberg, David Friede, Pablo Iyu Guerrero, Ahmed Hammam, Bastian Harren, Johann Higl, Yasser Jadidi, Carina Kauf, Johannes Messner, Jan Hendrik Metzen, Max Meuer, Vedant Nanda, Pit Neitemeier, Koen Oostermeijer, Letitia Parcalabescu, Markus Pernpointner, Felix Reinfurt, Dylan Rodriquez, Grégory Schott, Philipp Siedler, Martin Simonovsky, Till Speicher, Volker Stampa, Stephan Wäldchen, Samuel Weinbach, Gregor Ziegltrum

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于分层自回归变压器（HAT）架构的LLM家族，通过重新设计编码器和解码器实现更高效的文本压缩和鲁棒性，展示了在英语和德语上的优越表现。

Offline Exploration-Aware Fine-Tuning for Long-Chain Mathematical Reasoning

离线探索感知微调用于长链数学推理

Yongyu Mu, Jiali Zeng, Fandong Meng, JingBo Zhu, Tong Xiao

机构 * NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室，中国沈阳） ； Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能部门模式识别中心，中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出OXA微调方法，通过优化两个目标提升数学推理能力，实验显示在六个基准测试中OXA相比传统SFT在Pass@1和Pass@$k$上平均提升6和5分。

Comments Working in process

HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models

HeBA：异构瓶颈适配器用于鲁棒的视觉-语言模型

Md Jahidul Islam

机构 * Department of Electrical and Electronic Engineering（电气电子工程系） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 HeBA通过引入模态特定的结构归纳偏置，改进了视觉-语言模型在下游任务中的适应性，提升了稳定性和准确性，达到11个少样本基准的新状态。

Med-DualLoRA: Local Adaptation of Foundation Models for 3D Cardiac MRI

Med-DualLoRA: 3D心脏MRI基础模型的局部适应

Joan Perramon-Llussà, Amelia Jiménez-Sánchez, Grzegorz Skorupko, Fotis Avgoustidis, Carlos Martín-Isla, Karim Lekadir, Polyxeni Gkontra

机构 * Artificial Intelligence in Medicine Lab (BCN-AIM), Departament de Matemàtiques i Informàtica, Universitat de Barcelona, Spain（巴塞罗那大学人工智能医学实验室（BCN-AIM）、数学与计算机科学系，西班牙） ； Institució Catalana de Recerca i Estudis Avançats (ICREA), Barcelona, Spain（加泰罗尼亚高级研究机构（ICREA），巴塞罗那，西班牙） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 本文提出Med-DualLoRA框架，通过解耦全局共享和局部低秩适应，实现3D心脏MRI疾病检测的联邦学习，提升个性化与通信效率。

Comments 11 pages, 2 figures. Submitted to MICCAI 2026

Internalizing Agency from Reflective Experience

从反思经验中内化代理性

Rui Ge, Yichao Fu, Yuyang Qian, Junda Su, Yiming Zhao, Peng Zhao, Hao Zhang

机构 * University of California San Diego（加州大学圣地亚哥分校） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出LEAFE框架，通过反思经验内化恢复代理性，提升长周期任务中的问题解决能力，实验显示在Pass@k任务中优于传统方法。

Comments 17 pages, 5 figures; Submitted to ICML 2026

Toward Experimentation-as-a-Service in 5G/6G: The Plaza6G Prototype for AI-Assisted Trials

迈向5G/6G的实验即服务：Plaza6G原型用于AI辅助试验

Sergio Barrachina-Muñoz, Marc Carrascosa-Zamacois, Horacio Bleda, Umair Riaz, Yasir Maqsood, Xavier Calle, Selva Vía, Miquel Payaró, Josep Mangues-Bafalluy

机构 * Spanish MINECO（西班牙国家研究委员会） ； MCIN/AEI（西班牙国家研究委员会） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Plaza6G是首个整合云资源与下一代无线基础设施的实验即服务平台，通过自然语言和REST API实现低门槛实验设计，结合LLM助手提升实验知识与领域微调，支持OTA试验与可重现的无线实验。

Comments 5 pages, 5 figures

Enhancing Linguistic Generalization of VLA: Fine-Tuning OpenVLA via Synthetic Instruction Augmentation

增强 VLA 的语言泛化能力：通过合成指令增强细调 OpenVLA

Dongik Shin

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出通过合成指令集提升 OpenVLA 的语言泛化能力，利用 LoRA 技术在增强数据上微调，增强复杂自然语言意图与机器人动作之间的桥梁。

ViT-AdaLA: Adapting Vision Transformers with Linear Attention

ViT-AdaLA：基于线性注意力的视觉变换器适应

Yifan Li, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Jason Kuen, Yu Kong, Trung Bui

机构 * Adobe Research（Adobe研究院） ； Michigan State University, East Lansing, MI, USA.（密歇根州立大学，东兰辛，MI，美国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出ViT-AdaLA框架，通过注意力对齐、特征对齐和监督微调三阶段，有效将视觉基础模型的先验知识迁移至线性注意力ViT，提升长序列处理能力。