语言大模型 / LLM

Pruning and Distilling Mixture-of-Experts into Dense Language Models

将混合专家模型剪枝和蒸馏为密集语言模型

Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

机构 * KRAFTON ； KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出首个将混合专家（MoE）模型转换为标准密集架构的系统框架，通过专家评分、选择、分组、拼接和知识蒸馏，在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点，训练速度提升1.6倍。

Component Ablation for Efficient Hybrid Language Model Architectures: Performance, Resilience, and Compression Implications

组件消融用于高效混合语言模型架构：性能、鲁棒性和压缩影响

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * Doctoral Program in Computer Science, University of Valencia（瓦伦西亚大学计算机科学博士项目） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过组件消融研究混合语言模型，发现注意力机制与替代序列处理路径对性能有显著影响，揭示了模型鲁棒性与压缩优化的关键因素。

Comments 25 pages, 7 figures, 6 tables; revised title, abstract, figures, and data/code repository URL

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

Multilingual Fact-Checking at Scale: Fine-Tuned Compact Models vs LLMs

大规模多语言事实核查：微调紧凑模型 vs 大语言模型

Pratuat Amatya, Vinay Setty

机构 * Factiverse 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出一个多语言事实核查系统，通过微调XLM-RoBERTa、mmBERT和SetFit模型，在114种语言的声明检测和28种语言的真实性预测中，与GPT-5.2等LLM相比，展示了紧凑模型的高效和稳定性能。

Trajectory-Refined Distillation

轨迹精炼蒸馏

Li Jiang, Haoran Xu, Yichuan Ding, Amy Zhang

机构 * McGill University（麦吉尔大学） ； Mila Quebec AI Institute（米拉魁北克人工智能研究所） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出轨迹精炼蒸馏（TRD），通过教师指导修正学生轨迹中的前缀错误，解决在线策略蒸馏中的前缀失败问题，提升大语言模型的单次准确率和推理覆盖。

Comments under review

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem: 面向流式音视频大语言模型的扰动感知记忆压缩

Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； Department of Engineering, University of Cambridge（剑桥大学工程系） 纠错

专题命中 效率与部署 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。

Comments Code: https://github.com/bytedance/SALMONN/tree/omni_mem

Harmonia: End-to-End RAG Serving Optimization

Harmonia: 端到端RAG服务优化

Saurabh Agarwal, Bodun Hu, Luis Pabon, Myungjin Lee, Jayanth Srinivasa, Aditya Akella

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； Cisco Research（思科研究） ； Cisco Systems（思科系统） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Harmonia框架，通过灵活管道接口、异构感知部署和闭环运行时控制器，优化RAG服务，吞吐量提升2.04倍以上，SLO违规减少78.4%。

FMplex: Model Virtualization for Serving Extensible Foundation Models

FMplex: 用于服务可扩展基础模型的模型虚拟化

Hetvi Shastri, Pragya Sharma, Walid A. Hanafy, David Irwin, Mani Srivastava, Prashant Shenoy

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FMplex系统，通过将基础模型作为虚拟化层实现多任务共享，结合批感知公平队列调度器，在7个基础模型和92个下游任务上降低延迟达80%，提升任务容量6倍。

EinSort: Sorting is All We Need for Tensorizing LLM

EinSort: 张量化大语言模型，排序即一切

Toshiaki Koike-Akino, Jing Liu, Ye Wang

机构 * Toshiaki Koike-Akino ； Jing Liu ； Ye Wang 纠错

专题命中 效率与部署 ：LLM(title)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出EinSort方法，通过索引排序发现张量中的低秩结构，实现大语言模型权重和KV缓存的张量化压缩，相比基线方法提升了重构质量。

Comments 38 pages, 17 figures

Explaining Black-Box Language Models: Learning to Optimize Linguistically-Structured Word Subsets

解释黑盒语言模型：学习优化语言结构化的单词子集

Minyoung Hwang, Seokhyun Lee, Changhee Lee

机构 * Korea University（高丽大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对黑盒语言模型解释的三个关键需求（推理效率、黑盒兼容性、语言结构可解释性），提出一种通过强化学习选择信息性单词子集的方法，实现高效、无梯度且语言连贯的解释。

Comments KDD 2026 Research Track

Active Learning with Foundation Model Priors: Efficient Learning under Class Imbalance

基于基础模型先验的主动学习：类别不平衡下的高效学习

Jiancheng Zhang, Meiqing Li, Qi Zhang, Yinglun Zhu

机构 * University of California, Riverside（加州大学河滨分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对现实数据中的类别不平衡和噪声标注问题，提出一种利用基础模型先验的主动学习框架，通过不平衡感知的协同决策选择信息量最大的样本，在图像和文本数据集上实现超过50%的标注节省。

Comments To appear at ICML 2026

Training-Inference Kernel Contracts: Bounding Divergence in Post-Training and Deployment

训练-推理核契约：约束后训练与部署中的偏差

Bruce Changlong Xu, Lan Wu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出核契约框架，通过数值、统计、运行时和可观测性条款约束训练核与推理核之间的分布偏差，并推导偏差界以保障策略梯度无偏性。

GOTabPFN: From Feature Ordering to Compact Tokenization for Tabular Foundation Models on High-Dimensional Data

GOTabPFN: 从特征排序到高维表格基础模型的紧凑分词化

Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Kumar Gyawali, Gianfranco Doretto, Donald A. Adjeroh

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对高维小样本表格预测问题，提出GOTabPFN模型，通过图引导排序和神经启发子单元压缩实现紧凑表示，提升TabPFN在严格token预算下的稳定性和准确性。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Code and resources GitHub https://github.com/zadid6pretam/GOTabPFN PyPI https://pypi.org/project/gotabpfn Project webpage https://www.zadidhabib.com/gotabpfn.html Hugging Face ZeroGPU https://huggingface.co/spaces/zadid6pretam/GOTabPFN CPU backup https://huggingface.co/spaces/zadid6pretam/GOTabPFN_CPU

Pretrained battery transformer (PBT): A foundation model for battery life prediction

预训练电池变压器（PBT）：电池寿命预测的基础模型

Ruifeng Tan, Weixiang Hong, Jia Li, Jiaqiang Huang, Tong-Yi Zhang

机构 * Guangzhou Municipal Key Laboratory of Materials Informatics and Sustainable Energy and Environment Thrust, The Hong Kong University of Science and Technology (Guangzhou)（广州材料信息学与可持续能源与环境方向市重点实验室，香港科技大学（广州）） ； Department of Computer Science & Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科技大学） ； Guangzhou Municipal Key Laboratory of Materials Informatics and Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（广州材料信息学与数据科学与分析方向市重点实验室，香港科技大学（广州）） ； Academy of Interdisciplinary Studies, The Hong Kong University of Science and Technology（交叉学科研究院，香港科技大学） ； Guangzhou HKUST Fok Ying Tung Research Institute（广州科技大学福 Ying Tung 研究院） ； Material Genome Institute, Shanghai University（材料基因组研究所，上海大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PBT模型，通过整合异构电池寿命数据，实现电池寿命预测的统一建模，显著提升预测性能。

Comments 5 figures in the main content

Vision-Language Guided Hyperspectral Object Tracking via Semantics Fusion and Contextual Template Updating

视觉-语言引导的高光谱目标跟踪：语义融合与上下文模板更新

Rui Yao, Yuhong Zhang, Kunyang Sun, Hancheng Zhu, Jiaqi Zhao, Zhiwen Shao, Abdulmotaleb El Saddik

机构 * China University of Mining and Technology（中国矿业大学） ； University of Ottawa（渥太华大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出VLHTrack框架，通过语言引导波段选择模块缓解光谱冗余，利用多模态融合模块整合视觉与语言特征，并采用动态模板更新策略应对目标形变，在HOT2023/2024上超越现有方法。

Comments 14 pages,8 figures

AI-Assisted Variance Reduction in Randomized Experiments

AI辅助的随机实验方差缩减

David Arbour, Eli Ben-Michael, Avi Feller, Apoorva Lal, Lo-Hua Yuan

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出将AI预测作为协变量纳入标准回归调整，以降低随机实验方差，具有“无害”特性，并通过模拟和三个实证应用验证了效率提升。

Comments camera ready for KDD 2026

Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation

我们是否需要教基础模型什么是生成图像？基于解析谱自适应的无梯度生成伪影检测

Qiaoyu Chen, Bing Zhang

机构 * Harbin University of Commerce（哈尔滨商业大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出无梯度方法，将生成伪影检测重构为分布外异常度量问题，通过解析解耦统计与语义偏差，在零样本设置下显著优于梯度优化方法。

Collaborative Edge-to-Server Inference for Vision-Language Models

面向视觉-语言模型的协作式边缘到服务器推理

Soochang Song, Yongjune Kim

机构 * Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，波扬科学技术大学（POSTECH）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出一种协作式边缘到服务器推理框架，通过两阶段选择性重传策略，在降低通信成本的同时保持视觉-语言模型的推理精度。

Comments 12 pages, 15 figures, 3 tables

STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control

STAR-KV：通过软阈值实现自适应秩控制的低秩KV缓存压缩

Priyansh Bhatnagar, Ashkan Moradifirouzabadi, Se-Hyun Yang, SeungJae Lee, Jungwook Choi, Mingu Kang

机构 * University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出STAR-KV框架，通过可微阈值机制实现注意力头和块级别的自适应秩选择，结合混合分解和低秩感知混合精度量化，在多种LLM上达到75%的KV缓存压缩，结合量化可减少20倍，并实现6.9倍注意力模块加速和3.1倍端到端生成吞吐提升。

Larch: Learned Query Optimization for Semantic Predicates

Larch: 面向语义谓词的学习型查询优化

Fuheng Zhao, Pawel Liskowski, Zihan Li, Benjamin Han, Puxuan Yu, Varich Boonsanong, Dimitris Tsirogiannis, Anupam Datta

机构 * Snowflake Inc.（Snowflake公司） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Larch框架，利用嵌入增强的图神经网络和强化学习或监督学习优化AI SQL查询中语义过滤器的执行顺序，显著降低令牌开销。

Implicit Causal Graph Construction in Text via Chain Discovery

通过链发现实现文本中的隐式因果图构建

Liesbeth Allein, Marie-Francine Moens

机构 * KU Leuven（鲁汶大学） ； Ghent University（根特大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究利用大语言模型从文本因果对中推断中间事件以构建隐式因果图，比较端到端构建与因果链发现方法，并探索多模型集成策略，基于1560个科学验证因果对评估。

Train at Moving Edge: Online-Verified Prompt Selection for Efficient RL Training of Large Reasoning Model

在移动边缘训练：一种在线验证的提示选择方法用于大型推理模型的高效强化学习训练

Jiahao Wu, Ning Lu, Shengcai Liu, Kun Wang, Yanting Yang, Bailong Lin, Chen Jason Zhang, Li Qing, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology（香港科学理工大学） ； Nanyang Technological University（南洋理工大学） ； Rutgers University（罗格斯大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学理工大学（广州）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出HIVE方法，通过历史奖励轨迹和实时提示熵实现高效RL训练，提升提示选择效率而不牺牲性能。

Uncovering Intervention Opportunities for Suicide Prevention with Language Model Assistants

利用语言模型助手发现自杀预防的干预机会

Jaspreet Ranjit, Hyundong J. Cho, Claire J. Smerdon, Yoonsoo Nam, Myles Phung, Jonathan May, John R. Blosnich, Swabha Swayamdipta

专题命中 效率与部署 ：language model(title,abstract)

AI总结 研究利用语言模型作为高效助手，辅助国家暴力死亡报告系统（NVDRS）的数据标注和专家工作，发现模型在50个变量上约85%的标注一致，38%的不一致可通过专家审查发现标注差异，并引入人机协同算法优化新变量标注流程。

Comments Project Website: https://dill-lab.github.io/interventions_lm_assistants/

Journal ref In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics, 2026

MAAM: Anchor-Preserving Compression and Contextual Calibration for Chinese Discriminatory Language Detection

MAAM：面向中文歧视性语言检测的锚点保留压缩与上下文校准

Yuxin Fu, Shijing Si

机构 * School of Economics and Finance, Shanghai International Studies University（上海外国语大学国际金融贸易学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出MAAM框架，通过保留歧视相关语义锚点并结合上下文先验校准，在轻量级模型上提升中文歧视性语言检测的准确性和校准性，同时构建首个中文LGBT歧视语料库ChLGBT。

Personalization Meets Safety:Mechanisms,Risks,and Mitigations in Personalized LLMs

个性化与安全的交汇：个性化大语言模型中的机制、风险与缓解措施

Yanyan Luo, Xue Han, Ruiqiao Bai, Xin Huang, Yitong Wang, Qian Hu, Qing Wang, Chunxu Zhao, Jie Liu, Cong Geng, Lehao Xing, Pengwei Hu, Junlan Feng

机构 * China Mobile Jiutian Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动九天人工智能技术（北京）有限公司） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文首次对个性化大语言模型进行安全导向的综述，从用户表征、个性化范式和评估三个维度组织，提出统一的安全风险分类，并分析各范式下的脆弱性及缓解策略。

Co-Evolving Skill Generation and Policy Optimization

共同进化技能生成与策略优化

Zhiwei Zhang, Yudi Lin, Nikki Lijing Kuang, Linlin Wu, Xiaomin Li, Songtao Liu, Fenglong Ma

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Nanyang Technological University（南洋理工大学） ； University of California, San Diego（加州大学圣迭戈分校） ； University of Utah（犹他大学） ； Harvard University（哈佛大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；language model(abstract)；language agent(abstract)；分类 cs.CL

AI总结 提出在线强化学习框架，通过对比基线和技能增强轨迹的奖励差距估计技能边际效用，实现存储前验证，并利用该信号训练策略作为技能生成器，减少对专有模型的依赖。

AI-Native Closed-Loop Security for 6G-Enabled Cyber-Physical Systems: From Edge Detection to Network-Wide Mitigation

面向6G赋能信息物理系统的AI原生闭环安全：从边缘检测到全网缓解

Bilal Hussain, Muhammad Bilal, Tan Li, Haris Pervaiz, Xiao Tang, Qinghe Du, Fawad Ahmad, Muhammad Azhar, Jun Zhang

机构 * Division of Science, Engineering, and Health Studies, School of Professional Education and Executive Development, The Hong Kong Polytechnic University（香港理工大学科学、工程与健康研究学院，专业教育与 executive 发展学院） ； School of Computing and Communications, Lancaster University（兰卡斯特大学计算机与通讯学院） ； Department of Computer Science, The Hang Seng University of Hong Kong（香港恒生大学计算机科学系） ； School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； Department of Applied Data Science, Hong Kong Shue Yan University（香港-Shue Yan大学应用数据科学系） ； Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（香港理工大学电子与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种AI原生闭环安全架构，在6G CPS中利用MEC进行边缘检测，通过SDN/NFV/O-RAN实现全网缓解，并形式化定义了切片级延迟约束，系统综述了128篇研究并归纳了五个开放问题。

Comments 30 pages, 12 figures, survey paper, submitted to IEEE Communications Surveys & Tutorials (IEEE COMST)

Correlation Is Not Enough: Embedding Human Metadata for Individual Causal Discovery

相关性不够：嵌入人类元数据用于个体因果发现

Suraj Biswas, Saurabh Gupta, Pritam Mukherjee

机构 * Assessli Research（Assessli研究） ； Dots-In Research（Dots-In研究） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对预训练生物医学语言模型在跨域无关对中产生高余弦相似度（0.76-0.92）导致因果推断错误的问题，提出对比学习（提升分离度至1.63x）和BODHI硬负例挖掘（提升至2.30x），结合OpenVINO优化实现133倍加速。

Comments 20 pages, 18 figures, 9 tables

Pretrained, Frozen, Still Leaking: Auditing Cross-Encoder Attribute Transfer in EEG Foundation Models

预训练、冻结、仍在泄露：脑电图基础模型中跨编码器属性转移的审计

Jianwei Tai

机构 * Jianwei Tai（Tai Jianwei） 纠错

专题命中 效率与部署 ：foundation model(title)；分类 cs.AI

AI总结 提出跨编码器桥接攻击，证明单一端点审计无法检测属性泄露，并引入审计端点分歧分数（AEDS）作为联合发布决策规则。

Understanding Quantization-Aware Training: Gradients at Quantized Weights Bias to the Low-Loss Basin

理解量化感知训练：量化权重的梯度偏向低损失盆地

Hanyang Li, Jianhao Ma, Ying Cui

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出统一几何框架解释后训练量化失败与量化感知训练恢复机制，揭示量化感知训练通过梯度感知谷壁使量化点返回低损失盆地。

Comments 31 pages, 10 figures