语言大模型 / LLM

Knowledge Fusion of Large Language Models Via Modular SkillPacks

通过模块化技能包实现大语言模型的知识融合

Guodong Du, Zhuo Li, Xuanning Zhou, Junlin Li, Zesheng Shi, Wanyu Lin, Ho-Kin Tang, Xiucheng Li, Fangming Liu, Wenya Wang, Min Zhang, Jing Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GraftLLM通过模块化技能包实现大语言模型的知识融合，提升跨能力迁移的效率和效果。

Comments Accepted at ICLR 2026

Large Language Model Compression with Global Rank and Sparsity Optimization

大型语言模型压缩与全局秩和稀疏性优化

Changhai Zhou, Qian Qiao, Yuhua Zhou, Yuxin Wu, Shichao Weng, Weizhong Zhang, Cheng Jin

机构 * Fudan University（复旦大学） ； Soul AILab, OpenWPLab（Soul AILab，OpenWPLab） ； Zhejiang University（浙江大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种两阶段LLM压缩方法，通过全局资源分配优化秩和稀疏性，有效提升模型压缩性能。

Comments 33 pages, 5 figures

Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models

面向推理成本的动态树结构构建用于大型语言模型高效推理

Yinrong Hong, Zhiquan Tan, Kai Hu

机构 * Beihang University（北航大学） ； E Fund Management Co., Ltd.（E基金管理有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出CAST方法，通过考虑推理成本优化动态树结构，显著提升大型语言模型的推理效率。

Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory

大语言模型的结构与冗余：通过随机矩阵理论的谱研究

Davide Ettori

机构 * Laurea Magistrale in Computer Science Engineering - Ingegneria Informatica（计算机科学工程硕士课程 - 信息工程） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过谱几何和随机矩阵理论，提出EigenTrack用于检测大语言模型幻觉和分布外行为，以及RMT-KD用于压缩深度网络，提升模型可靠性与效率。

Comments Executive Summary of Master Thesis in Computer Science Engineering, Politecnico di Milano

Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

并非所有注意力都是必需的：面向多模态大语言模型的参数和计算高效迁移学习

Qiong Wu, Weihao Ye, Yiyi Zhou, Xiaoshuai Sun, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China（教育部多媒体可信感知与高效计算重点实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出高效注意力跳过方法，通过减少冗余注意力计算提升多模态大语言模型的推理效率与性能。

Toward Expert Investment Teams:A Multi-Agent LLM System with Fine-Grained Trading Tasks

迈向专家投资团队：一个具有细粒度交易任务的多智能体LLM系统

Kunihiro Miyazaki, Takanobu Kawahara, Stephen Roberts, Stefan Zohren

机构 * Japan Digital Design, Inc.（日本数字设计公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种多智能体LLM交易框架，通过细粒度任务分解提升风险调整后的回报，并通过分析输出与决策偏好的一致性提高系统性能。

Comments 14 pages, 3 figures

Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement

通过平坦方向动力学增强加速大语言模型预训练

Shuchen Zhu, Rizhen Hu, Mingze Wang, Mou Sun, Xue Wang, Kun Yuan, Zaiwen Wen

机构 * Peking University（北京大学） ； Zhejiang Lab, Zhejiang（浙江实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LITE通过增强平坦方向动力学提升大语言模型预训练效率

Semantic Tube Prediction: Beating LLM Data Efficiency with JEPA

语义管预测：通过JEPA超越LLM数据效率

Hai Huang, Yann LeCun, Randall Balestriero

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出语义管预测（STP）方法，通过几何先验提升LLM的数据效率，实验证明其在NL-RX-SYNTH数据集上以16倍更少数据达到基线准确率。

Comments 21 pages, 13 figures

Sustainable LLM Inference using Context-Aware Model Switching

利用上下文感知的模型切换实现可持续的LLM推理

Yuvarani, Akashdeep Singh, Zahra Fathanah, Salsabila Harlen, Syeikha Syafura Al-Zahra binti Zahari, Hema Subramaniam

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种基于上下文感知的模型切换方法，通过动态选择适合的模型来降低LLM推理的能量消耗，实验表明可减少67.5%的能耗并保持高质量响应。

Comments 15 pages, 6 figures

pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training

pQuant：通过解耦线性量化感知训练实现有效的低比特语言模型

Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； College of Future Information Technology, Fudan University（复旦大学未来信息技术学院） ； Center for Information Research, Academy of Military Sciences（军事科学院信息研究所） ； Advanced Institute of Big Data（大数据高级研究所） ； Center of Machine Learning Research, Peking University（北京大学机器学习研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 pQuant通过解耦线性层为两个专门分支，提升低比特语言模型的精度与可扩展性。

Comments 10 pages, 7 figures

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

IMMACULATE: 通过可验证计算实现的实用LLM审计框架

Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Independent Researcher（独立研究者） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 IMMACULATE通过可验证计算实现对大语言模型的审计，检测模型替换、量化滥用和令牌过账等经济动机驱动的偏差，具有低吞吐量开销和强检测保证。

RL-Obfuscation: Can Language Models Learn to Evade Latent-Space Monitors?

RL-Obfuscation: 语言模型能否学习逃避潜在空间监控？

Rohan Gupta, Erik Jenner

机构 * ML Alignment and Theory Scholars（机器学习对齐与理论学者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 RL-Obfuscation研究语言模型通过强化学习逃避潜在空间监控的能力，发现基于token的监控易受攻击，而更全面的监控更具鲁棒性。

A data- and compute-efficient chest X-ray foundation model beyond aggressive scaling

超越激进扩展的高效胸片基础模型

Chong Wang, Yabin Zhang, Yunhe Gao, Maya Varma, Clemence Mottez, Faidra Patsatzi, Jiaming Liu, Jin Long, Jean-Benoit Delbrouck, Sergios Gatidis, Akshay S. Chaudhari, Curtis P. Langlotz

机构 * Stanford Center for Artificial Intelligence in Medicine and Imaging（斯坦福大学人工智能医学与成像中心） ； Stanford University（斯坦福大学） ； Department of Radiology（放射科） ； Department of Computer Science（计算机科学系） ； Department of Pediatrics（儿科） ； Department of Biomedical Data Science（生物医学数据科学系） ； Department of Medicine（医学系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 CheXficient通过高效数据整理和计算资源利用，在少量数据和计算预算下实现了与大规模预训练模型相当的性能，提升了医学影像基础模型的泛化能力。

FM-RME: Foundation Model Empowered Radio Map Estimation

FM-RME：基于基础模型的无线电地图估计

Dong Yang, Yue Wang, Songyang Zhang, Yingshu Li, Zhipeng Cai, Zhi Tian

机构 * Department of Computer Science, Georgia State University（乔治亚州立大学计算机科学系） ； Department of Electrical and Computer Engineering, University of Louisiana at Lafayette（路易斯安那大学拉弗奈分校电气与计算机工程系） ； Department of Electrical and Computer Engineering, George Mason University（乔治·梅森大学电气与计算机工程系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FM-RME，一种基于基础模型的多维无线电地图估计方法，通过自监督预训练实现零样本泛化，有效结合几何特征提取与注意力机制，提升复杂频谱环境下的估计性能。

Comments 7 pages, 5 figures, conference

Cost-of-Pass: An Economic Framework for Evaluating Language Models

Cost-of-Pass：语言模型生产力评估的经济框架

Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种经济框架，用于评估语言模型的生产力，通过结合准确性和成本，揭示了不同模型在不同任务中的成本效益，并探讨了创新对成本效率的影响。

Comments Code is available at: https://github.com/mhamzaerol/Cost-of-Pass

TADA: A Generative Framework for Speech Modeling via Text-Acoustic Dual Alignment

TADA: 一种通过文本-语音双模对齐生成语音模型的框架

Trung Dang, Sharath Rao, Ananya Gupta, Christopher Gagne, Panagiotis Tzirakis, Alice Baird, Jakub Piotr Cłapa, Peter Chin, Alan Cowen

机构 * Hume AI ； Dartmouth College（达特茅斯学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SLM(abstract)

AI总结 TADA通过文本-语音双模对齐生成框架，实现语音与文本的一对一同步建模，提升语音生成的保真度和效率，减少幻觉并降低推理成本。

PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training

PRAC: 用于LLM激活压缩和内存高效训练的主成分随机子空间

Yanyi Li, Yimu Zhang, Cong Fang

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 PRAC通过分解激活为主成分和随机子空间，实现LLM激活压缩和内存高效训练，达到36%的内存减少且性能损失小。

RhythmBERT: A Self-Supervised Language Model Based on Latent Representations of ECG Waveforms for Heart Disease Detection

RhythmBERT: 一种基于心电图波形潜在表示的自监督语言模型用于心脏病检测

Xin Wang, Burcu Ozek, Aruna Mohan, Amirhossein Ravari, Or Zilbershot, Fatemeh Afghah

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 RhythmBERT通过将心电图视为语言范式，利用潜在表示编码P、QRS和T段为符号标记，实现心脏病检测的高效自监督学习。

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

UniQL: 面向自适应边缘LLM的统一量化与低秩压缩

Hung-Yueh Chiang, Chi-Chih Chang, Yu-Chen Lu, Chien-Yu Lin, Kai-Chiang Wu, Mohamed S. Abdelfattah, Diana Marculescu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 UniQL通过统一量化与低秩压缩技术，实现边缘LLM的高效部署，支持多种模型结构，提升内存效率与吞吐量，保持高精度。

HulluEdit: Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models

HulluEdit: 单次通过证据一致子空间编辑用于缓解大视觉-语言模型中的幻觉

Yangguang Lin, Quan Fang, Yufei Li, Jiachen Sun, Junyu Gao, Jitao Sang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 HulluEdit通过单次通过的正交子空间编辑方法，有效缓解大视觉-语言模型中的幻觉问题，实现了最先进的幻觉减少效果。

Comments accepted at CVPR 2026

DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference

DualPath: 突破代理LLM推理中的存储带宽瓶颈

Yongtong Wu, Shaoyuan Chen, Yinmin Zhong, Rilin Huang, Yixuan Tan, Wentao Zhang, Liyue Zhang, Shangyan Zhou, Yuxuan Liu, Shunfeng Zhou, Mingxing Zhang, Xin Jin, Panpan Huang

专题命中 效率与部署 ：LLM(title,abstract)

AI总结 DualPath通过双路径KV缓存加载技术，突破代理LLM推理中的存储带宽瓶颈，提升推理系统吞吐量。

From Prompts to Performance: Evaluating LLMs for Task-based Parallel Code Generation

从提示到性能：评估LLM在基于任务的并行代码生成中的表现

Linus Bantel, Moritz Strack, Alexander Strack, Dirk Pflüger

机构 * Institute for Parallel and Distributed Systems（并行与分布式系统研究所） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文评估了LLM在基于任务的并行代码生成中的表现，通过三种输入提示和三个编程框架，分析了LLM在正确性和可扩展性方面的优缺点。

Comments 12 pages, 4 figures, 2 tables, Workshop on Asynchronous Many-Task Systems and Applications 2026

A Lightweight Defense Mechanism against Next Generation of Phishing Emails using Distilled Attention-Augmented BiLSTM

一种针对下一代钓鱼邮件的轻量级防御机制，使用蒸馏的注意力增强型双向LSTM

Morteza Eskandarian, Mahdi Rabbani, Arun Kaniyamattam, Fatemeh Nejati, Mansur Mirani, Gunjan Piya, Igor Opushnyev, Ali A. Ghorbani, Sajjad Dadkhah

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种轻量级防御机制，利用蒸馏的注意力增强型双向LSTM模型，有效检测下一代钓鱼邮件，提升过滤效率和安全性。

Scaling Inference-Time Computation via Opponent Simulation: Enabling Online Strategic Adaptation in Repeated Negotiation

通过对手模拟扩展推理时间计算：在重复谈判中实现在线战略适应

Xiangyu Liu, Di Wang, Zhe Feng, Aranyak Mehta

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过对手模拟扩展推理时间计算，利用平滑虚构扮演机制，在重复谈判中实现在线战略适应，提升决策性能。

AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning

AutoQRA：混合精度量化与低秩适配器的联合优化以实现高效大语言模型微调

Changhai Zhou, Shiyang Zhang, Yuhua Zhou, Qian Qiao, Jun Gao, Cheng Jin, Kaizhou Qin, Weizhong Zhang

机构 * Fudan University（复旦大学） ； Yale University（耶鲁大学） ； Zhejiang University（浙江大学） ； OpenWPLab 纠错

专题命中 效率与部署 ：LLM(title)；分类 cs.LG

AI总结 AutoQRA通过联合优化混合精度量化与低秩适配器，实现高效大语言模型微调，提升性能并降低内存消耗。

Comments 15 pages, 10 figures

Search-P1: Path-Centric Reward Shaping for Stable and Efficient Agentic RAG Training

Search-P1: 基于路径的奖励塑造用于稳定且高效的代理RAG训练

Tianle Xia, Ming Xu, Lingxiang Hu, Yiding Sun, Wenwei Li, Linfang Shang, Liqun Liu, Peng Shu, Huan Yu, Jie Jiang

机构 * Tencent（腾讯） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Search-P1通过路径中心奖励塑造提升代理RAG训练的稳定性和效率，实现7.7个百分点的准确率提升。

Ruyi2 Technical Report

Ruyi2 技术报告

Huan Song, Shuyu Tian, Junyi Hao, Minxiu Xu, Hongjun An, Yiliang Song, Jiawei Shao, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Ruyi2通过3D并行训练实现2-3倍速度提升，验证了基于家族的参数共享策略，为高效架构与高性能能力的平衡提供了新范式。

Decoder-based Sense Knowledge Distillation

基于解码器的感知知识蒸馏

Qitong Wang, Mohammed J. Zaki, Georgios Kollias, Vasileios Kalantzis

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出DSKD框架，通过整合词汇资源提升解码器式LLM的知识蒸馏性能，使生成模型能继承结构化语义并保持高效训练。

Discovery of Interpretable Physical Laws in Materials via Language-Model-Guided Symbolic Regression

通过语言模型引导的符号回归发现材料中的可解释物理定律

Yifeng Guan, Chuyi Liu, Dongzhan Zhou, Lei Bai, Wan-jian Yin, Jingyuan Li, Mao Su

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Physics（物理学院） ； Hefei National Laboratory（合肥国家实验室） ； Institute for Advanced Study in Physics（物理高级研究学院） ； Shenzhen Institute of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种基于语言模型引导的符号回归方法，用于发现材料中的可解释物理定律，通过减少搜索空间并提高准确性，在钙钛矿材料中获得新的物理公式。

Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference

拒绝混合：用于高效DLLM推理的快速语义传播掩码标记

Yushi Ye, Feng Hong, Huangjie Zheng, Xu Chen, Zhiyong Chen, Yanfeng Wang, Jiangchao Yao

机构 * Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学联合中位网创新中心，上海交通大学） ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ReMix通过在离散扩散解码过程中引入连续混合状态，实现高效DLLM推理，提升速度同时保持质量。