语言大模型 / LLM

MobileLLM-Flash: Latency-Guided On-Device LLM Design for Industry Scale Deployment

MobileLLM-Flash: 用于工业级部署的延迟引导设备端大语言模型设计

Hanxian Huang, Igor Fedorov, Andrey Gromov, Bernard Beckerman, Naveen Suda, David Eriksson, Maximilian Balandat, Rylan Conway, Patrick Huber, Chinnadhurai Sankar, Ayushi Dalmia, Zechun Liu, Lemeng Wu, Tarek Elgamal, Adithya Sagar, Vikas Chandra, Raghuraman Krishnamoorthi

机构 * Meta AI 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出MobileLLM-Flash，通过硬件循环架构搜索在移动端延迟约束下设计高效的大语言模型，支持8k上下文长度，实现更快的预填和解码速度。

Comments Accepted to ACL Industry Track 2026

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

从局部到全局：重新审视大型语言模型的结构剪枝范式

Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； DreamSoul ； University of Minnesota（明尼苏达大学） ； Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GISP，一种基于全局重要性度量的迭代结构剪枝方法，通过去除注意力头和MLP通道提升模型效率和下游任务性能。

Comments 20 pages, 6 figures. Accepted by ACL2026 Main Conference

Hardware Generation and Exploration of Lookup Table-Based Accelerators for 1.58-bit LLM Inference

基于查找表加速器的硬件生成与探索：用于1.58位LLM推理

Robin Geens, Joran Heldens, Joren Dumoulin, Marian Verhelst

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种基于查找表的加速器设计框架，通过系统化分析揭示了三元权重计算的架构权衡，优化设计在面积上比乘法器基线减少了2.2倍，并通过基准测试证明了参数修正可进一步提升性能。

Comments Presented as ISPASS 2026

Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing

通过加速提示压力测试评估LLM在重复推理下的安全性

Keita Broadwater

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出APST框架，通过重复推理测试揭示模型在持续使用下的失败模式，展示单次评估无法反映实际可靠性差异。

Comments 23 pages, 9 figures; editorial and LaTeX revisions for clarity; improved presentation of methodology and results; updated figures, tables, and float placement; clarified temperature sensitivity and deployment-risk analysis; expanded reporting from the same experiments; results unchanged in substance

Energy-Aware LLMs: A step towards sustainable AI for downstream applications

面向能源效率的大型语言模型：迈向可持续AI的一步

Nguyen Phuc Tran, Brigitte Jaumard, Oscar Delgado

机构 * Concordia University（康科迪亚大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种端到端的管道，研究在通信网络故障工单分析中LLM的能效与性能的权衡，并通过两个真实数据集评估了根因分析和响应反馈任务的性能提升。

Comments This work has been submitted to V. International Conference on Electrical, Computer and Energy Technologies (ICECET 2025) for possible publication

Journal ref 2025 5th International Conference on Electrical, Computer and Energy Technologies (ICECET)

ITAS: A Multi-Agent Architecture for LLM-Based Intelligent Tutoring

ITAS：基于大语言模型的智能辅导系统多智能体架构

Iizalaarab Elhaimeur, Nikos Chrisochoides

机构 * Center for Real-Time Computing（实时计算中心） ； Computer Science Department（计算机科学系） ； Old Dominion University（旧 Dominion 大学） ； Physics Departments（物理系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ITAS多智能体架构，用于解决大语言模型在真实课程中运行的挑战，通过三层架构实现教学、操作和反馈功能，展示了系统在实际应用中的表现。

Comments Companion papers: arXiv:Q-ID (Quantum deployment), arXiv:L-ID (Latency analysis)

Pimp My LLM: Leveraging Variability Modeling to Tune Inference Hyperparameters

优化大语言模型：利用变异性建模来调整推理超参数

Nada Zine, Clément Quinton, Romain Rouvoy

机构 * Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL, F-59000, Lille（里尔大学、国家科学研究中心、法国国家信息与自动化技术研究所、中央理工学院、UMR 9189 CRIStAL、法国里尔） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过变异性建模系统分析大语言模型推理配置，揭示超参数间的权衡关系，并支持基于有限测量预测推理行为，推动软件工程与机器学习的结合。

FusionCIM: Accelerating LLM Inference with Fusion-Driven Computing-in-Memory Architecture

FusionCIM: 通过融合驱动的计算存内架构加速大语言模型推理

Zihao Xuan, Jia Chen, Yewen Li, Wei Xuan, Hegan Chen, Xiao Huo, Fengbin Tu

专题命中 效率与部署 ：LLM(title,summary_cn)

AI总结 本文提出FusionCIM架构，通过融合驱动的计算存内架构提升LLM推理效率，核心方法包括混合CIM流水线、QO静态数据流和模式感知在线softmax机制，实现3.86倍能效提升和1.98倍加速。

Comments 7 Pages, 10 figures

Personalization Toolkit: Training Free Personalization of Large Vision Language Models

个性化工具包：无需训练的大型视觉语言模型个性化

Soroush Seifi, Vaggelis Dorovatas, Matteo Cassinelli, Fabien Despinoy, Daniel Olmeda Reino, Rahaf Aljundi

机构 * Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文提出无需训练的LVLM个性化方法，通过预训练视觉基础模型提取特征，结合检索增强生成技术实现多概念个性化，适用于图像和视频。

Comments Accepted at Transactions on Machine Learning Research (TMLR) 2026

Mixture of Heterogeneous Grouped Experts for Language Modeling

异质分组专家的混合模型用于语言建模

Zhicheng Ma, Xiang Liu, Zhaoxiang Liu, Ning Wang, Yi Shen, Kai Wang, Shuming Shi, Shiguo Lian

机构 * Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究院） ； Unicom Data Intelligence, China Unicom（中国unicom数据智能） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出MoHGE，通过双层路由机制和分组辅助损失优化，实现资源感知的专家组合，减少参数量并平衡GPU负载，提升语言模型的效率与实用性。

Comments Accepted by ACL2026

PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference

PolyKV：一种用于多智能体LLM推理的共享非对称压缩KV缓存池

Ishan Patel, Ishan Joshi

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 PolyKV通过非对称压缩技术实现多个并发推理代理共享单一KV缓存池，提升内存效率并减少推理延迟。

Comments 10 pages, 6 tables. Code: https://github.com/ishan1410/PolyKV Keywords: KV cache compression, multi-agent LLM inference, asymmetric quantization, FWHT, TurboQuant, shared memory

Carbon-Taxed Transformers: A Green Compression Pipeline for Overgrown Language Models

碳税变压器：用于过度语言模型的绿色压缩流程

Ajmain Inqiad Alam, Palash Roy, Chanchal K. Roy, Banani Roy, Kevin A. Schneider

机构 * University of Saskatchewan（萨斯喀彻温大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文提出碳税变压器，通过经济碳税原理设计压缩流程，提升软件工程中大语言模型的效率与环保性能，实现内存、时间及碳排放的显著降低，同时保持高精度。

Journal ref Proceedings of ACM Software Engineering 3, FSE, Article FSE047, 2026

Less LLM, More Documents: Searching for Improved RAG

少用大模型，多用文档：寻找改进RAG的方法

Jingjie Ning, Yibo Kong, Yunfan Long, Jamie Callan

机构 * School of Computer Science, Carnegie Mellon University（计算机科学系，卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了扩大检索器文档库对RAG性能的影响，发现增大文档库可提升性能，甚至在某些情况下优于使用更大模型，但存在边际效益递减的问题。

Comments Proceeding Version of ECIR 2026. In: Campos, R., et al. Advances in Information Retrieval. ECIR 2026

A Blueprint for AI-Driven Software Quality: Integrating LLMs with Established Standards

AI驱动软件质量的蓝图：整合大语言模型与现有标准

Avinash Patil

机构 * Juniper Networks Inc.（Juniper网络公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了利用大语言模型提升软件质量保证的过程，结合现有标准，分析AI在需求验证、缺陷检测等任务中的应用，并提出未来发展方向。

Comments 16 pages, 2 Table, 7 Figures

CacheFlow: Efficient LLM Serving with 3D-Parallel KV Cache Restoration

CacheFlow: 高效的大语言模型服务中的3D并行KV缓存恢复

Sean Nian, Jiahao Fang, Qilong Feng, Zhiyu Wu, Fan Lai

专题命中 效率与部署 ：LLM(title,abstract)

AI总结 本文提出CacheFlow框架，通过3D并行抽象优化KV缓存恢复，减少TTFT时间，提升大语言模型服务效率。

Comments 11 pages, 10 figures

Citation Failure: Definition, Analysis and Efficient Mitigation

引用失败：定义、分析与高效缓解

Jan Buchmann, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab)（普遍知识处理实验室） ； Department of Computer Science（计算机科学系） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） ； Technical University of Darmstadt（达姆施塔特技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文研究了LLM基于RAG系统的引用失败问题，提出CITECONTROL基准以分析失败模式，并通过CITENTION框架提升引用效率。

Comments Accepted to TACL in April 2024. Paper repository: https://github.com/UKPLab/tacl2026-citation-failure

S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models

S-SONDO：基于自监督的知识蒸馏用于通用音频基础模型

Mohammed Ali El Adlouni, Aurian Quelennec, Pierre Chouteau, Geoffroy Peeters, Slim Essid

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 S-SONDO通过仅利用输出嵌入进行知识蒸馏，实现对通用音频模型的高效压缩，保留96%性能，适用于嵌入式教师模型。

Comments Accepted at IEEE ICASSP 2026. 5 pages, 2 figures, 3 tables. Equal contribution by first two authors. Code: https://github.com/MedAliAdlouni/ssondo | Models: https://huggingface.co/mohammedali2501/ssondo | Package: https://pypi.org/project/ssondo/

Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

苏iren-1.0技术报告：分子基础模型家族

Junyi An, Xinyu Lu, Yun-Fei Shi, Li-Cheng Xu, Nannan Zhang, Chao Qu, Yuan Qi, Fenglei Cao

机构 * Shanghai Academy of AI for Science (SAIS)（上海人工智能科学研究院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 苏iren-1.0通过结合3D构象几何与2D统计集合空间，提出分子基础模型家族，包含Suiren-Base、Suiren-Dimer和Suiren-ConfAvg三种变体，实现量子属性预测和分子表示学习的先进方法。

Comments 24 pages,5 figures

From CRUD to Autonomous Agents: Formal Validation and Zero-Trust Security for Semantic Gateways in AI-Native Enterprise Systems

从CRUD到自主代理：面向AI原生企业系统的语义网关的正式验证与零信任安全

Ignacio Peyrano

机构 * Universidad Austral（乌尔苏拉大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于模型上下文协议的语义网关，通过正式验证和实证评估，解决了AI原生系统中自主代理的安全验证问题，采用零信任安全模型和语义模糊化技术，实现了对动态状态转换系统的安全审计。

Comments 25 pages, 4 figures, 4 tables. Open-source proof-of-concept (47 automated tests, deterministic semantic fuzzer) available at https://github.com/PeyranoDev/semantic-gateway-poc

Why Search When You Can Transfer? Amortized Agentic Workflow Design from Structural Priors

为何需要搜索？从结构先验出发的 amortized 智能工作流设计

Shiyi Du, Jiayuan Liu, Weihua Du, Yue Huang, Jiayi Li, Yingtao Luo, Xiangliang Zhang, Vincent Conitzer, Carl Kingsford

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室） ； University of Notre Dame（圣约翰大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出SWIFT框架，通过结构先验和跨任务工作流演示，实现工作流设计的 amortization，减少计算成本并提升泛化能力。

Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling

Marco-MoE：开放多语言稀疏专家混合语言模型的高效再利用

Fan Jiang, Yu Zhao, Chenyang Lyu, Tianqi Shi, Yichao Du, Feihu Jiang, Longyue Wang, Weihua Luo

机构 * Alibaba International Digital Commerce（阿里巴巴国际数字商业） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL、cs.AI

AI总结 Marco-MoE通过极稀疏设计和密集模型再利用，在5T tokens上高效预训练，实现多语言和英语基准的领先性能，同时支持可扩展的语言扩展。

Salca: A Sparsity-Aware Hardware Accelerator for Efficient Long-Context Attention Decoding

Salca：一种面向高效长上下文注意力解码的稀疏性感知硬件加速器

Wang Fan, Wei Cao, Xi Zha, Kedi Ma, MingQian Sun, Jialin Chen, Fengzhe Zhang, Fan Zhang

机构 * Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Salca，通过软硬件协同设计，解决长上下文注意力解码中的计算与内存瓶颈，实现3.82倍速度提升和74.19倍能效提升。

HearthNet: Edge Multi-Agent Orchestration for Smart Homes

HearthNet：边缘多智能体协调用于智能家居

Zhonghao Zhan, Krinos Li, Yefan Zhang, Hamed Haddadi

机构 * Imperial College London（伦敦帝国学院） ； Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 HearthNet通过边缘多智能体系统解决智能家居中自然语言控制、设备故障和持续协调的问题，采用MQTT、Git共享状态和授权租赁实现设备管理。

Comments (CAIS 2026) Proceedings of the ACM Conference on AI and Agentic Systems, Demo Track

Hidden States as Early Signals: Step-level Trace Evaluation and Pruning for Efficient Test-Time Scaling

隐藏状态作为早期信号：用于高效测试时间扩展的步骤级追踪评估与剪枝

Zhixiang Liang, Beichen Huang, Zheng Wang, Minjia Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出STEP框架，通过评估隐藏状态实现步骤级追踪剪枝，有效降低推理延迟并提升推理准确性。

PipeWeave: Synergizing Analytical and Learning Models for Unified GPU Performance Prediction

PipeWeave：融合分析与学习模型的统一GPU性能预测

Kaixuan Zhang, Yunfan Cui, Shuhao Zhang, Chutong Ding, Shiyou Qian, Luping Wang, Jian Cao, Guangtao Xue, Cheng Huang, Guodong Yang, Liping Zhang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 PipeWeave通过结合分析模型与机器学习模型，实现高精度的GPU性能预测，其在多个GPU架构上的测试表明，其预测准确率和泛化能力优于现有方法。

Comments Accepted to ISCA 2026

A Hybridizable Neural Time Integrator for Stable Autoregressive Forecasting

一种用于稳定自回归预测的混合神经时间积分器

Brooks Kinch, Xiaozhe Hu, Yilong Huang, Martine Dyring Hansen, Sunniva Meltzer, Nathaniel Donald Hamlin, David Sirajuddin, Eric C. Cyr, Nathaniel Trask

机构 * Mechanical Engineering and Applied Mechanics, University of Pennsylvania（宾夕法尼亚大学机械工程与应用力学系） ； Department of Mathematics, Tufts University（塔夫茨大学数学系） ； Department of Mathematics and Cybernetics, SINTEF Digital（SINTEF数字技术部门数学与控制系） ； Department of Mathematical Sciences, Norwegian University of Science and Technology（挪威科技大学数学科学系） ； Department of Physics, University of Oslo（奥斯陆大学物理系） ； Sandia National Laboratories（桑地亚国家实验室） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出一种混合技术，将自回归变压器嵌入新型射击基混合有限元方案中，通过暴露拓扑结构实现可证明的稳定性，结合视觉Transformer实现结构保持动力学，以65倍减少的参数优于现代基础模型，实现混沌系统的长时预测。

Comments 29 pages, 6 figures

Scaling Probabilistic Transformer via Efficient Cross-Scale Hyperparameter Transfer

通过高效的跨尺度超参数转移扩展概率变换器

Penghao Kuang, Haoyi Wu, Kewei Tu

机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本文通过maximal update parametrization方法，将概率变换器参数扩展至0.4B规模，在相同参数预算下，MLM任务中性能优于标准变换器。

BERT-APC: A Reference-free Framework for Automatic Pitch Correction via Musical Context Inference

BERT-APC：一种基于音乐上下文推断的无参考自动音高修正框架

Sungjae Kim, Kihyun Na, Jinyoung Choi, Injung Kim

机构 * Computer Science and Electrical Engineering Department, Handong Global University（计算机科学与电气工程系，韩东全球大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 BERT-APC通过音乐上下文推断实现无参考自动音高修正，结合静态音高预测和上下文感知音高预测，提升音质与表达性，优于现有方法。

Comments 14 pages, 8 figures, 8 tables. Accepted for publication in IEEE Transactions on Audio, Speech, and Language Processing

DouC: Dual-Branch CLIP for Training-Free Open-Vocabulary Segmentation

DouC：基于双分支CLIP的无训练开放词汇分割

Mohamad Zamini, Diksha Shukla

机构 * Department of Electrical Engineering and Computer Science, University of Wyoming, Laramie, WY, USA（电气工程与计算机科学系，怀俄明大学，拉勒米，怀俄明州，美国） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 DouC提出无训练双分支CLIP框架，通过分解密集预测为互补组件，结合轻量级推理时标记门控提升补丁可靠性，以及通过冻结视觉基础模型引导的代理注意力注入外部结构先验，实现局部标记可靠性与结构感知补丁交互的联合影响，无需额外参数和重训练。