语言大模型 / LLM

River-LLM: Large Language Model Seamless Exit Based on KV Share

River-LLM：基于KV共享的大型语言模型无缝退出

Yingtao Shen, An Zou

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对解码器-only架构中早期退出因KV缓存缺失导致的延迟和精度问题，提出无需训练的River-LLM框架，通过轻量级KV共享退出流实现令牌级无缝退出，并利用状态转移相似性预测KV误差指导退出决策，在数学推理和代码生成任务上获得1.53-2.16倍实际加速且保持高质量。

Comments Accepted to ACL 2026, 13pages, with appendix. Corrected some typos

Hera: Learning Long-Horizon Coordination for Device-Cloud Collaborative LLM Agents

Hera: 面向设备-云协作LLM智能体的长时程协调学习

Yuxin Zhang, Mengxue Hu, Zheng Lin, Xiaoyi Fan, Fan Xie, Zihan Fang, Jing Yang, Wenjun Zhu, Zhiwen Chen, Chengfei Lv, Zhe Chen

机构 * Fudan University（复旦大学） ； Alibaba Group（阿里巴巴集团） ； The University of Hong Kong（香港大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； New York University（纽约大学） ； Universiti Malaya（马来亚大学） ； SpaceAIC Co., Ltd.（SpaceAIC公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Hera，一种步骤级设备-云LLM智能体协调器，通过两阶段训练（模仿学习+强化学习）优化长时程任务的性能-成本帕累托前沿。

Toward Reliable Design of LLM-Enabled Agentic Workflows: Optimizing Latency-Reliability-Cost Tradeoffs

面向LLM驱动的智能体工作流的可靠设计：优化延迟-可靠性-成本权衡

Ya-Ting Yang, Quanyan Zhu

机构 * New York University（纽约大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过引入参数化指数可靠性函数建模LLM与非LLM智能体的性能，提出水填充令牌分配策略，并刻画最优工作流可靠性的影子价格，以解决延迟、可靠性和成本之间的权衡问题。

Bandwidth-Aware LLM Inference on Heterogeneous Many-Core Supercomputers

异构众核超级计算机上的带宽感知LLM推理

Yao Lu, Zhongzhi Luan, Gen Li, Jiaxing Qi, Shiqing Ma, Bin Han, Shizhe Shang, Hailong Yang, Depei Qian

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对异构众核处理器带宽瓶颈，提出硬件感知推理框架THInfer，通过软硬件协同设计和并行策略优化，在MT-3000处理器上实现高效LLM推理。

Kavier: Exploring Performance, Sustainability, and Efficiency of LLM Ecosystems under Inference through Cache-Aware Discrete-Event Simulation

Kavier：通过缓存感知离散事件模拟探索推理下LLM生态系统的性能、可持续性和效率

Radu Nicolae, Alexandru Iosup, Animesh Trivedi, Jesse Donkervliet

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出并验证了推理下LLM生态系统的参考架构，并设计了首个通过离散事件和缓存感知模拟预测LLM生态系统性能、可持续性和效率的仿真工具Kavier。

Optimus: Elastic Decoding for Efficient Diffusion LLM Serving

Optimus: 用于高效扩散LLM服务的弹性解码

Chiyue Wei, Cong Guo, Bowen Duan, Junyao Zhang, Haoxuan Shan, Yifei Wang, Yangjie Zhou, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Optimus系统，通过动态调整解码粒度（分块解码与饱和度感知调度）来平衡GPU利用率和令牌效率，实现扩散LLM的弹性解码，显著提升吞吐量并保持模型精度。

Adaptive KV Cache Reuse for Fast Long-Context LLM Serving

自适应KV缓存重用用于快速长上下文LLM服务

Fei li, Song Liu, Yan Liu, Jinhua Cui, Shiqiang Nie, Jinyu Wang, Weiguo Wu

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对长上下文LLM推理中预填充阶段TTFT延迟瓶颈，提出CacheTune系统，通过频域分析识别关键KV对并选择性重计算，结合稀疏传输、异步重叠和硬件感知自适应重计算比调优，实现3.72x-4.86x TTFT加速和接近全重计算的生成质量。

Comments 14 pages, Machine Learning

MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM

MoBiQuant: 面向令牌自适应任意精度LLM的混合比特量化

Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang

机构 * University of Arizona（亚利桑那大学） ； Duke University（杜克大学） ； Sungkyunkwan University（成均馆大学） ； Panasonic AI Lab（松下人工智能实验室） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对动态运行时约束下大语言模型任意精度量化的泛化性问题，提出基于令牌敏感度的混合比特量化框架MoBiQuant，通过多合一递归残差量化和令牌感知路由器实现灵活推理，在匹配或超越前沿单精度PTQ的同时显著节省内存并提升吞吐量。

Comments 20 pages, 10 figures

SafeCtrl-RL: Inference-Time Adaptive Behaviour Control for LLM Dialogue via RL-Driven Prompt Optimisation

SafeCtrl-RL: 通过RL驱动的提示优化的LLM对话推理时自适应行为控制

Michael Orme, Yanchao Yu, Zhiyuan Tan

机构 * School of Computing, Engineering and Building Environment（计算、工程与建筑环境学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SafeCtrl-RL框架，利用强化学习在推理时动态选择提示调整策略，无需重新训练即可抑制不安全行为，提升LLM对话的安全性和响应质量。

Authority Inversion in LLM-Mediated Ubiquitous Systems: When Models Trust Users Over Sensors

LLM介导的普适系统中的权威倒置：当模型信任用户胜过传感器

Long Zhang, Zi-bo Qin, Wei-neng Chen

机构 * School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院） ； School of Computer Science（计算机科学学院） ； Engineering, South China University of Technology（华南理工大学工程学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究揭示了大语言模型在融合传感器与用户冲突信息时，由于格式依赖性导致数值传感器数据被自然语言用户主张支配的权威倒置现象，并提出了几何框架、审计指标（CIR和AAI）以及推理时层干预方法（GAC）来诊断和缓解该问题。

Communication-Efficient Hybrid Language Model via Uncertainty-Aware Opportunistic and Compressed Transmission

基于不确定性感知的机会主义与压缩传输的通信高效混合语言模型

Seungeun Oh, Jinhyuk Kim, Jihong Park, Seung-Woo Ko, Jinho Choi, Tony Q. S. Quek, Seong-Lyun Kim

机构 * School of Electrical and Electronic Engineering, Yonsei University, South Korea（延世大学电气电子工程学院，韩国） ； Information Systems Technology and Design pillar, Singapore University of Technology and Design, Singapore 487372（新加坡科技设计大学信息系统技术与设计支柱，新加坡487372） ； Department of Smart Mobility Engineering, Inha University, South Korea（Inha大学智能移动工程系，韩国） ； School of Electrical and Mechanical Engineering, The University of Adelaide, Australia（阿德莱德大学电气与机械工程学院，澳大利亚） ； Singapore University of Technology and Design, Singapore 487372（新加坡科技设计大学，新加坡487372） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)

AI总结 提出通信高效的混合语言模型CU-HLM，通过不确定性感知的机会主义传输和词汇表压缩，在保持97.4%准确率的同时实现高达206倍的令牌吞吐量提升。

Comments 17 pages, 13 figures, 5 tables; This article has been accepted for publication in IEEE Transactions on Communications. This is the author's accepted version; the final published version will be available via IEEE Xplore

Inference-Time Backdoors via Chat Templates: From LLM Supply Chains to Agentic System Compromise

通过聊天模板的推理时后门：从LLM供应链到代理系统妥协

Ariel Fogel, Omer Hofman, Eilon Cohen, Roman Vainshtein

机构 * Fujitsu Research of Europe（富士通欧洲研究） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 提出一种通过恶意修改聊天模板实现推理时后门攻击的方法，无需修改模型权重或训练数据，在LLM、代理和多代理系统层面均能成功攻击，且能绕过现有防御。

Comments V3: Accepted to ICLR 2026 Trustworthy AI Workshop, V4: Submitted to CCS 2026

SeqRoute: Global Budget-Aware Sequential LLM Routing via Offline Reinforcement Learning

SeqRoute: 通过离线强化学习实现全局预算感知的顺序LLM路由

Zhongling Xu, Shunan Zheng, Wei Wang

机构 * Department of Operations Research and Industrial Engineering（运筹学与工业工程系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出SeqRoute框架，将多轮LLM路由建模为有限时域马尔可夫决策过程，通过离线强化学习（CQL）和事后预算重标记（HBR）学习延迟满足，在全局预算约束下优化成本与质量，降低破产率至1%以下。

LLM Agent Based Renewable Energy Forecasting Using Edge and IoT Data A Review of Solar Wind Weather and Grid Aware Decision Support

基于LLM Agent的利用边缘和物联网数据的可再生能源预测：太阳能、风能、天气和电网感知决策支持综述

Pavan Manjunath, Thomas Pruefer

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了如何利用大语言模型代理整合异构传感器流、天气API数据、历史发电记录和电网约束，形成统一的决策支持工作流，以增强可再生能源预测。

SemanticZip: A Pilot Framework for Lossy Text Compression with LLMs as Semantic Decompressors

SemanticZip: 以LLM作为语义解压器的有损文本压缩的试点框架

Natalia Trukhina, Vadim Vashkelis

机构 * Embedded Intelligence Lab (EMILAB)（嵌入式智能实验室） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SemanticZip框架，通过LLM将文本压缩为紧凑代码并解压为任务相关语义，在结构化散文、JSON等六种表示上评估，发现结构化散文恢复率最高（WAR=0.956，19.1%令牌增益），而CCL-Min平衡性最佳（39.4%令牌增益，WAR=0.874）。

Comments 13 pages, 1 figure, 2 tables. Pilot framework paper; code and supplementary artifacts available in ancillary files

Scheduling LLM Inference with Uncertainty-Aware Output Length Predictions

具有不确定性感知输出长度预测的LLM推理调度

Haoyu Zheng, Yongqiang Zhang, Fangcheng Fu, Xiaokai Zhou, Hao Luo, Hongchao Zhu, Yuanyuan Zhu, Hao Wang, Xiao Yan, Jiawei Jiang

机构 * School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院） ； School of Computer Science, Central China Normal University, Wuhan, China（中央财经大学计算机学院） ； Dameng Database Co., Ltd., Wuhan, China（达梦数据库有限公司） ； School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Institute for Math and AI, Wuhan University, Wuhan, China（武汉大学数学与人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对LLM推理调度，提出基于对数t分布的输出长度分布模型，并设计Tail Inflated Expectation (TIE)指标替代点估计，以降低在线推理延迟并提高离线吞吐量。

Comments Accepted at ICML 2026

PASA: A Principled Embedding-Space Watermarking Approach for LLM-Generated Text under Semantic-Invariant Attacks

PASA：一种针对语义不变攻击的LLM生成文本的原则性嵌入空间水印方法

Zhenxin Ai, Haiyun He

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PASA水印算法，在潜在嵌入空间的语义簇上嵌入和检测水印，通过理论框架实现检测精度、鲁棒性和失真的基本权衡，在强释义攻击下仍保持鲁棒性和文本质量。

AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent

AgentArk：将多智能体智能蒸馏到单个LLM智能体中

Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li, Weijie Xu, Xin Chen, Jindong Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； William & Mary（威廉与玛丽学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Amazon（亚马逊） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentArk框架，通过三种分层蒸馏策略将多智能体系统的交互动态蒸馏到单个模型权重中，使单个智能体具备多智能体的推理和自校正能力，同时保持计算效率。

Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

使用行为树和LLM的组合任务奖励塑造与动作掩码

Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

机构 * Vanderbilt University（范德比大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出MRBT结构，结合LLM自动生成奖励和动作掩码，通过SMT验证和神经符号RL循环，提升组合任务训练效率和成功率。

UniComp: A Unified Evaluation of Large Language Model Compression via Pruning, Quantization and Distillation

UniComp: 通过剪枝、量化和蒸馏对大型语言模型压缩的统一评估

Jonathan von Rad, Yong Cao, Andreas Geiger

机构 * University College London（伦敦大学学院） ； University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出UniComp框架，统一评估剪枝、量化和知识蒸馏三种压缩方法，从性能、可靠性和效率三个维度在40个数据集上分析，发现知识偏差、性能与可靠性解耦以及任务特定校准可提升推理性能。

Comments 18 pages, 5 figures, 18 tables

Toward General Quantum Control with Physics-Informed Large Language Models

面向通用量子控制的物理信息大语言模型

Yusheng Zhao, Han Wang, Xin Liu, Xinjie Song, Jixi He, Lingwei Song, Yuanhe Ji, Ken Deng, Runqing Zhang, Zhiguo Huang, Ling Qian, Jize Han, Di Luo

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 提出VF-QCTRL框架，结合物理信息大语言模型与符号推理及优化，实现通用量子控制协议的高保真度设计，并通过QCTRL-BENCH基准测试验证其通用性、准确性、效率和可解释性。

SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models

SAE-FD: 面向大语言模型持续学习的稀疏自编码器特征蒸馏

Mingxu Zhang, Yuhan Li, Lujundong Li, Dazhong Shen, Hui Xiong, Ying Sun

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The 63rd Research Institute, National University of Defense Technology, Nanjing（国防科技大学第六十三研究所，南京） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对持续学习中的灾难性遗忘问题，提出基于稀疏自编码器特征蒸馏的方法，通过将模型表示锚定在稀疏特征空间以减少表征纠缠，实现更精准的正则化，在多个基准上优于现有方法。

Membership Inference Attacks on Tokenizers of Large Language Models

大型语言模型分词器的成员推理攻击

Meng Tong, Yuntao Du, Kejiang Chen, Weiming Zhang, Ninghui Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对预训练大型语言模型成员推理攻击的挑战，提出以分词器作为新攻击向量，探索五种攻击方法，并设计自适应防御。

Comments To appear at USENIX Security Symposium 2026

Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models

面向大规模视觉识别的多模态大语言模型分治推理

Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

机构 * Taizhou Institute of Science and Technology, Nanjing University of Science and Technology（泰州科技学院、南京理工大学） ； Department of Intelligence Science, Xi’an Jiaotong-Liverpool University（智能科学系，西安交通大学利物浦大学） ； School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学） ； Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在长序列识别中性能崩溃的问题，提出分治推理（DCI）策略，通过递归分解任务和动态剪枝提升信噪比与分类精度。

Rethinking LLM Ensembling from the Perspective of Mixture Models

从混合模型的角度重新思考大语言模型集成

Jiale Fu, Yuchu Jiang, Peijun Wu, Chonghan Liu, Joey Tianyi Zhou, Xu Yang

机构 * Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术关键实验室） ； Its Interdisciplinary Applications (Southeast University), Ministry of Education（交叉应用（东南大学），教育部） ； Southeast University（东南大学） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology（前沿人工智能研究（CFAR），科技研究局） ； Research (A STAR), Singapore（研究（A STAR），新加坡） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology（高性能计算（IHPC），科技研究局） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出混合模型式集成（ME），通过将集成重新解释为混合模型，随机选择单个模型生成下一个token，避免显式计算完整集成分布，实现1.78x-2.68x加速，并揭示了集成与token级路由方法的联系。

Comments ICML 2026 Spotlight

Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing

Copy-as-Decode: 面向LLM编辑的语法约束并行预填充

Ziyang Liu

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出Copy-as-Decode机制，通过语法约束的并行预填充加速LLM编辑，实现高达303倍的自回归解码加速，并保持高覆盖率与无损性。

Comments The authors have decided to withdraw this version following internal review regarding authorship and contribution agreements

ClawTrace: Cost-Aware Tracing for LLM Agent Skill Distillation

ClawTrace: 面向LLM智能体技能蒸馏的成本感知追踪

Boqin Yuan, Yue Su, Renchu Song, Sen Yang, Jing Qin

机构 * University of California San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对技能蒸馏管道缺乏每步成本信号的问题，提出ClawTrace记录成本归因轨迹并生成TraceCard，通过CostCraft生成保留、剪枝和修复三类技能补丁，发现剪枝补丁作为质量护栏而保留补丁导致回归，主张按规则类型评估可复用技能。

Comments Accepted at Agent Skills '26 Workshop, ACM Conference on AI and Agentic Systems (CAIS 2026), San José, CA, May 26, 2026

The A-R Behavioral Space: Execution-Level Profiling of Tool-Using Language Model Agents in Organizational Deployment

A-R行为空间：组织部署中工具使用语言模型代理的执行层剖析

Shasha Yu, Fiona Carroll, Barry L. Bentley

机构 * Cardiff School of Technologies, Cardiff Metropolitan University（卡迪夫技术学院，卡迪夫市政大学） ； School of Professional Studies, Clark University（专业研究学院，克拉克大学） ； Harvard Medical School, Harvard University（哈佛医学院，哈佛大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 提出基于动作率(A)和拒绝信号(R)的二维A-R空间及散度(D)来测量执行层行为，评估不同规范制度和自主性配置下语言模型代理的执行与拒绝分布模式。

JT-SAFE-V2: Safety-by-Design Foundation Model with World-Context Data

JT-SAFE-V2：具有世界上下文数据的安全设计基础模型

Junlan Feng, Fanyu Meng, Chong Long, Pengyu Cong, Duqing Wang, Yan Zheng, Yuyao Zhang, Xuanchang Gao, Ye Yuan, Yunfei Ma, Zhijie Ren, Fan Yang, Na Wu, Di Jin, Chao Deng

机构 * JIUTIAN Research（九天研究院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出JT-Safe-V2大语言模型，通过世界知识预训练、高确定性训练和安全强化后训练实现通用智能与安全设计的联合优化，并引入Safe-MoMA框架降低推理成本，在通用智能和安全基准上达到最优性能。

EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture

EVA：通过高效向量量化架构加速大语言模型解码

Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

机构 * Duke University（杜克大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型解码阶段内存瓶颈和计算利用率低的问题，提出EVA架构，将GEMV计算转化为GEMM并消除内存冲突，实现最高11.17倍加速和7.17倍能效提升。

Comments 17 pages. Accepted to ISCA 2026