语言大模型 / LLM

ProServe: Unified Multi-Priority Request Scheduling for LLM Serving

ProServe: 面向LLM服务的统一多优先级请求调度

Weizhe Huang, Tao Peng, Tongxuan Liu, Donghe Jin, Kang Meng, Xianzhe Dong, Ke Zhang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM服务中多优先级请求的SLO保障问题，提出ProServe框架，通过引擎层滑动批处理和块管理优化及服务层增益导向调度，最大化服务增益。

Comments 17 pages

UltraSketchLLM: Sub-1-Bit LLM Compression via Sketch and Hardware-Friendly Operators

UltraSketchLLM：基于草图与硬件友好算子的低于1比特LLM压缩

Sunan Zou, Xueting Sun, Ziyun Zhang, Guojie Luo

机构 * National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机科学学院，北京大学） ； School of Electronic Engineering and Computer Science, Peking University（电子工程与计算机科学学院，北京大学） ； Center for Energy-efficient Computing and Applications, Peking University（能效计算与应用中心，北京大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出UltraSketchLLM，利用数据草图将LLM权重压缩至0.5比特，结合硬件友好实现，在保持可接受性能下降的同时实现14.9倍加速。

Comments Accepted by the 63rd ACM/IEEE The Chips to Systems Conference (DAC 2026)

The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training

FP4量化LLM训练中均值偏差的诅咒与祝福

Hengjie Cao, Zhendong Huang, Mengyi Chen, Yifeng Yang, Fang Dong, Anrui Chen, Ruijun Huang, Xin Zhang, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert P. Dick, Yuan Cheng, Tun Lu, Fan Yang, Yixuan Chen, Li Shang

机构 * Fudan University（复旦大学） ； University of Bath（巴斯大学） ； Shanghai Innovation Institute（上海创新研究院） ； University of Oxford（牛津大学） ； Oxford Suzhou Centre for Advanced Research（牛津苏浙研究中心） ； University of Colorado Boulder（科罗拉多大学波德格分校） ； University of Michigan（密歇根大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 发现FP4训练失败源于激活异常值由秩一均值偏差主导，提出Averis均值残差分离量化法，在Qwen3模型上实现鲁棒W4A4G4训练，损失差距低于NVIDIA的Hadamard方法。

Efficient Code Analysis via Graph Representation Learning-Guided Large Language Models

通过图表示学习引导的大语言模型实现高效代码分析

Hang Gao, Tao Peng, Baoquan Cui, Hong Huang, Fengge Wu, Junsuo Zhao, Jian Zhang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出一种图中心注意力获取流程，利用图神经网络初步检测恶意代码，并引导大语言模型聚焦关键区域，提升跨文件恶意行为定位能力。

STREAM: Multi-Tier LLM Inference Middleware with Dual-Channel HPC Token Streaming

STREAM：具有双通道 HPC 令牌流的多层 LLM 推理中间件

Anas Nassar, Steve Mohr, Leonard Apanasevich, Himanshu Sharma

机构 * Advanced Cyberinfrastructure for Education and Research (ACER) University of Illinois Chicago（高级教育与研究计算基础设施（ACER）伊利诺伊大学芝加哥分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 STREAM 系统，通过三层路由架构（本地、HPC、云）和双通道 HPC 流（控制平面与数据平面分离）实现亚秒级 TTFT，解决现有系统无法统一三种推理场景的问题。

Comments 6 pages, 1 figure, PEARC '26

LLM-Powered AI Agent Systems and Their Applications in Industry

基于大语言模型的AI智能体系统及其工业应用

Guannan Liang, Qianqian Tong

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文综述了从传统智能体到LLM驱动智能体的演进，分类为软件、物理和自适应混合系统，并讨论了在客服、软件开发、制造、教育、金融和医疗等领域的应用及挑战。

Comments This is the author's accepted version of the paper accepted to appear at IEEE AIIoT 2025. The final version will be available via IEEE Xplore. \c{opyright}2025 IEEE. Personal use of this material is permitted

X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs

X-OPD：面向语音大语言模型能力对齐的跨模态在策略蒸馏

Di Cao, Dongjie Fu, Hai Yu, Siqi Zheng, Xu Tan, Tao Jin

机构 * Tencent Hunyuan（腾讯文心） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出X-OPD框架，通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力，利用文本教师模型评估语音模型的轨迹并提供令牌级反馈，显著缩小复杂任务性能差距。

Comments Accepted by Interspeech 2026

When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs

当语言表示交互时：LLM中的可分离性与跨语言效应

Boris Marinov, Angira Sharma, Christian Schroeder de Witt, Philip Torr, Anisoara Calinescu, Jialin Yu

机构 * University of Oxford（牛津大学） ； Imperial College London（帝国理工学院） ； University of York（约克大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过因果几何分析，研究多语言LLM中语言表示的线性可分离性及跨语言结构依赖，发现语言概念在协方差调整内积下可分离，同语系语言呈现单纯形几何结构。

Comments Trustworthy AI for Good (AI4Good) Workshop @ ICML 2026

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression

Sentinel: 通过注意力探测解码上下文利用以实现高效LLM上下文压缩

Yong Zhang, Heng Li, Yanwen Huang, Ning Cheng, Yang Guo, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao

机构 * Ping An Technology (Shenzhen) Co., Ltd., China（平安科技（深圳）有限公司，中国） ； University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出Sentinel，一种轻量级句子级压缩框架，通过冻结LLM的头部注意力模式解码推理时上下文利用行为，使用单次非自回归前向传递实现压缩，在LongBench上以0.5B代理模型达到5倍压缩且性能与7B模型方法相当。

Comments Preprint

Efficient On-Device Diffusion LLM Inference with Mobile NPU

基于移动NPU的高效设备端扩散大语言模型推理

Tuowei Wang, Yanfan Sun, Ju Ren

机构 * Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出首个NPU感知推理框架Diffusion-LLM-on-NPU，通过多块推测解码、双路径渐进修正和交换优化内存运行时，在移动设备上加速扩散大语言模型推理，相比CPU基线实现17-42倍延迟降低。

NeST: Neuron Selective Tuning for LLM Safety

NeST: 面向LLM安全的神经元选择性调优

Sasha Behrouzi, Lichao Wu, Mohamadreza Rostami, Ahmad-Reza Sadeghi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出NeST框架，通过激活探测识别安全相关前馈神经元并训练共享簇级更新，仅用普通恶意提示即可泛化防御多种越狱攻击，在14个模型上以极少参数实现接近全微调的鲁棒性。

PocketLLM: Ultimate Compression of Large Language Models via Meta Networks

PocketLLM: 通过元网络实现大语言模型的终极压缩

Ye Tian, Chengcheng Wang, Jing Han, Yehui Tang, Kai Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出PocketLLM，通过元网络在潜在空间压缩大语言模型，利用编码器和解码器实现高效压缩，实验表明在高压缩比下仍保持高精度。

Comments AAAI 2026 camera ready

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(39), 33250-33258 (2026)

LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values

LLM 蕴含多重性：部署上下文如何重塑模型层面的偏好与价值观

Filip Trhlik, Aoife O'Flynn, Angela Yu, Arduin Findeis, Paula Buttery

机构 * University of Cambridge（剑桥大学） ； ALTA Institute（ALTA研究所） ； Leverhulme Centre for the Future of Intelligence（勒沃霍姆未来智能中心） ； Microsoft UK（微软英国） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过两个成对比较范式（国家偏好排序和效用判断）发现，部署上下文（如撰写Reddit帖子或新闻文章）对LLM偏好和价值观的影响远大于提示改写和温度控制，表明模型层面的偏好是上下文依赖的。

Comments 68 pages, 54 figures, 54 tables

BigPower: Hierarchical Source-Level Module Power Estimation for CPUs with Large Language Models

BigPower: 基于大型语言模型的CPU层次化源码级模块功耗估计

Honghua Zhu, Chunjie Luo, Jianfeng Zhan

机构 * State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences Beijing China（处理器国家重点实验室，计算技术研究所，中国科学院北京中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出BigPower，利用大型语言模型表示和架构层次、模块连接、配置参数及工作负载上下文，直接从源码级设计信息估计CPU模块级功耗，无需仿真，在香山处理器上验证了有效性。

Comments 12 pages, 10 figures

Be My Tutor: On-Policy Co-Distillation for Mutual LLM Improvement via Peer Feedback

做我的导师：通过同伴反馈实现互惠LLM改进的在策略共蒸馏

Woohyeon Byeon, Jiwon Jeon, Jeonghye Kim, Youngchul Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出在策略共蒸馏（OPCoD）方法，通过认知门控和反馈锚定实现两个不同领域强模型间的相互教学，达到帕累托改进。

TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization

TWLA：通过训练后量化实现大语言模型的三值权重和低位激活

Zhixiong Zhao, Zukang Xu, Zhixuan Chen, Xing Hu, Zhe Jiang, Dawei Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TWLA框架，通过后训练量化实现1.58位权重和4位激活，解决激活分布长尾问题，加速推理。

Comments Accepted by ICML 2026

Investigating Metamorphic Fuzz Oracle Enhancement via Large Language Models

通过大语言模型研究蜕变式模糊测试预言增强

Ruixiang Qian, Ding Yang, Zengxu Chen, Yuxuan Gao, Chunrong Fang, Chao Zhang, Zhenyu Chen

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)

AI总结 提出基于大语言模型的MetaFOE框架，自动生成和集成蜕变关系以增强模糊测试预言，在OSS-Fuzz驱动上平均提升18.7%边覆盖并触发1528个独特崩溃。

Comments 28 pages

SARSteer: Safeguarding Large Audio-Language Models via Safe-Ablated Refusal Steering

SARSteer: 通过安全消融拒绝引导保护大型音频语言模型

Weilin Lin, Jianze Li, Hui Xiong, Li Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出SARSteer，首个针对大型音频语言模型的推理时防御框架，通过文本衍生的拒绝引导和分解安全空间消融，有效提升有害查询拒绝率并减少良性查询的过度拒绝。

Efficient Rationale-based Retrieval: On-policy Distillation from Generative Rerankers based on JEPA

高效基于理由的检索：基于JEPA的生成重排序器的在线蒸馏

Teng Chen, Sheng Xu, Feixiang Guo, Xiaoyu Wang, Qingqing Gu, Hongyan Li, Luo Ji

机构 * Geely AI Lab（吉利人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Rabtriever，通过在线蒸馏从生成重排序器中学习，将查询和文档独立编码，提升检索效率，同时在多个任务中表现优异。

Comments 11 pages, 8 figures. ICMR 2026 (https://youtu.be/apDcrzEVwq4)

Minim: Privacy-Aware Minimal View for Agents via Trusted Local Sanitization

Minim: 通过可信本地净化实现代理的隐私感知最小化视图

Hexuan Yu, Chaoyu Zhang, Heng Jin, Shanghao Shi, Ning Zhang, Y. Thomas Hou, Wenjing Lou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对LLM代理传输完整UI状态导致隐私泄露的问题，提出MINIM框架，在客户端基于上下文完整性学习双重分数（敏感性和必要性），通过三元披露策略实现隐私感知的最小化视图，在减少敏感泄露的同时保留任务关键信息。

Comments Accepted at ICML 2026 (43rd International Conference on Machine Learning, Seoul, South Korea). Code available at https://github.com/yyyyhx/MINIM

TwinBI: An Agentic Digital Twin for Efficient Augmented Interactions with Business Intelligence Dashboards

TwinBI：一种用于与商业智能仪表盘高效增强交互的智能数字孪生

Jisoo Jang Wen-Syan Li

机构 * Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出TwinBI框架，通过LLM代理与可执行仪表盘状态耦合，统一对话、操作、语义和溯源，提升多步分析中状态一致性，将精确匹配准确率从43.3%提升至63.3%，超时率从40%降至10%。

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models

MirrorCheck: 视觉-语言模型的高效对抗防御

Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Ivan Laptev, Karthik Nandakumar

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能大学） ； NVIDIA ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出MirrorCheck框架，利用文本到图像模型和随机化策略检测并防御针对视觉-语言模型的自适应对抗攻击。

Making Locality-aware GEMM Compatible with Page-Granularity Placement on Chiplet GPUs

使局部感知的GEMM与Chiplet GPU上的页粒度放置兼容

Euijun Chung, Jae Hyung Ju, Hyesoon Kim

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对多芯片GPU非均匀内存系统中局部感知数据放置与固定页粒度交错不兼容的问题，提出Chiplet-Contiguous Layout，通过全局内存布局存储芯片局部连续数据，无需修改操作系统或硬件即可兼容页粒度放置，显著降低远程HBM流量。

Fast Multi-Party Open-Ended Conversation with a Social Robot

快速多方开放性对话与社交机器人

Giulio Antonio Abbo, Maria Jose Pinto-Bernal, Martijn Catrycke, Tony Belpaeme

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种结合多模态感知与大语言模型的多方对话系统，评估结果显示其在平行对话和小组讨论中表现出高参与度和准确率，但存在语音识别误差和响应延迟等技术限制。

Comments 15 pages, 5 figures, 4 tables; 2 appendices

Journal ref Front. Robot. AI 13:1766383 (2026)

Decoupled Mixture-of-Experts for Parametric Knowledge Injection

解耦混合专家用于参数化知识注入

Baoqing Yue, Weihang Su, Qingyao Ai, Yichen Tang, Changyue Wang, Jiacheng Kang, Jingtao Zhan, Yiqun Liu

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出解耦混合专家（DMoE）架构，将外部知识转化为独立可更新的专家模块，通过轻量级不确定性感知路由器在基础模型知识不足时激活相关专家，实现参数级知识增强，在知识密集型基准上优于检索和适配器基线。

OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification

OmniOPD：通过推测性验证实现无Logit的在线策略蒸馏

Yuhang Zhou, Lizhu Zhang, Yifan Wu, Mingyi Wang, Bo Peng, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao

机构 * Meta AI 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出OmniOPD框架，通过基于蒙特卡洛展开的块级语义相似度替代token级logit匹配，结合峰值熵调度器和贝叶斯先验，解决在线策略蒸馏中logit不可获取和信号脆弱问题，在数学任务上超越标准OPD达28.64%。

Comments 26 pages, 3 figures

Generalized Discrete Diffusion with Self-Correction

广义离散扩散与自校正

Linxuan Wang, Ziyi Wang, Yikun Bai, Wei Deng, Guang Lin, Qifan Song

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出自校正离散扩散模型（SCDD），通过显式状态转移和离散时间学习，简化训练噪声调度，消除冗余重掩码步骤，在GPT-2规模上实现高效并行解码并保持生成质量。

Comments 40 pages, 3 figures, 6 tables

I'm Sorry Driver, I'm Afraid I Can't Do That: Appraising the Safety of LLMs within Automotive Contexts

抱歉，司机，恐怕我不能这么做：评估LLMs在汽车环境中的安全性

Shaun Feakins, Ibrahim Habli, Kim Littler, Robert Palin

机构 * UKRI AI Centre for Doctoral Training in Safe Artificial Intelligence Systems (SAINTS)（英国研究理事会安全人工智能系统博士培训中心（SAINTS）） ； University of York（约克大学） ； Jaguar Land Rover（捷克·陆罗恩） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文从安全保证角度评估了将LLMs集成到汽车控制任务中的现有框架，指出其面临概念和具体挑战，并通过案例研究提出未来保障机制。

Comments Accepted at the Dependable AI in Embedded Systems (DAIES) Workshop at SAFECOMP 2026; 15 pages, 3 figures, 2 tables

Towards Steering without Sacrifice: Principled Training of Steering Vectors for Prompt-only Interventions

无牺牲的引导：面向仅提示干预的引导向量的原则性训练

Yuntai Bao, Qinfeng Li, Xinyan Yu, Ge Su, Wenqi Zhang, Liu Yan, Haiqin Weng, Jianwei Yin, Xuhong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出联合训练引导因子和方向的方法，消除后验因子选择；引入仅提示引导向量（PrOSV），仅干预少量提示词，在AxBench上优于传统全序列引导向量，并实现更好的通用模型效用与对抗鲁棒性权衡。

Comments 63 pages, 50 figures; accepted by ICML 2026

A Water Efficiency Dataset for African Data Centers

非洲数据中心用水效率数据集

Noah Shumba, Opelo Tshekiso, Pengfei Li, Giulia Fanti, Shaolei Ren

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Carnegie Mellon University Africa Kigali Rwanda（卡内基梅隆大学非洲分校，基亚利，卢旺达） ； Rochester Institute of Technology（罗切斯特理工学院） ； Rochester New York USA（罗切斯特，纽约州，美国） ； Carnegie Mellon University Pittsburgh Pennsylvania USA（卡内基梅隆大学匹兹堡，宾夕法尼亚州，美国） ； University of California, Riverside（加州大学河滨分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 构建首个结合天气与发电数据的非洲41国数据中心用水效率数据集，评估Llama-3-70B和GPT-4推理用水量，发现多数非洲国家用水低于全球平均。

Comments Accepted by NeurIPS 2024 Workshop on Tackling Climate Change with Machine Learning