语言大模型 / LLM

The Price of Prompting: Profiling Energy Use in Large Language Models Inference

提示的成本：大型语言模型推理中能源使用的 profiling

Erik Johannes Husom, Arda Goknil, Lwin Khin Shar, Sagar Sen

机构 * SINTEF ； Singapore Management University（新加坡管理大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)；LLM(abstract)

AI总结 本文提出MELODI框架，用于分析大型语言模型推理过程中的能源消耗，通过构建数据集研究提示属性与能源支出的关系，为可持续LLM部署提供基础工具。

Comments 11 pages, 5 figures. Submitted to NeurIPS 2024. The released code and dataset are available at https://github.com/ejhusom/MELODI

LiteLMGuard: Seamless and Lightweight On-Device Prompt Filtering for Safeguarding Small Language Models against Quantization-induced Risks and Vulnerabilities

LiteLMGuard: 无缝且轻量级的设备端提示过滤，用于保护小型语言模型免受量化引发的风险和漏洞

Kalyan Nakka, Jimmy Dani, Ausmit Mondal, Nitesh Saxena

机构 * SPIES Research Lab, Dept. of CSE, Texas A&M University（SPIES研究实验室，计算机科学与工程系，德克萨斯大学阿马尔科分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

AI总结 LiteLMGuard通过设备端实时提示过滤，有效保护小型语言模型免受量化带来的安全风险。

Comments 18 pages, 19 figures, and 3 tables

Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy

通过推理时间激活能量缓解对齐大语言模型中的过度拒绝

Eric Hanchen Jiang, Weixuan Ou, Run Liu, Shengyuan Pang, Guancheng Wan, Ranjie Duan, Wei Dong, Kai-Wei Chang, XiaoFeng Wang, Ying Nian Wu, Xinfeng Li

机构 * UCLA（加州大学洛杉矶分校） ； Alibaba Cloud Computing（阿里云计算） ； SJTU（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； NTU（国立科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过能量景观引导框架，提升大语言模型的安全性并减少虚假拒绝，实验显示在ORB-H基准上合规性显著提高。

Spilled Energy in Large Language Models

大语言模型中的能量溢出

Adrian Robert Minut, Hazem Dewidar, Iacopo Masi

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出了一种无需训练的基于能量的模型方法，用于检测大语言模型中的幻觉和错误。

Cache-to-Cache: Direct Semantic Communication Between Large Language Models

缓存到缓存：大型语言模型之间的直接语义通信

Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang

机构 * Tsinghua University（清华大学） ； Infinigence AI ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； SLAI ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 缓存到缓存通过直接语义通信提升大型语言模型的性能和效率，实现比文本通信更高的准确率和更低的延迟。

Comments Published in ICLR'26

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle

Shuffle-R1: 通过数据导向的动态洗牌提升多模态大语言模型的强化学习框架

Linghao Zhu, Yiran Guan, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Bin Qin, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus, Xiaomi Inc.（MiLM Plus，小米公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 Shuffle-R1通过动态洗牌和轨迹采样提升多模态大语言模型的强化学习效率，实现更高效的训练效果。

Comments This paper has been accepted by ICLR 2026. Conference link: https://iclr.cc/virtual/2026/poster/10007559 OpenReview link: https://openreview.net/forum?id=mYP33u1QBK Project page at: https://xenozlh.github.io/Shuffle-R1/

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

STARS: Synchronous Token Alignment for Robust Supervision in Large Language Models

STARS: 同步标记对齐用于大语言模型中稳健的监督

Mohammad Atif Quamar, Mohammad Areeb, Mikhail Kuznetsov, Muslum Ozgur Ozmen, Z. Berkay Celik

机构 * Purdue University（普渡大学） ； Amazon（亚马逊） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 STARS通过同步标记对齐方法提升大语言模型的对齐性能，实现稳健监督和高效系统吞吐。

Speech recognition assisted by large language models to command software orally -- Application to an augmented and virtual reality web app for immersive molecular graphics

通过大型语言模型辅助的语音识别来控制软件——应用于增强和虚拟现实网页应用中的沉浸式分子图形

Fabio Cortes Rodriguez, Luciano Abriata

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 通过结合Chrome的语音识别和大型语言模型的函数调用方法，开发了一个语音控制网页应用，用于沉浸式分子图形。

TAO-Attack: Toward Advanced Optimization-Based Jailbreak Attacks for Large Language Models

TAO-Attack：迈向大型语言模型的高级优化基 Jailbreak 攻击

Zhi Xu, Jiaqi Li, Xiaotong Zhang, Hong Yu, Han Liu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 TAO-Attack 提出了一种基于优化的 Jailbreak 攻击方法，通过双阶段损失函数和方向优先 token 优化策略，有效提升攻击成功率。

Ouroboros: Wafer-Scale SRAM CIM with Token-Grained Pipelining for Large Language Model Inference

Ouroboros: 以片上SRAM为基础的片上计算内存架构，采用令牌粒度流水线实现大语言模型推理

Yiqi Liu, Yudong Pan, Mengdi Wang, Shixin Zhao, Haonan Zhu, Yinhe Han, Lei Zhang, Ying Wang

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)

AI总结 Ouroboros通过令牌粒度流水线、分布式动态KV缓存管理和通信感知映射，实现了大语言模型推理在片上SRAM中的高效执行，提升了吞吐量和能效。

Comments 17 pages, 21 figures, ASPLOS 2026

DLIOS: An LLM-Augmented Real-Time Multi-Modal Interactive Enhancement Overlay System for Douyin Live Streaming

DLIOS：一种增强现实时间多模态交互增强叠加系统的大型语言模型增强系统，用于抖音直播

Shuide Wen, Sungil Seok, Beier Ku, Richee Li, Yubin He, Bowen Qu, Yang Yang, Ping Su, Can Jiao

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 DLIOS通过LLM增强实时多模态交互增强系统，实现抖音直播中的弹幕、礼物效果和TTS广播的高效处理与优化。

Comments 14 pages, 13 figures, 6 tables, 7 algorithms, 16 references, submitted to ACM/IEEE International Conference on Systems and Software Engineering

Multi-Layer Scheduling for MoE-Based LLM Reasoning

多层调度用于基于MoE的LLM推理

Yifan Sun, Gholamreza Haffari, Minxian Xu, Rajkumar Buyya, Adel N. Toosi

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出多层调度框架，针对基于MoE的LLM推理优化，通过请求、引擎和专家层面调度策略，提升吞吐量和效率，实验表明在TTFT和TPOT延迟上分别减少17.8%和13.3%。

Comments 12 pages, 10 figures

Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

弥合承诺与性能之间的差距：为微缩FP4量化 bridging the gap between promise and performance for microscaling FP4 quantization

Vage Egiazarian, Roberto L. Castro, Denis Kuznedelev, Andrei Panferov, Eldar Kurtic, Shubhra Pandit, Alexandre Marques, Mark Kurtz, Saleh Ashkboos, Torsten Hoefler, Dan Alistarh

机构 * Institute of Science and Technology Austria（奥地利科学与技术研究院） ； Yandex Research（Yandex研究） ； Red Hat AI（红帽人工智能） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出MR-GPTQ方法，通过优化FP4量化过程，提升MXFP4的准确性并实现性能提升。

Quantization-Aware Distillation for NVFP4 Inference Accuracy Recovery

量化感知蒸馏用于NVFP4推理精度恢复

Meng Xin, Sweta Priyadarshi, Jingyu Xin, Bilal Kartal, Aditya Vavre, Asma Kuriparambil Thekkumpate, Zijia Chen, Ameya Sunil Mahabaleshwarkar, Ido Shahaf, Akhiad Bercovich, Kinjal Patel, Suguna Varshini Velury, Chenjie Luo, Zhiyu Cheng, Jenny Chen, Chen-Han Yu, Wei Ping, Oleg Rybakov, Nima Tajbakhsh, Oluwatobi Olabiyi, Dusan Stosic, Di Wu, Song Han, Eric Chung, Sharath Turuvekere Sreenivas, Bryan Catanzaro, Yoshi Suhara, Tijmen Blankevoort, Huizi Mao

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 本研究提出量化感知蒸馏方法，用于恢复NVFP4量化大型语言模型和视觉-语言模型的推理精度，通过KL散度损失实现有效且稳定的精度恢复。

SUN: Shared Use of Next-token Prediction for Efficient Multi-LLM Disaggregated Serving

SUN: 为高效多LLM解耦服务实现下一个token预测的共享使用

Sunghyeon Woo, Ahreum Seo, Jaegwang Lee, Jaeeun Kil, Hanbae Seo, Joonghoon Kim, Baeseong Park, Se Jung Kwon, Dongsoo Lee

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 SUN通过共享解码模块提升多LLM服务效率，实现高吞吐量与低TPOT，支持低精度解码。

Comments Preprint, 15 pages, 5 figures

Eliciting Numerical Predictive Distributions of LLMs Without Autoregression

无需自回归即可获取大语言模型的数值预测分布

Julianna Piskorz, Katarzyna Kobalczyk, Mihaela van der Schaar

机构 * Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系） ； University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究探讨如何在不使用自回归生成的情况下，通过内部表示直接获取LLM对数值预测分布的统计特征，揭示了LLM在数值任务中编码不确定性的可能性。

Comments First two authors contributed equally. Published as a conference paper at ICLR2026

Semi-Supervised Few-Shot Adaptation of Vision-Language Models

视觉-语言模型的半监督少样本适应

Julio Silva-Rodríguez, Ender Konukoglu

机构 * Computer Vision Lab, ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院计算机视觉实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出一种半监督方法，通过传播文本引导的伪标签来提升视觉-语言模型在极低样本情况下的适应性能，减少标注工作量超过50%。

Comments Code: https://github.com/jusiro/SS-Text-U

Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation

从视觉基础模型中实现可泛化的知识蒸馏用于语义分割

Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong

机构 * School of Artificial Intelligence, Xidian University, China（西安电子科技大学人工智能学院） ； Department of Information Engineering and Computer Science, University of Trento, Italy（特伦托大学信息工程与计算机科学系） ； Department of Automation, Tsinghua University, China（清华大学自动化系） ； School of Computer Science and Information Engineering, Hefei University of Technology, China（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出GKD方法，通过多阶段框架提升视觉基础模型在语义分割中的领域外泛化能力，实验显示其在基础到基础和基础到局部蒸馏中均取得显著优势。

Comments Accepted by CVPR2026

REGAL: A Registry-Driven Architecture for Deterministic Grounding of Agentic AI in Enterprise Telemetry

REGAL：一种基于注册表的架构，用于企业遥测中代理AI的确定性接地

Yuvraj Agrawal

机构 * Adobe Inc.（Adobe公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 REGAL提出一种基于注册表的架构，用于企业遥测中代理AI的确定性接地，通过显式架构方法和语义编译提升确定性计算，解决LLM在私有遥测中的接地问题。

xLLM Technical Report

xLLM 技术报告

Tongxuan Liu, Tao Peng, Peijun Yang, Xiaoyang Zhao, Xiusheng Lu, Weizhe Huang, Zirui Liu, Xiaoyu Chen, Zhiwei Liang, Jun Xiong, Donghe Jin, Minchao Zhang, Jinrong Guo, Yingxu Deng, Xu Zhang, Xianzhe Dong, Siqi Wang, Siyu Wu, Yu Wu, Zihan Tang, Yuting Zeng, Yanshu Wang, Jinguang Liu, Meng Kang, Menxin Li, Yunlong Wang, Yiming Liu, Xiaolong Ma, Yifan Wang, Yichen Zhang, Jinrun Yin, Keyang Zheng, Jiawei Yin, Jun Zhang, Ziyue Wang, Xiaobo Lin, Liangyu Liu, Liwei Lan, Yang Liu, Chunhua Peng, Han Liu, Songcheng Ren, Xuezhu Wang, Yunheng Shen, Yi Wang, Guyue Liu, Yitao Hu, Hui Chen, Tong Yang, Hailong Yang, Jing Li, Guiguang Ding, Ke Zhang

机构 * THU（清华大学） ； USTC（University of Science and Technology of China） ； BUAA（Beijing University of Aeronautics and Automation） ； PKU（Peking University） ； TJU（Tianjin University） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 xLLM是一种针对高性能大规模企业级服务设计的高效LLM推理框架，通过解耦服务引擎架构和多层优化提升吞吐量和推理效率。

Comments 39 pages

Agentic Self-Evolutionary Replanning for Embodied Navigation

代理自进化重规划用于具身导航

Guoliang Li, Ruihua Han, Chengyang Li, He Li, Shuai Wang, Wenchao Ding, Hong Zhang, Chengzhong Xu

机构 * Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） ； SIAT, Chinese Academy of Sciences（中国科学院上海技术物理研究所） ； Department of Computer Science, University of Hong Kong（香港大学计算机科学系） ； Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院） ； Department of EEE, Southern University of Science and Technology（南方科技大学电子工程系） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SERP通过自进化动作模型和图链式思考重规划，提升具身导航在复杂环境中的鲁棒性和效率。

Comments 8 pages, 10 figures, 4 tables, submitted to IEEE for possible publication

On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding

在判别与生成分类器之间：重新思考MLLMs用于动作理解

Zhanzhong Pang, Dibyadip Chatterjee, Fadime Sener, Angela Yao

机构 * National University of Singapore（国立新加坡大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出GAD分类器，通过生成辅助判别方法提升封闭集动作理解的准确性和效率，达到SOTA效果。

Comments 22 pages, 9 figures, 16 tables. Accepted by ICLR2026

W4A16 Mixed-Precision Matrix Multiplication on Decoupled Architecture: Kernel Design and Memory Bottleneck Analysis for Ascend NPUs

W4A16混合精度矩阵乘法在解耦架构上的应用：针对Ascend NPU的内核设计与内存瓶颈分析

Yuanhong He, Peiyu Niu, Jun Chen, Chenchen Zhang, Chao Yang

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出适用于Ascend NPU的W4A16混合精度矩阵乘法内核，通过优化解耦架构实现高效量化，发现内存传输是主要瓶颈，最大加速比达1.48倍。

MaBERT:A Padding Safe Interleaved Transformer Mamba Hybrid Encoder for Efficient Extended Context Masked Language Modeling

MaBERT:一种安全填充的交错Transformer Mamba混合编码器用于高效扩展上下文掩码语言模型

Jinwoong Kim, Sangjin Park

机构 * Graduate School of Industrial Data Engineering, Hanyang University（韩阳大学工业数据工程研究生院） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL

AI总结 MaBERT结合Transformer与Mamba层，通过安全填充掩码和掩码感知注意力池化，实现高效长上下文掩码语言模型。

Comments 8 pages

NExT-Guard: Training-Free Streaming Safeguard without Token-Level Labels

NExT-Guard: 不依赖令牌级标签的无训练流式安全防护

Junfeng Fang, Nachuan Chen, Houcheng Jiang, Dan Zhang, Fei Shen, Xiang Wang, Xiangnan He, Tat-Seng Chua

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 NExT-Guard通过监控稀疏自编码器的潜在特征，实现无训练的流式安全防护，优于基于监督训练的防护方法。

ATPO: Adaptive Tree Policy Optimization for Multi-Turn Medical Dialogue

ATPO：多轮医疗对话中的自适应树策略优化

Ruike Cao, Shaojie Bai, Fugen Yao, Liang Dong, Jian Xu, Li Xiao

机构 * University of Science and Technology of China（中国科学技术大学） ； Qwen Applications Business Group, Alibaba Group（阿里云应用业务部） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ATPO通过自适应树策略优化提升多轮医疗对话中的信息获取效率，有效解决不确定性问题，实验表明其在医疗对话任务中表现优异。

Comments Accepted to ICLR 2026

Recursive Think-Answer Process for LLMs and VLMs

递归思考-回答过程用于LLMs和VLMs

Byung-Kwan Lee, Youngchae Chee, Yong Man Ro

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出递归思考-回答过程（R-TAP）以提升LLMs和VLMs的推理准确性，通过置信度生成器和双奖励机制实现迭代推理，减少错误输出并提高推理稳定性。

Comments CVPR 2026 Findings, Project page: https://litcoderr.github.io/rtap_page/

Prior-based Noisy Text Data Filtering: Fast and Strong Alternative For Perplexity

基于先验的噪声文本数据过滤：快速且强大的替代方法用于困惑度

Yeongbin Seo, Gayoung Kim, Jaehyung Kim, Jinyoung Yeo

机构 * Department of Artificial Intelligence（人工智能系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出基于先验的噪声文本数据过滤方法，通过词频统计快速替代困惑度过滤，提升效率并保持性能。

Comments ICLR 2026

Steer2Edit: From Activation Steering to Component-Level Editing

Steer2Edit：从激活引导到组件级编辑

Chung-En Sun, Ge Yan, Zimo Wang, Tsui-Wei Weng

机构 * Department of Computer Science（计算机科学系） ； Halıcıoğlu Data Science Institute, UC San Diego（哈利奇奥卢数据科学研究所，加州大学圣迭戈分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Steer2Edit通过将引导信号转化为可解释的参数更新，实现组件级权重编辑，提升模型的安全性、真实性和推理效率。

Hardware Implementation of Photonic Spiking Hash Retrieval

光子脉冲哈希检索的硬件实现

Shangxuan Shi, Shuiying Xiang, Xintao Zeng, Yonghang Chen, Wanting Yu, Yahui Zhang, Xingxing Guo, Yue Hao

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于光子脉冲神经网络的硬件实现方案，实现了高效、低能耗的二进制代码生成与高精度检索。

Comments 9 pages