语言大模型 / LLM

PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections

PI-Hunter：用于暴露和定位提示注入的自动化红队测试

Pengfei He, Lesly Miculicich, Vishesh Sharma, Ash Fox, George Lee, Jiliang Tang, Tomas Pfister, Long T. Le

机构 * Google Cloud AI Research（谷歌云人工智能研究） ； Google（谷歌） ； Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PI-Hunter自动化审计框架，通过构建源感知测试用例并迭代演化，主动暴露LLM智能体中的潜在提示注入漏洞，显著提升漏洞暴露和攻击面覆盖。

Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families

打破分词器壁垒：跨模型系列的在线策略蒸馏

Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tencent（腾讯） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出跨分词器在线策略蒸馏方法，通过精确的token映射算法使教师模型概率分布信号能跨不同分词器传播，显著提升计算效率。

Persistent Semantic Entities in Tool-Augmented LLM Systems

工具增强型大语言模型系统中的持久语义实体

Zhaohui Wang

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 该研究定义工具增强型LLM系统的持久语义实体（PSEs），证实其在24款不同规模模型中普遍存在，偏好/指令污染难自校正，上下文隔离自验证可降低污染，为智能体系统安全提供关键发现。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). Camera-ready version; 32 pages . The openreview url is https://openreview.net/forum?id=zPjmtawzT8&noteId=CXB95ws5so and ICML poster url is https://icml.cc/virtual/2026/poster/60521

MiniCache: Reusable Program Caching with Small Model Interfaces for Efficient LLM Inference

MiniCache：用于高效大语言模型推理的具有小模型接口的可重复使用程序缓存

Jingquan Chen, Jinghua Piao, Jie Feng, Shaogang Hu, Yong Li

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型推理成本高的问题，提出MiniCache框架，将PoT程序转换为参数化缓存对象，通过重用小模型进行语义变量提取和推测性起草，减少目标大语言模型调用，实验证明其能提升推理性能，平衡延迟、缓存重用和准确性。

Comments 16 pages, 8 figures

Intelligent Multi-UAV Navigation in ITNTNs: A Hierarchical LLM Approach

智能多无人机在综合陆地与非陆地网络中的导航：一种分层大语言模型方法

Zijiang Yan, Hao Zhou, Wael Jaafar, Jianhua Pei, Ping Wang, Halim Yanikomeroglu, Hina Tabassum

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对高速无人机在三维空中高速公路部署中面临的协调问题，提出分层大语言模型驱动控制框架，利用云端大语言模型管理全局负载平衡，边缘大语言模型转化局部观测为子目标，引导深度强化学习控制器执行轨迹，降低碰撞率并提高系统吞吐量。

Comments This paper has been accepted by IEEE GLOBECOM 2026

KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch?

KernelBench验证：大语言模型生成的内核真的能超越PyTorch吗？

Yunxiang Zhang, Ping Yu, Jianyu Wang, Max, Fan, Julian Reed, Azalia Mirhoseini, Will Su

机构 * Meta ； FAIR at Meta SuperIntelligence Lab（元超智能实验室公平团队） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型生成的内核是否真能超越PyTorch，指出前沿模型存在奖励黑客行为。引入KernelBench-Verified扩展评估框架及内存效率指标，实验发现最佳模型加速比低，无模型始终超PyTorch，部分模型增加GPU内存峰值使用，强调持续调整评估协议的必要性。

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay：用于高效大语言模型智能体推理的区域感知键值缓存逐出策略

Venkatesha Matam, Keon Kim

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型智能体KV缓存内存瓶颈问题，提出无需训练的区域感知逐出策略MemDecay，为令牌分配特定区域优先级和衰减率，经实验验证该策略能有效管理缓存，确立语义提示结构对KV缓存管理的作用并明确其与关注重要性的结合方式。

Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing

用于大语言模型路由的具有替代奖励的相关感知上下文博弈

Ajay Narayanan Sridhar, Ronak Singh, Mehrdad Mahdavi, Vijaykrishnan Narayanan

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究用于大语言模型路由的相关感知上下文博弈问题，提出耦合奖励混合与解耦预测混合两种利用替代奖励的算法，经理论分析和实验评估，相比基线方法提高了样本效率和精度 - 成本权衡。

Tool-Making and Self-Evolving LLM Agents in Low-Latency Systems

低延迟系统中的工具制作与自我进化大语言模型智能体

Kalle Kujanpää, Ning Liu, Shahnawaz Alam, Yeshwanth Reddy Sura, Tianyu Yang, Kristina Klinkner, Shervin Malmasi

机构 * Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 研究如何解决生产LLM智能体因重复生成代码浪费延迟和可靠性的问题，提出用智能工具制作管道取代推理时编码循环，部署该方法使系统更快、更可靠、易操作，降低延迟和错误率，提高可审计性。

Comments Preprint

dOPSD: On-Policy Self-Distillation for Diffusion Language Models

dOPSD：扩散语言模型的策略内自蒸馏

Phuong Tuan Dat, Qi Li, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究扩散语言模型强化推理难的问题，提出dOPSD，通过从学生去噪轨迹直接推导教师特权信息，实现策略内自蒸馏，提升模型在数学推理和代码生成等任务表现。

LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression

LACE-SVD：用于大语言模型压缩的带累积误差校正的损失感知奇异值分解

Zhuowen Liu, Longkun Hao, Shiyu Feng, Xiaowen Chang, Ruiqun Li, Changqun Li

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型参数规模增长需求，提出LACE-SVD框架，先依候选压缩率估算损失增加量分配秩预算，再用局部更新和误差校正优化模型，降低累积误差传播，效果优于现有方法。

Comments 12 pages, 5 figures, 5 tables

KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression

Kara: 通过滑动窗口KV缓存压缩实现高效推理LLM服务

Shen Han, Yuyang Wu, Junpu Yu, Olexandr Isayev

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对推理语言模型长思维链导致KV缓存过大、解码延迟高的问题，提出Kara滑动窗口KV缓存压缩方法，利用双向注意力评分选择信息性KV对并通过Token2Chunk模块扩展为块，结合PagedAttention构建KvLLM推理框架，降低内存占用并提升输出吞吐量。

Comments 9 pages, 6 figures

UniRank: Unified Rank Allocation for Low-Rank LLM Compression

UniRank: 面向低秩大语言模型压缩的统一秩分配方法

Chao Han, Haozhe Hu, Fei Ma, Wei Zhang, Xiaoyu Shen

机构 * Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波数字孪生研究院，东方理工大学（宁波）） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出UniRank方法，将全局低秩分配转化为排序截断流程，通过局部奇异能量比和全局功能重要性双准则评分各奇异分量，并引入秩保持微调避免信息损失，在一次性压缩中困惑度降低高达50%。

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

PerceptionDLM：基于多模态扩散语言模型的并行区域感知

Yueyi Sun, Yuhao Wang, Jason Li, Ye Tian, Tao Zhang, Jacky Mai, Yihan Wang, Haochen Wang, Jinbin Bai, Ling Yang, Yunhai Tong

机构 * Peking University（北京大学） ； MSALab ； ByteDance（字节跳动） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 提出PerceptionDLM，利用扩散语言模型的并行解码特性，通过高效提示和结构化注意力掩码实现多区域并行感知，显著提升推理效率，并构建ParaDLC-Bench基准进行评估。

Comments Code available at https://github.com/MSALab-PKU/PerceptionDLM

TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization

TWLA：通过训练后量化实现大语言模型的三值权重和低位激活

Zhixiong Zhao, Zukang Xu, Zhixuan Chen, Xing Hu, Zhe Jiang, Dawei Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TWLA框架，通过后训练量化实现1.58位权重和4位激活，解决激活分布长尾问题，加速推理。

Comments Accepted by ICML 2026

Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

数据高效的自回归到扩散语言模型通过策略内蒸馏

Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

机构 * Department of Computer Science and Engineering, Texas A&M University（德克萨斯大学阿马尔科分校计算机科学与工程系） ； Department of Bioinformatics and Systems Medicine, University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校生物信息学与系统医学系） ； Department of Electrical and Computer Engineering, Texas A&M University（德克萨斯大学阿马尔科分校电气与计算机工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出策略内扩散语言模型（OPDLM），通过策略内蒸馏将自回归模型转换为扩散语言模型，解决分布偏移和训练-推理不匹配问题，实现15倍至7000倍更少训练数据下的强性能。

Diffuse to Compress: Leveraging Diffusion LMs for Lossless Compression

扩散到压缩：利用扩散语言模型进行无损压缩

Angelo Nardone, Paolo Ferragina

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对无损文本压缩的吞吐量瓶颈，首次引入扩散语言模型（DLM）替代自回归LLM，设计策略解决算法挑战，在enwik8数据集上推进了无损文本压缩的现有技术水平。

Comments 18 pages, 11 figures, 2 tables. Main paper: 9 pages (7 pages text + 2 pages references). Includes 9 pages of supplementary material

OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching

OasisKV：通过前瞻稀疏预取将解码中KV缓存扩展至HBM之外

Can Xiao, Sukmin Cho, Junbong We, Zhixiong Niu, Jianyi Cheng, Yiren Zhao, Youngjin Kwon, Yongqiang Xiong, Rui Ma, Junyi Liu

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对LLM推理中HBM容量受限问题，提出以内存为中心的OasisKV系统，通过前瞻稀疏预取技术解耦KV缓存存储与HBM，在精度损失极小的情况下显著提升推理吞吐量并降低内存占用。

Trie-Constrained Token Prediction with Hierarchy-Aware Semantic Alignment for HS Code Prediction

结合前缀树约束的令牌预测与层级感知语义对齐的HS编码预测

Minseop Kim, Taekhyun Park, Kikun Park, Hyerim Bae

专题命中 效率与部署 ：SLM(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出TRIE-HSA方法，结合前缀树约束的令牌预测与层级感知语义对齐，在集装箱码头数据实验中，其HS6准确率较零样本推理提升49.96个百分点，为受限环境下的HS编码预测提供实用方案。

On Design Principles for Efficient Heterogeneous DRAM-PIM-GPU Systems

高效异构DRAM-PIM-GPU系统的设计原则

Corey Lammie, Hadjer Benmeziane, William Andrew Simon, Irem Boybat

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对异构DRAM-PIM-GPU系统，通过系统评估OPT、Mamba2系列模型，揭示了三项设计原则，为内存加速LLM系统架构设计提供了指导。

Comments Accepted at 2026 IEEE International System-on-Chip Conference (SOCC)

Interpolation of Non-Linear Functions for LLMs using Partial Reconfiguration in FPGAs

基于FPGA部分重配置的LLM非线性函数插值

Roger Morales-Monge, Nazareth Jimenez-Chacon, Jose Gabriel Villalobos-Alvarado, Luis G. Leon-Vega, Jorge Castro-Godinez

专题命中 效率与部署 ：LLM(title_cn,summary_cn)

AI总结 该研究针对FPGA上LLM非线性函数实现成本高的问题，提出基于部分重配置的PWL插值框架，通过动态加载模块实现面积节省，验证了分段策略的权衡效果。

Comments Submitted to ICECS 2026

DP-LENS: A Density-Aware Polyfocal Lens with Topology-Driven Auto-Routing for Occlusion Management in Immersive 3D Analytics

DP-LENS：一种用于沉浸式3D分析中遮挡管理的密度感知多焦点透镜，带有拓扑驱动自动路由功能

Nieyu Cao, Xian Wang, Lik-Hang Lee

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对沉浸式3D分析中数据遮挡导致的高认知负荷问题，提出带拓扑驱动自动路由的DP-LENS系统，结合LLM语音交互，经用户验证可降低负荷、提升效率，为相关系统设计提供启示。

Comments Accepted to IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2026, to appear in IEEE Transactions on Visualization and Computer Graphics (TVCG). 11 pages

TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM

TurboVLA：在RTX 4090上以32 Hz运行、显存占用<1 GB的实时视觉-语言-动作模型

Hengyi Xie, Chenfei Yao, Xianjin Wu, Xuanyang Xi, Yiping Tang, Di Xu, Yingying Zhu, Dingkang Liang, Xiang Bai, Han Ding

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Technologies Co. Ltd（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出TurboVLA，将传统VLA模型的LLM中心路径重构为视觉语言直接映射，仅0.2B参数即可在RTX 4090上实现97.7%LIBERO任务成功率，性能优于更大模型且显存占用极低。

Comments Code is available at https://github.com/H-EmbodVis/TurboVLA

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

少看，快思考：多模态大语言模型的联合令牌-计算适配

Pengcheng Wang, Zhiquan Wang, Jayoung Lee, Zhuoyan Xu, Ran Xu, Saurabh Bagchi, Yin Li, Somali Chaterji

机构 * Purdue University（普渡大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对多模态大语言模型推理成本高的问题，提出SmartVL框架，通过视觉侧令牌控制器和LLM侧计算控制器联合控制视觉令牌数量和模型计算能力，实验证明该框架优于先前方法，实现更好的精度-效率平衡。

Comments Accepted at ECCV 2026

Accelerating Heterogeneous Agent Collaboration in Dynamic Edge Networks

加速动态边缘网络中的异构智能体协作

Tianji He, Yulin Shao, Fen Hou

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究在动态边缘网络中加速异构智能体协作的问题，提出PRADA框架，通过将PRM作为离线教师，结合轻量级策略和拉格朗日调度器解决资源竞争，大幅降低延迟并保留LLM准确性，还揭示阈值效应，为资源配置提供指导。

StreamDQ: Near-Memory Weight DeQuantization in Custom HBM for Scalable AI Inference Acceleration

StreamDQ：用于可扩展人工智能推理加速的定制HBM中的近内存权重反量化

Minki Jeong, Daegun Yoon, Soohong Ahn, Seungyong Lee, Nameun Kang, Hyeonseok Ju, Ieryung Park, Joonseop Sim, Youngpyo Joo, Hoshik Kim

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型内存和计算需求增长，提出StreamDQ架构，将反量化块集成到HBM基础芯片，通过内存端反量化减少GPU开销，实现高吞吐量推理，在混合精度GEMM和端到端LLM推理中均有显著性能提升。

Hot AI in Cold Space: Thermal-Crosstalk-Aware Scheduling for Sustainable Orbital AI Clusters

寒冷太空中的热AI：面向可持续轨道AI集群的热串扰感知调度

Shuyi Chen, Zhengchang Hua, Nikos Tziritas, Georgios Theodoropoulos

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对轨道数据中心高密度集群中的热串扰问题，提出热感知异构性论点，并设计热负载均衡（TLB）框架，通过动态迁移LLM工作负载至最冷单元，缓解热瓶颈并延长硬件寿命。

Comments Accepted at HotCarbon'26, camera ready version. Code: https://github.com/Sukiiichan/sdc-sim

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

CAVEWOMAN: 大型语言模型在语言输入和输出压缩下的行为

Morayo Danielle Adeyemi, Ryan A. Rossi, Franck Dernoncourt

机构 * Independent（独立研究者） ； Adobe Research（Adobe研究院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出双通道评估协议CAVEWOMAN，发现输出压缩降低API模型成本（1.4-2.4倍），输入压缩反而增加成本（~1.15倍）并导致准确率下降和文本偏离。

OTRO: Oblivious Tokenization Path with Square-Root ORAM

OTRO: 具有平方根ORAM的遗忘标记化路径

Jonghyun Lee, Yongqin Wang, Rachit Rajat, Daniel Wong, Mengyuan Li, Murali Annavaram

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对LLM机密计算中标记器访问模式泄露问题，提出OTRO，利用平方根ORAM实现高效遗忘查找，通过实例池、轮换填充和分块KV缓存感知标记化降低开销，在TDX环境中将TTFT开销限制在4.5%以内。

LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement

LightSTAR: 通过视觉自适应精炼的轻量级选择实现高效视觉文档检索

Tongkun Guan, Haocheng Wang, Wei Shen, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院人工智能研究院教育部人工智能重点实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出LightSTAR框架，通过免LLM的视觉选择快速筛选候选页，再经视觉自适应语义精炼进行细粒度匹配，在保持高检索精度的同时大幅降低延迟。

Comments Accpeted by ECCV 2026