语言大模型 / LLM

DFlash: Block Diffusion for Flash Speculative Decoding

DFlash：用于快速推测解码的块扩散模型

Jian Chen, Yesheng Liang, Zhijian Liu

机构 * Z-Lab 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出DFlash框架，利用轻量级块扩散模型并行生成草稿，通过目标模型上下文特征条件化，实现高质量草稿和高接受率，在多种模型和任务上实现超过6倍无损加速，比最先进的推测解码方法EAGLE-3快2.5倍。

Comments Accepted at ICML 2026. Camera-ready version. Code: https://github.com/z-lab/dflash

ToolSpec: Accelerating Tool Calling via Schema-Aware and Retrieval-Augmented Speculative Decoding

ToolSpec: 通过模式感知与检索增强的推测解码加速工具调用

Heming Xia, Yongqi Li, Cunxiao Du, Mingbo Song, Wenjie Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对工具调用延迟问题，提出一种基于模式感知和检索增强的推测解码方法ToolSpec，利用预定义工具模式生成准确草稿，并通过有限状态机交替填充确定性模式令牌和推测生成可变字段，同时检索历史调用复用草稿，实现最高4.2倍加速。

DLM-SWAI: Steering Diffusion Language Models Before They Unmask

DLM-SWAI: 在扩散语言模型去掩码之前引导它们

Hyeseon An, Yo-Sub Han

机构 * Department of Computer Science（计算机科学系） ； Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种无需训练的引导方法DLM-SWAI，通过预计算的词级风格分数在去噪步骤中偏置词分布，实现扩散语言模型的可控生成。

Comments preprint

OISD: On-Policy Internal Self-Distillation of Language Models

OISD: 语言模型在策略内部自蒸馏

Xinyu Liu, Darryl Cherian Jacob, Yang Zhou, Jindong Wang, Pan He

机构 * Auburn University（阿肯色大学） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 效率与部署 ：language model(title)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出OISD框架，通过将最终层的预测信号蒸馏到中间层，结合logit对齐和注意力对齐，提升推理能力，在数学推理任务上显著优于基线。

Comments Under Review for Publication

Pushing the Limits of Block Rotations in Post-Training Quantization

推动后训练量化中块旋转的极限

Sai Sanjeet, Ian Colbert, Pablo Monteagudo-Lago, Giuseppe Franco, Yaman Umuroglu, Nicholas J. Fraser

机构 * Advanced Micro Devices, Inc. (AMD)（Advanced Micro Devices公司） ； State University of New York at Buffalo（纽约州立大学布法罗分校） ； Norwegian University of Science（挪威科学与技术大学） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PeRQ框架，通过置换和旋转重新分布激活值，以克服块旋转在抑制异常值时的几何限制，显著提升后训练量化精度。

Not All Entities are Created Equal: A Dynamic Anonymization Framework for Privacy-Preserving RAG

并非所有实体都生而平等：一种面向隐私保护RAG的动态匿名化框架

Xinyuan Zhu, Zekun Fei, Enye Wang, Ruiqi He, Jia Guo, Ruijie Wang, Zheli Liu, Qingkai Zeng

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对检索增强生成中敏感实体“一刀切”匿名化导致效用下降的问题，提出基于上下文感知实体量化的动态匿名化框架TRIP-RAG，通过评估边际隐私风险、知识分歧和主题相关性实现变强度隐私保护，在保持隐私保护的同时显著提升生成质量。

Towards a Foundation Model for the Martian Atmosphere

火星大气基础模型

Sujit Roy, Udayshankar Nair, Yuling Wu, Georgios Priftis, Liping Wang, Anastasia Georgiou, Anne Jones, Björn Lütjens, Johannes Schmude, Campbell Watson, Rachel A. Slank, Ankur Kumar, Anirbit Mukherjee, Procheta Sen, Ramin Lolachi, Haonan Chen, Manil Maskey, Juan Bernabé-Moreno, Rahul Ramachandran

机构 * Earth System Science Center, University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校地球系统科学中心） ； NASA Marshall Space Flight Center（美国宇航局马歇尔空间飞行中心） ； Department of Electrical & Computer Engineering, Colorado State University（科罗拉多州立大学电气与计算机工程系） ； Science and Technology Institute/Universities Space Research Association (USRA)（科学与技术研究所/大学空间研究协会） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） ； School of Computer Science, University of Liverpool（利物浦大学计算机科学学院） ； Center for Space Sciences and Technology, University of Maryland, Baltimore County（马里兰大学巴尔的摩分校空间科学与技术中心） ； NASA Goddard Space Flight Center（美国宇航局戈达德空间飞行中心） ； Center for Research and Exploration in Space Science and Technology, NASA/GSFC（空间科学与技术研究与探索中心，NASA/GSFC） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对火星大气数据稀疏、计算成本高等挑战，本文探讨了构建数据驱动基础模型的设计空间，包括可用数据、物理模型、下游应用及AI方法。

OptSkills: Learning Generalizable Optimization Skills from Problem Archetypes via Cluster-Based Distillation

OptSkills: 通过基于聚类的蒸馏从问题原型中学习可泛化的优化技能

Haochen Yang, Ke Zhao, Mengyuan Ma, Xingyu Lu, Xiangfeng Wang, Hong Qian

机构 * East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出OptSkills系统，通过聚类问题原型、蒸馏成功轨迹为可复用工作流技能，并动态扩展技能库，提升优化建模与求解的分布内和分布外泛化能力。

Comments 22 pages, 10 figuers, project: https://github.com/fujiwaranoM0kou/OptSkills

Steering at the Source: Style Modulation Heads for Robust Persona Control

源头操控：用于稳健角色控制的风格调制头

Yoshihiro Izawa, Gouki Minegishi, Koshi Eguchi, Sosuke Hosokawa, Kenjiro Taura

机构 * The University of Tokyo, Tokyo, Japan（东京大学） ； National Institute of Informatics Research（信息处理研究所） ； Development Center for Large Language Models, Japan（大型语言模型发展中心） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过识别并仅干预少量注意力头（风格调制头），在无需微调的情况下实现对大型语言模型角色和风格的稳健控制，同时显著缓解了残差流干预导致的连贯性下降问题。

Comments 8 main pages with appendix

Moment-KV: Momentum-Based Decode-Time KV Cache Compression for Long Generation

Moment-KV: 基于动量的解码时KV缓存压缩用于长文本生成

Soumyadeep Jana, Sagar Nishad, Sanasam Ranbir Singh

机构 * Indian Institute of Technology Guwahati（印度理工学院瓜哇蒂） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Moment-KV方法，利用动量驱动的时序注意力聚合在解码阶段压缩KV缓存，以提升长文本生成质量并保持解码延迟。

Small Agent Group is the Future of Digital Health

小型智能体群是数字健康的未来

Yuqiao Meng, Luoxi Tang, Dazheng Zhang, Rafael Brens, Elvys J. Romero, Nancy Guo, Safa Elkefi, Zhaohan Xi

机构 * State University of New York at Binghamton（纽约州立大学布inghamton分校） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出小型智能体群（SAG）通过协作推理替代单一大型模型，在数字健康中实现更优的有效性、可靠性和部署效率。

Comments ICML'26

Robust and Efficient Guardrails with Latent Reasoning

具有潜在推理的鲁棒高效防护栏

Siddharth Sai, Xiaofei Wen, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出COLAGUARD模型，通过阶段式训练将多步安全推理转移到连续潜在空间，在保持高安全性能的同时实现12.9倍加速和22.4倍令牌减少。

Bridge-RAG: An Abstract Bridge Tree Based Retrieval Augmented Generation Algorithm

Bridge-RAG：一种基于抽象桥树的检索增强生成算法

Zihang Li, Wenjun Liu, Yikun Zong, Jiawen Tao, Siying Dai, Songcheng Ren, Zirui Liu, Yuhang Wang, Yanbing Jiang, Tong Yang

机构 * Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对检索增强生成中准确性和效率的挑战，提出Bridge-RAG框架，通过抽象桥树结构实现多级检索，并集成布谷鸟过滤器实现O(1)实体查找，在保持高准确率的同时将检索速度提升至1.9倍。

MemCollab: Cross-Model Memory Collaboration via Contrastive Trajectory Distillation

MemCollab：通过对比轨迹蒸馏实现跨模型记忆协作

Yurui Chang, Yiran Wu, Qingyun Wu, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； AG2AI 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对不同骨干模型代理间共享记忆性能下降的问题，提出MemCollab框架，通过对比同一任务上不同模型生成的推理轨迹来蒸馏共享的抽象推理约束，并引入任务感知检索机制，提升异构代理的准确性和推理效率。

The Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems

视觉虫洞：异构多智能体系统中的潜在空间通信

Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin Jung, Matt Fredrikson, Xiaoqian Wang, Jing Gao

机构 * Purdue University（普渡大学） ； Contextual AI（情境人工智能） ； Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Vision Wormhole框架，通过通用视觉编解码器将推理轨迹映射到共享连续空间，实现异构VLM间的潜在状态传输，无需配对翻译器，降低对齐复杂度并提升效率。

Comments Preprint. Work in progress

Less Is More: Elevating RAG via Performance-Driven Context Compression

少即是多：通过性能驱动的上下文压缩提升RAG

Ziqiang Cui, Yunpeng Weng, Xing Tang, Peiyang Liu, Shiwei Li, Bowei He, Jiamin Chen, Yansen Zhang, Xiuqiang He, Chen Ma

机构 * City University of Hong Kong, Hong Kong SAR, China（香港城市大学） ； Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE（阿布扎赫尔 Mohamed bin Zayed 人工智能大学） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University, Beijing, China（北京大学） ； Shenzhen Technology University, Shenzhen, China（深圳技术大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CORE-RAG框架，利用任务性能作为反馈信号迭代优化压缩策略，在3%压缩率下平均精确匹配得分提升3.3点。

Comments Accepted by ICML 2026

Accelerating Constrained Decoding with Token Space Compression

加速受限解码：通过词元空间压缩

Michael Sullivan, Alexander Koller

机构 * Department of Language Science and Technology（语言科学与技术系） ； Saarland Informatics Campus（萨尔兰州信息学校区） ； Saarland University（萨尔兰大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CFGzip离线压缩词元搜索空间，大幅降低上下文无关文法约束解码的开销，实现高达两个数量级的延迟减少和7.5倍的总生成速度提升。

Comments 13 pages; 5 figures; under review at EMNLP 2026

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

Domino: 在推测解码中将因果建模与自回归草稿解耦

Jianuo Huang, Yaojie Zhang, Qituan Zhang, Hao Lin, Hanlin Xu, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； School of Software Engineering, HUST（华中科技大学软件学院） ； UESTC ； Fudan University（复旦大学） ； Huawei（华为公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出Domino框架，通过并行草稿骨干和轻量级Domino头解耦因果依赖建模与自回归草稿执行，结合基础锚定训练课程，在Qwen3模型上实现高达5.49倍端到端加速和5.8倍吞吐量加速。

MemoSight: Unifying Context Compression and Multi Token Prediction for Reasoning Acceleration

MemoSight: 统一上下文压缩与多令牌预测以加速推理

Xinyu Liu, Xin Liu, Bo Jin, Runsong Zhao, Pengcheng Huang, Junhao Ruan, Bei Li, Chunyang Xiao, Chenglong Wang, Tong Xiao, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Meituan Inc.（美团公司） ； NiuTrans Research, Shenyang, China（牛译研所） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 提出 MemoSight 框架，通过特殊令牌和位置布局统一上下文压缩与多令牌预测，在保持思维链推理性能的同时减少 KV 缓存使用并提升推理速度。

ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

ConMoE: 通过原型重分配进行专家池整合以实现MoE压缩

Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

机构 * Peking University（北京大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出ConMoE，一种无需训练的MoE压缩方法，通过基于校准的贡献和可替换性信号选择保留的专家原型，并确定性重映射原始专家调用，在多个MoE语言模型上匹配或超越强基线。

Comments 12 pages, 3 figures, 5 tables

P$^2$RAG: Efficient Privacy-Preserving RAG Service Supporting Arbitrary Top-$k$ Retrieval

P$^2$RAG: 支持任意Top-$k$检索的高效隐私保护RAG服务

Yulong Ming, Mingyue Wang, Jijia Yang, Jie Xu, Zihan Wu, Cong Wang, Xiaohua Jia

机构 * City University of Hong Kong（香港城市大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有隐私保护RAG系统无法灵活支持大k值且效率低下的问题，提出基于秘密共享和交互式二分法的P$^2$RAG系统，避免排序开销，实现高效且安全的任意top-$k$检索。

Comments 14 pages, 3 figures

Understanding the Ability of LLMs to Handle Character-Level Perturbation

理解LLMs处理字符级扰动的能力

Anyuan Zhuo, Xuefei Ning, Ningyuan Li, Jingyi Zhu, Yu Wang, Pinyan Lu

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，Location，Country） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，Location，Country） ； Shanghai University of Finance（上海财经大学） ； Tsinghua University, China（清华大学，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过三种字符级扰动（单词内大量拼写错误、字符乱序、插入不可见字符）测试大型语言模型的鲁棒性，发现即使严重扰动下模型仍保持显著性能，并探索了其内在机制。

Comments Accepted by icml2026

Accelerating Sparse Transformer Inference on GPU

加速GPU上的稀疏Transformer推理

Wenhao Dai, Haodong Deng, Mengfei Rong, Xinyu Yang, Hongyu Liu, Fangxin Liu, Hailong Yang, Qianwen Cao, Qingxiao Sun

机构 * SSSLab, Dept. of CST China University of Petroleum-Beijing Beijing China（SSSLab，计算机科学与技术系中国石油大学（北京）北京中国） ； Baidu Inc. Beijing China（百度公司北京中国） ； School of Computer Science Shanghai Jiao Tong University Shanghai China（计算机科学学院上海交通大学上海中国） ； China University of Petroleum-Beijing Beihang University Beijing China（中国石油大学（北京）北京航空航天大学北京中国） ； China University of Petroleum-Beijing（中国石油大学（北京）） ； Beihang University（北京航空航天大学） ； Baidu Inc.（百度公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对稀疏Transformer推理加速问题，提出STOF框架，通过分析建模将多头注意力映射为行式或块式核并采用独特存储格式，结合两阶段搜索的算子融合方案，在GPU上实现高达1.6倍的多头注意力计算加速和1.4倍的端到端推理加速。

PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding

PARCEL: 基于池锚定的条件弹性查询重采样以实现高效视觉-语言理解

Selim Kuzucu, Alessio Tonioni, Vasile Lup, Bernt Schiele, Federico Tombari, Muhammad Ferjad Naeem

机构 * Max Planck Institute for Informatics（马克斯·普朗克研究所） ； Google（谷歌） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PARCEL视觉分词架构，通过池锚定和条件弹性查询重采样解决视觉令牌压缩中的空间与查询表示冲突，在27个基准上提升性能-效率帕累托前沿。

Comments 33 pages, 4 figures

EarlyTom: Early Token Compression Completes Fast Video Understanding

EarlyTom: 早期令牌压缩实现快速视频理解

Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 针对视频大语言模型中视觉编码阶段效率低下的问题，提出EarlyTom无训练令牌压缩框架，通过在视觉编码器内部进行早期压缩，显著降低首令牌延迟并提升吞吐量。

Comments Accepted by CVPR 2026. 16 pages, 8 figures, 8 tables. Project page: https://viridisgreen.github.io/EarlyTom

A Predictive Law for On-Policy Self-Distillation From World Feedback

基于世界反馈的在线自蒸馏预测定律

Tommy He, Jerome Sieber, Matteo Saponati

机构 * Open-source models（开源模型） ； LiveCodeBench 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现在线自蒸馏（OPSD）中初始师生性能差距与最终性能改进之间存在线性关系，并提出一种预测定律，用于在训练前预测OPSD配置的效果。

MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models

MENTOR: 面向自回归视觉生成模型的高效多模态条件微调

Haozhe Zhao, Zefan Cai, Shuzheng Si, Liang Chen, Jiuxiang Gu, Wen Xiao, Minjia Zhang, Junjie Hu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Microsoft（微软公司） 纠错

专题命中 效率与部署 ：instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MENTOR框架，通过两阶段训练范式实现自回归图像生成器与多模态输入的细粒度token级对齐，无需辅助适配器或交叉注意力模块，在DreamBench++上取得优异性能。

Comments Findings of ACL 2026

Tiny but Trusted: Efficient Vision-Language Reasoning for Time-Series Anomaly Detection

小巧但可信：面向时间序列异常检测的高效视觉-语言推理

Xiaona Zhou, Muntasir Wahed, Tianjiao Yu, Constantin Brif, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Sandia National Laboratories（桑迪亚国家实验室） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对时间序列异常检测中缺乏自然语言解释的问题，构建VisAnomBench基准并微调参数高效的视觉-语言模型VisAnomReasoner，在准确性和泛化性上显著超越基线。

A Dual-Path Architecture for Scaling Compute and Capacity in LLMs

一种用于扩展LLMs计算和容量的双路径架构

Markus Frey, Behzad Shomali, Joachim Koehler, Mehdi Ali

机构 * Lamarr Institute（拉马尔研究所） ； Fraunhofer IAIS（弗劳恩霍夫研究所） ； University of Bonn（波恩大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 提出一种双路径块架构，通过深度子层（参数共享重复K次）和宽度子层（单次大FFN）并行扩展计算和容量，在语言建模和下游任务上超越等FLOPs基线模型，且门控机制可解释地分配每令牌路径。

Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation

通过跨语言分词器手术和离线蒸馏使多语言嵌入模型适应土耳其语

M. Ali Bayram, Banu Diri, Savaş Yıldırım

机构 * Yıldız Technical University（Yıldız技术大学） ； Istanbul Bilgi University（伊斯坦布尔比尔格大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.CL

AI总结 提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。

Comments 14 pages, 2 figures, 4 tables, Appendix included