语言大模型 / LLM

InnerQ: Hardware-Aware Tuning-Free Quantization of KV Cache for Large Language Models

InnerQ: 一种面向硬件的无需调优的KV缓存量化方法用于大语言模型

Sayed Mohammadreza Tayaranian Hosseini, Amir Ardakani, Warren J. Gross

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.LG

AI总结 本文提出InnerQ，一种面向硬件的KV缓存量化方法，旨在减少解码延迟而不影响评估性能，通过分组量化策略提高数据重用率，从而在Llama和Mistral模型上提升了少样本评估得分。

Comments 18 pages, 5 figures, 7 tables

SpaceMoE: Realizing Distributed Mixture-of-Experts Inference over Space Networks

SpaceMoE：在空间网络上实现分布式混合专家推理

Zhanwei Wang, Huiling Yang, Min Sheng, Khaled B. Letaief, Kaibin Huang

机构 * Department of Electrical and Computer Engineering, The University of Hong Kong (HKU)（香港大学电子与计算机工程系） ； State Key Laboratory of Integrated Service Networks, Institute of Information Science, Xidian University（西安电子科技大学信息科学学院集成服务网络国家重点实验室） ； Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology (HKUST)（香港科学与技术大学电子与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SpaceMoE框架，旨在解决在卫星网络中高效部署大规模LLM的挑战，通过分层专家放置策略减少延迟，实现混合专家模型在空间环境中的高效推理。

Planning in the LLM Era: Building for Reliability and Efficiency

在大语言模型时代进行规划：构建可靠性与效率

Michael Katz, Harsha Kokel, Kavitha Srinivas, Shirin Sohrabi

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了在大语言模型时代规划领域的发展，重点介绍了通过生成可验证的符号求解器来提高规划的可靠性和效率的方法。

Comments Published at ICAPS 2026

LLMs can construct powerful representations and streamline sample-efficient supervised learning

LLMs can construct powerful representations and streamline sample-efficient supervised learning

Ilker Demirel, Lawrence Shi, Zeshan Hussain, David Sontag

机构 * MIT（麻省理工学院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于LLM的代理流程，通过生成全局 rubric 来提升多模态数据的表示能力，并在15个临床任务中显著优于传统方法。

TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection

TextSeal: 一种用于溯源与蒸馏保护的本地化大语言模型水印

Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre Fernandez

机构 * FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TextSeal，一种先进的大语言模型水印技术，通过Gumbel-max采样引入双密钥生成以恢复输出多样性，并结合熵加权评分和多区域定位提升检测性能。该方法支持推测解码和多令牌预测等服务优化，不增加推理开销。在检测强度上严格优于基线方法SynthID-text，并对稀释具有鲁棒性，即使在混合的人类/AI文档中也能保持自信的本地化检测。理论上该方案无失真，经推理基准评估证实其保持下游性能；同时通过多语言人工评估（6000次A/B对比，5种语言）显示无明显质量差异。除了用于溯源检测外，TextSeal还具有'放射性'特性：其水印信号通过模型蒸馏传递，可检测未经授权的使用。

DeferMem: Query-Time Evidence Distillation via Reinforcement Learning for Long-Term Memory QA

DeferMem: 通过强化学习进行长时记忆问答的查询时证据蒸馏

Jianing Yin, Tan Tang

机构 * State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DeferMem，一种长时记忆框架，通过分离问题为高召回候选检索和查询条件证据蒸馏，以提升长时记忆问答的准确性和效率。

Comments 31 pages, 3 figures

Can AI Make Conflicts Worse? An Alignment Failure in LLM Deployment Across Conflict Contexts

AI 是否会加剧冲突？在冲突情境下LLM部署中的对齐失败

Andrii Kryshtal

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究了AI模型在冲突情境下可能产生的对齐失败问题，通过测试九种模型配置，发现其在处理冲突相关场景时存在错误等价、否认种族灭绝和未能识别种族歧视术语等问题，提出了首个评估框架以提高AI在冲突情境下的安全性。

Comments Preprint. 8 pages, 2 figures. Code and evaluation framework: https://github.com/akryshtal/conflict-sensitivity-eval-bloom

MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering

MuKV：多粒度KV缓存压缩用于长流视频问答

Junbin Xiao, Jiajun Chen, Tianxiang Sun, Xun Yang, Angela Yao

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出MuKV，一种多粒度KV缓存压缩方法，通过半分层检索方法提升长流视频问答的效率和准确性，实验表明其在答案准确率、内存使用和在线问答效率方面均优于基线方法。

Comments To appear at CVPR'26. Code is available at https://github.com/IMBALDY/MuKV

SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting

SpecBlock：带有动态树草案的块迭代推测解码

Weijie Shi, Qiang Xu, Fan Deng, Yaguang Wu, Jiarun Liu, Yehong Xu, Hao Chen, Jia Zhu, Jiajie Xu, Xiangjun Huang, Jian Yang, Xiaofang Zhou

机构 * Hong Kong University of Science and Technology（香港科技大学） ； MetaX ； Zhejiang Normal University（浙江师范大学） ； Soochow University（苏州大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 该研究提出了一种结合路径依赖性和低成本草案的块迭代草案方法SpecBlock，通过动态树草案和路径依赖机制提高LLM推理效率，同时在部署时利用验证器反馈进行成本感知适应，从而在速度和成本上均优于现有方法。

Argo: Efficient Importance Labeling for Enterprise Email Systems

Argo：企业电子邮件系统中的高效重要性标注

Siddhant Ray, Ganesh Ananthanarayanan, Kevin Chian, Yan Guo, Cristina St Hill, Jack W. Stokes, Victor Wang, Junchen Jiang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Argo框架，通过构建profiler高效搜索标注成本质量折衷空间，实现接近GPT水平的标注质量但成本显著降低，适用于大规模企业电子邮件标注。

Comments 15 pages, 19 figures

Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles

Maestro：通过强化学习协调分层模型-技能集合

Jinyang Wu, Guocheng Zhai, Ruihan Jin, Yuhao Shen, Zhengxi Lu, Fan Zhang, Haoran Luo, Zheng Lian, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Maestro框架，通过强化学习协调多模态任务，利用分层模型-技能集合提升多模态任务性能，实现高效且通用的协调策略。

Accelerating Vision Foundation Models with Drop-in Depthwise Convolution

通过可插拔的深度卷积加速视觉基础模型

Carmelo Scribano, Mohammad Mahdi, Nedyalko Prisadnikov, Yuqian Fu, Giorgia Franchini, Danda Pani Paudel, Marko Bertogna, Luc Van Gool

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； INSAIT, Sofia University ``St. Kliment Ohridski'', Sofia, Bulgaria（INSAIT，索菲亚大学『圣克莱门特·欧赫里迪斯』，索菲亚，保加利亚） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出了一种通过可插拔深度卷积层替代部分注意力头来加速大规模预训练视觉Transformer，同时保持特征提取能力，在图像分类和分割任务中实现了17-20%的推理加速且性能损失极小。

Comments Accepted at ICPR 2026

Visual-Advantage On-Policy Distillation for Vision-Language Models

基于视觉优势的在线策略蒸馏用于视觉-语言模型

Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（中国科学院大学(UCAS)先进交叉学科学院） ； Hello Group Inc.（Hello集团有限公司） ； Sun Yat-sen University（中山大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出了一种基于视觉优势的在线策略蒸馏方法，用于提升视觉-语言模型对视觉输入的依赖性，通过引入视觉优势指标来区分关键视觉token与语言token，从而提高蒸馏效果。

Improving 3D Labeling in Self-Driving by Inferring Vehicle Information using Vision Language Models

通过利用视觉语言模型推断车辆信息以改进自动驾驶中的3D标注

Steven Chen, Shivesh Khaitan, Nemanja Djuric

机构 * Aurora Innovation, Inc.（Aurora创新公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出了一种利用视觉语言模型推断车辆信息以提高自动驾驶中3D车辆标注精度的方法，通过零样本推理车辆信息，结合车辆型号和型号识别方法，提升了标注效率和质量。

Comments To appear in Proceedings of the IEEE Intelligent Vehicles Symposium (IV), 2026. Accepted for oral presentation

Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation

学习预见：揭示在线蒸馏的解锁效率

Yuchen Cai, Ding Cao, Liang Lin, Chunxi Luo, Xin Xu, Kai Yang, Weijie Liu, Saiyong Yang, Tianxiang Zhao, Guangzhong Sun, Guiquan Liu, Junfeng Fang

机构 * USTC（中国科学技术大学） ； Tencent（腾讯） ； NUS（新加坡国立大学） ； HKUST(GZ)（香港科技大学（广州）） ； UCAS-IIE（中国科学技术大学国际交流学院） ； SHU（上海大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文研究了在线蒸馏（OPD）的效率来源，提出EffOPD方法通过适应性选择 extrapolation 步长和沿当前更新方向移动来加速OPD，实现了3倍的训练加速同时保持最终性能。

GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation

GA-VLN: 用于高效视觉-语言导航的几何感知鸟瞰图表示

Jiahao Yang, Zihan Wang, Xiangyang Li, Xing Zhu, Yujun Shen, Yinghao Xu, Shuqiang Jiang

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Robbyant ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出GA-VLN框架，通过引入几何感知的鸟瞰图表示（GA-BEV），整合显式和隐式几何信息，提升视觉-语言导航的效率和性能，实验表明其在仅使用导航数据的情况下取得了最先进的结果。

Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction

用于自回归MRI重建的下一步加速尺度预测

Yilmaz Korkmaz, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出了一种基于离散多尺度潜在空间的自回归下一步加速尺度预测方法，通过引入特权信息蒸馏技术，提升了在极端欠采样下的MRI重建性能。

CausalGuard: Conformal Inference under Graph Uncertainty

CausalGuard: 在图不确定性下的契合推断

Vikash Singh, Weicong Chen, Debargha Ganguly, Yanyan Zhang, Nengbo Wang, Sreehari Sankar, Mohsen Hariri, Alexander Nemecek, Chaoda Song, Shouren Wang, Biyao Zhang, Van Yang, Erman Ayday, Jing Ma, Vipin Chaudhary

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出CausalGuard，一种结构加权的契合框架，通过聚合图条件双稳健伪结果进行校准，以在图不确定性下提供无分布的有限样本边际覆盖。

HarnessAPI: A Skill-First Framework for Unified Streaming APIs and MCP Tools

HarnessAPI: 一种以技能为中心的统一流式API和MCP工具框架

Edwin Jose

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出HarnessAPI，一种以技能为中心的框架，通过将类型化的技能文件夹作为单一真相源，消除了流式API和MCP工具之间的重复代码，减少了74%的框架层面的样板代码。

Self-Policy Distillation via Capability-Selective Subspace Projection

通过能力选择性子空间投影实现自我策略蒸馏

Guangya Hao, Yitong Shang, Yunbo Long, Zhuokai Zhao, Hanxue Liang

机构 * University of Cambridge（剑桥大学） ； HKUST（香港科技大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Self-Policy Distillation（SPD），通过从模型自身梯度中提取低维能力子空间，将关键值（KV）激活投影到该子空间，并在标准下一项预测损失下进行微调，实现了无需外部信号的通用且能力选择性的自我蒸馏方法。

ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs

ST-SimDiff：平衡时空相似性与差异以实现高效的视频理解与大语言模型

Bingjun Luo, Tony Wang, Chaoqi Chen, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ST-SimDiff框架，通过平衡时空相似性与差异来提高视频理解效率，利用时空图和双选择策略减少计算成本并提升性能。

Comments Accepted by ICLR 2026

Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models

模态迷失：评估基于文本的成员推断攻击在大型多模态模型中的有效性

Ziyi Tong, Feifei Sun, Le Minh Nguyen

机构 * Japan Advanced Institute of Science and Technology - Information Science（日本科学技术先进研究院-信息科学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文评估了基于文本的成员推断攻击（MIAs）在多模态模型中的有效性，发现其在分布内设置中表现相似，而在分布外设置中视觉输入起到正则化作用，有效掩盖了成员信号。

Comments accepted by ESANN 2026

SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents

SpecHop：连续推测用于加速多跳检索代理

Mehrdad Saberi, Keivan Rezaei, Soheil Feizi

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究如何在不改变最终轨迹的情况下加速多跳工具使用过程，提出了一种连续推测框架SpecHop，通过维护多个推测线程和异步验证预测观测来减少延迟。

High-speed Networking for Giga-Scale AI Factories

面向十亿级AI工厂的高速网络

Sajy Khashab, Albert Gran Alcoz, Alon Gal, Jacky Romano, Rani Abboud, Yonatan Piasetzky, Lior Maman, Amit Nishry, Barak Gafni, Omer Shabtai, Matty Kadosh, Dror Goldenberg, Gilad Shainer, Mark Silberstein

机构 * NVIDIA（英伟达） ； Technion - Israel Institute of Technology（技术ion-以色列理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出了一种面向大规模AI训练需求的高速网络架构，通过拓扑并行性替代传统层次结构，利用硬件加速的负载均衡技术，在微秒级动态网络条件下提供稳定性能，展示了在三大核心维度上的生产级AI基础设施性能。

Flashlight: PyTorch Compiler Extensions to Accelerate Attention Variants

Flashlight: PyTorch 编译器扩展以加速注意力变种

Bozhi You, Irene Wang, Zelal Su Mustafaoglu, Abhinav Jangda, Angélica Moreira, Roshan Dathathri, Divya Mahajan, Keshav Pingali

机构 * Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Flashlight，一种基于PyTorch的编译器框架，能够自动生成融合的FlashAttention风格内核，支持任意注意力程序，无需静态模板或预定义内核专有化，从而在保持性能的同时提供灵活性。

NasZip: Software and Hardware Co-Design to Accelerate Approximate Nearest Neighbor Search with DIMM-Based Near-Data Processing

NasZip: 软件和硬件协同设计以加速基于DIMM的近数据处理的近似最近邻搜索

Cheng Zou, Shuo Yang, Chen Nie, Yu Zou, Yu He, Chao Jiang, Limin Xiao, Weifeng Zhang, Zhezhi He

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出NasZip框架，通过结合近数据处理和基于统计的主成分分析的特征级早退技术，优化高维向量距离计算，从而在保持准确性的同时提升近似最近邻搜索的效率。

Comments 17 pages, accepted by Proceedings of the 53rd Annual International Symposium on Computer Architecture (ISCA-26)

PhysX-Omni: Unified Simulation-Ready Physical 3D Generation for Rigid, Deformable, and Articulated Objects

PhysX-Omni: 为刚体、变形体和关节物体统一的模拟准备物理3D生成

Ziang Cao, Yinghao Liu, Haitian Li, Runmao Yao, Fangzhou Hong, Zhaoxi Chen, Liang Pan, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 效率与部署 ：language model(abstract,abstract_cn)

AI总结 本文提出PhysX-Omni，一种统一的模拟准备物理3D生成框架，通过开发针对视觉-语言模型的高效几何表示和首个通用模拟准备3D数据集PhysXVerse，以及评估生成和理解能力的PhysX-Bench，显著提升了生成和理解性能，推动下游应用如具身AI和物理模拟的发展。

Comments Project page: https://physx-omni.github.io/

Layer-wise Token Compression for Efficient Document Reranking

逐层令牌压缩用于高效的文档重排序

Shengyao Zhuang, Zhichao Xu, Ivano Lauriola

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 本文提出逐层令牌压缩（LTC）方法，通过在中间Transformer层应用自适应令牌池化，提升文档重排序的效率，实验表明在中间层压缩能保持排序质量并显著提高推理吞吐量。

Comments SIGIR2026 short paper

TextTeacher: What Can Language Teach About Images?

TextTeacher: 语言能教会我们关于图像什么？

Tobias Christian Nauen, Stanislav Frolov, Brian Bernhard Moser, Federico Raue, Ahmed Anwar, Andreas Dengel

机构 * RPTU University Kaiserslautern-Landau（赖兴海大学凯撒斯劳滕-兰道分校） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出TextTeacher方法，通过将语言模型的语义知识注入到图像分类训练中，提升视觉模型的性能，同时保持推理时的模型简洁性。

Comments Published at TMLR

Journal ref Transactions on Machine Learning Research, ISSN 2835-8856, 2026

Ex-GraphRAG: Interpretable Evidence Routing for Graph-Augmented LLMs

Ex-GraphRAG：图增强大语言模型中的可解释证据路由

Yoav Kor Sade, Arvindh Arun, Rishi Puri, Steffen Staab, Maya Bechler-Speicher

机构 * Tel Aviv University（特拉维夫大学） ； Institute for AI, University of Stuttgart（人工智能研究所，斯图加特大学） ； NVIDIA（英伟达） ； Meta AI 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ex-GraphRAG，通过引入多变量图神经加法网络（M-GNAN）来解决图增强大语言模型中证据路由的可解释性问题，揭示了语义重要性与结构连通性之间的不匹配，对检索剪枝、上下文构建和失败诊断有重要影响。