语言大模型 / LLM

Efficient, VRAM-Constrained xLM Inference on Clients

高效、受限于VRAM的xLM客户端推断

Aditya Ukarande, Deep Shekhar, Marc Blackstein, Ram Rangan

机构 * Microsoft Corporation（微软公司） ； NVIDIA Corporation（英伟达公司） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出pipelined sharding技术，通过CPU-GPU混合调度优化xLM在客户端的高效推断，提升TTFT和TPS性能，适用于LLM和VLM。

Comments Accepted at MLSys 2026 (Industry Track). 17 pages, 7 figures, 9 tables. Code and artifacts available at: https://github.com/deepshnv/pipeshard-mlsys26-ae

Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding

通过系统集成的推测解码加速RL训练后的 rollout

Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani

机构 * NeMo-RL ； vLLM 纠错

专题命中 效率与部署 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了通过系统集成的推测解码技术提升RL训练后rollout效率的方法，展示了在大规模模型上实现1.8倍的吞吐量提升，并通过模拟预测异步RL可实现2.5倍的训练加速。

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

通过压缩镜头：探讨量化对事实知识回忆的影响

Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

机构 * Quality and Usability Lab, Technische Universität Berlin（柏林技术大学质量与可用性实验室） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Saarland Informatics Campus（萨尔州信息学院） ； LMU Munich（慕尼黑大学） ； Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过量化技术对大型语言模型的事实知识回忆能力影响，发现量化导致信息损失，但部分模型在低精度下表现更优，BitSandBytes保留最多原始精度的知识回忆能力。

Comments TrustNLP @ ACL 2026; camera-ready version

Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model

Saber: 一种高效的采样方法，具有自适应加速和回溯增强的重新遮蔽，用于扩散语言模型

Yihong Dong, Zhaoyu Ma, Xue Jiang, Zhiyuan Fan, Jiaru Qian, Yongmin Li, Jianha Xiao, Zhi Jin, Rongyu Cao, Binhua Li, Fei Huang, Yongbin Li, Ge Li

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Tongyi Lab, Alibaba Group（阿里云实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Saber算法，通过动态调整每步未遮蔽令牌数量和回溯机制提升代码生成的推理速度和输出质量，实验显示在多个基准上Pass@1准确率提升1.9%，推理速度提升251.4%。

Comments Accepted to ACL 2026 (main)

ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

ReGATE：通过减少令牌数在MLLMs中实现更快更好的学习

Chaoyu Li, Yogesh Kulkarni, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ReGATE通过参考引导的自适应令牌消除方法加速MLLM训练，减少计算量同时保持模型准确性，在多个基准测试中表现出色。

Comments ACL 2026. Project page: https://people-robots.github.io/regate

Integrating Weather Foundation Model and Satellite to Enable Fine-Grained Solar Irradiance Forecasting

融合天气基础模型与卫星实现精细化太阳能辐照度预报

Ziqing Ma, Kai Ying, Xinyue Gu, Tian Zhou, Tianyu Zhu, Haifan Zhang, Peisong Niu, Zheng Wang, Cong Bai, Liang Sun

机构 * DAMO Academy, Alibaba Group（阿里集团达摩院） ； College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Baguan-solar框架，融合全球天气基础模型与高分辨率静止卫星图像，实现千米级24小时辐照度预报，优于现有基准模型，降低RMSE 16.08%。

OpenSOC-AI: Democratizing Security Operations with Parameter Efficient LLM Log Analysis

OpenSOC-AI：通过参数高效的大语言模型日志分析民主化安全运营

Chaitanya Vilas Garware, Sharif Noor Zisad

专题命中 效率与部署 ：LLM(title)；language model(abstract)

AI总结 本文提出OpenSOC-AI，利用参数高效微调的11亿参数语言模型，实现自动化威胁分类、MITRE ATT&CK技术映射和严重性评估，提升中小企业安全运营能力。

Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

推理时的验证扩展：通过测试时的评分指南验证实现自我进化深度研究代理

Yuxuan Wan, Tianqing Fang, Zaitang Li, Yintong Huo, Wenxuan Wang, Haitao Mi, Dong Yu, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯人工智能实验室） ； Singapore Management University（新加坡管理学院） ； The Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文提出通过测试时评分指南验证实现深度研究代理的自我进化，通过迭代验证策略模型输出，提升验证能力，实验显示在GAIA和XBench-DeepSearch上准确率提升8%-11%。

Comments ACL'2026-Findings

Inferix: A Block-Diffusion based Next-Generation Inference Engine for World Simulation

Inferix：基于块扩散的下一代世界模拟推理引擎

Inferix Team, Tianyu Feng, Yizeng Han, Jiahao He, Yuanyu He, Xi Lin, Teng Liu, Hanfeng Lu, Jiasheng Tang, Wei Wang, Zhiyuan Wang, Jichao Wu, Mingyang Yang, Yinghao Yu, Zeyu Zhang, Bohan Zhuang

机构 * Inferix Team（Inferix 团队） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 Inferix 是一种基于块扩散的下一代推理引擎，通过优化半自回归解码过程实现沉浸式世界合成，支持交互式视频流和性能分析，结合 LV-Bench 提供高效评估。

How Do AI Agents Spend Your Money? Analyzing and Predicting Token Consumption in Agentic Coding Tasks

AI代理如何花费你的钱？分析和预测代理编码任务中的令牌消耗

Longju Bai, Zhemin Huang, Xingyao Wang, Jiao Sun, Rada Mihalcea, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei

机构 * University of Michigan（密歇根大学） ； Stanford University（斯坦福大学） ； All Hands AI ； Google Deepmind（谷歌DeepMind） ； Microsoft AI（微软AI） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文研究了代理编码任务中令牌消耗模式，发现代理任务消耗远高于代码推理和代码聊天，且模型在任务执行前难以准确预测自身令牌使用。

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH：用于LLMs的可学习分块混合稀疏性

Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 PATCH通过可学习的分块混合稀疏性方法，在LLMs中实现连续稀疏率控制，提升模型效率与精度。

Enforcing Benign Trajectories: A Behavioral Firewall for Structured-Workflow AI Agents

强制良性轨迹：一种用于结构化工作流AI代理的行为防火墙

Hung Dang

机构 * Van Lang University（范朗大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于 telemetry 的行为异常检测防火墙，通过构建参数化确定性有限自动机来限制工具调用序列，从而降低攻击成功率，同时保持低延迟和低误报率。

Student Guides Teacher: Weak-to-Strong Inference via Spectral Orthogonal Exploration

学生指导教师：通过频谱正交探索实现弱到强推断

Dayu Wang, Jiaye Yang, Weikang Li, Jiahui Liang, Yang Li, Deguo Xia, Jizhou Huang

机构 * Baidu Inc.（百度公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Spectral Orthogonal Exploration框架，通过正交探针引入语义异质性推理信号，提升数学推理任务的准确率和采样效率。

Comments Accepted to ACL 2026 Main Conference

Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match

无需训练的宽松推测解码：在精确匹配之外接受语义正确的草稿

Jinze Li, Yixing Xu, Guanchen Li, Shuo Yang, Jinfeng Xu, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（先进微器件公司） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出无需训练的宽松推测解码方法FLy，通过利用目标模型的自我纠正行为来判断草稿-目标不匹配是否仍具有语义有效性，从而在保持高精度的同时提升解码效率。

Comments Published as a conference paper at ICLR 2026

ToolPRM: Fine-Grained Inference Scaling of Structured Outputs for Function Calling

ToolPRM：用于函数调用的结构化输出细粒度推理扩展

Jianghao Lin, Yuanyuan Shi, Xin Peng, Renjie Ding, Hairui Wang, Yuxuan Peng, Bizhe Bai, Weixi Song, Fengshuo Bai, Huacan Chai, Weinan Zhang, Fei Huang, Ying Wen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Longshine AI Research（长 Shine 人工智能研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ToolPRM框架，结合细粒度束搜索与过程奖励模型，提升结构化输出的推理扩展能力，并通过细粒度监督数据集改进函数调用性能。

Comments ACL 2026 (main)

LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation

LogitSpec: 通过下下个token推测加速基于检索的推测解码

Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 LogitSpec通过扩展检索范围和利用logit预测下下个token，提升检索基于解码的效率，实现2.61倍加速和3.28个接受token/解码步。

Efficient Listwise Reranking with Compressed Document Representations

高效列表级重排序与压缩文档表示

Hervé Déjean, Stéphane Clinchant

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出RRK方法，通过压缩文档为多token固定大小嵌入表示，实现高效有效的列表级重排序，在参数较少的情况下提升了效率和效果。

Provably Secure Steganography Based on List Decoding

可证明安全的基于列表解码的隐写术

Kaiyi Pang, Minhao Bai

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出一种基于列表解码的可证明安全隐写术，通过高效利用信息内容提升隐写容量，采用后缀匹配机制确保正确性，实验表明其在效率与容量上优于现有方案。

Rule-based High-Level Coaching for Goal-Conditioned Reinforcement Learning in Search-and-Rescue UAV Missions Under Limited-Simulation Training

基于规则的高层指导用于受限模拟训练下的搜索救援无人机任务中的目标条件强化学习

Mahya Ramezani, Holger Voos

机构 * Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg.（自动化与机器人研究组，安全、可靠性与信任 interdisciplinary centre（SnT），卢森堡大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种分层决策框架，结合固定规则的高层顾问和在线目标条件强化学习控制器，通过减少碰撞终止提升早期安全性和样本效率。

QERNEL: a Scalable Large Electron Model

QERNEL：一种可扩展的大型电子模型

Khachatur Nazaryan, Liang Fu

机构 * Department of Physics, Massachusetts Institute of Technology, Cambridge, MA-02139,USA（麻省理工学院物理系） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 QERNEL通过结合FiLM参数条件和高效架构元素，以低计算成本提升表达能力，用于半导体莫尔异质双层中电子相互作用研究，发现量子液态与晶体态之间的突变相变。

Comments 6 pages, 4 figures

Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence

关联状态通用变换器：稀疏检索与结构递归的结合

Liu Xiao

机构 * Apple MPS（苹果MPS） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出UniMatrix系列模型，通过结构递归状态和稀疏检索机制，在保持参数效率的同时提升语言模型性能，但长程行为仍需进一步优化。

Edge AI for Automotive Vulnerable Road User Safety: Deployable Detection via Knowledge Distillation

边缘AI用于汽车易损道路使用者安全：通过知识蒸馏实现可部署检测

Akshay Karjol, Darrin M. Hanna

机构 * Department of Electrical and Computer Engineering, Oakland University（奥克兰大学电气与计算机工程系） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出通过知识蒸馏方法，在边缘硬件上部署准确的易损道路使用者检测，通过压缩模型并保持量化鲁棒性，提升检测性能。

Comments 6 pages, 3 figures

SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding

SpecTr-GBV：多草稿块验证加速推测解码

Yijun Lin, Jinhao Sheng, Qingyue Cai, Feng Zhou

机构 * Center for Applied Statistics（应用统计中心） ； School of Statistics, Renmin University of China（中国人民大学统计学院） ； School of Intelligent Medicine, China Medical University（中国医科大学智能医学学院） ； Beijing Advanced Innovation Center for Future Blockchain（北京未来区块链与隐私计算先进创新中心） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 SpecTr-GBV通过统一多草稿与贪婪块验证，提升推测解码的效率和性能，实现理论和实验上的双重优化。

Semantic Error Correction and Decoding for Short Block Codes

语义纠错与解码用于短块码

Jiafu Hao, Chentao Yue, Wanchun Liu, Branka Vucetic, Yonghui Li

机构 * School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 本文提出一种语义增强的接收框架，用于通过噪声无线信道传输自然语言句子，利用多种短块码。在接收端，通过语义纠错模型重构损坏段落，并提出语义列表解码和语义置信度引导的HARQ机制，提升传输性能。

Comments 13 pages

VLN-Cache: Enabling Token Caching for VLN Models with Visual/Semantic Dynamics Awareness

VLN-Cache: 通过视觉/语义动态感知实现VLN模型的令牌缓存

Zihao Zheng, Zhihao Mao, Xingyue Zhou, Jiayu Chen, Maoliang Li, Xinhao Sun, Hailong Zou, Zhaobo Zhang, Xuanzhe Liu, Donggang Cao, Hong Mei, Xiang Chen

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学系） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学系） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 本文提出VLN-Cache框架，通过视觉动态感知和语义动态感知解决VLN模型中因视角和语义变化导致的缓存失效问题，实验显示在R2R-CE模拟基准上实现1.52倍的速度提升。

Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization

桥接：基于基础的因果推断融合视觉基础模型以实现领域泛化

Mingbo Hong, Feng Liu, Caroline Gevaert, George Vosselman, Hao Cheng

机构 * University of Twente（代尔夫特理工大学） ； Drexel University（德雷塞尔大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 本文提出Bridge框架，通过因果推断与视觉基础模型结合，解决领域泛化中因分布差异导致的性能下降问题，通过学习低秩基并过滤冗余信息提升检测性能。

Comments Accepted by CVPR 2026

StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding

StreamAgent：面向流视频理解的前瞻性代理

Haolin Yang, Feilong Tang, Lingxiao Zhao, Xinlin Zhuang, Yifan Lu, Xiang An, Ming Hu, Xiaofeng Zhang, Abdalla Swikir, Junjun He, Zongyuan Ge, Muhammad Haris Khan, Imran Razzak

机构 * MBZUAI ； Shanghai AI Laboratory（上海人工智能实验室） ； DeepGlint ； Shanghai Jiao Tong University（上海交通大学） ； Monash University（墨尔本大学） 纠错

专题命中 效率与部署 ：prompting(abstract)

AI总结 本文提出StreamAgent，通过整合问题语义和历史观测，预测关键事件的时间进展，调整感知动作，提升流视频处理的响应准确性和实时效率。

Adaptive Transform Coding for Semantic Compression

语义压缩的自适应变换编码

Andriy Enttsel, Vincent Corlay

机构 * Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 本文提出一种自适应变换编码方法，用于语义特征压缩，通过高斯混合模型的条件率-失真函数指导，实现高效编码异质特征分布，实验表明其优于或与现有神经压缩方法相当，同时保持灵活性和可解释性。

Comments 7 pages, 4 figures

Last-Layer-Centric Feature Recombination: Unleashing 3D Geometric Knowledge in DINOv3 for Monocular Depth Estimation

以最后一层为中心的特征重组：在DINOv3中释放3D几何知识以进行单目深度估计

Gongshu Wang, Zhirui Wang, Kan Yang

机构 * Princeton University（普林斯顿大学） ； Springer Heidelberg（斯普林格海德堡） ； ABC Institute（ABC研究所） ； Aerospace Information Research Institute Chinese Academy of Sciences（中国科学院航天信息研究所） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 本文提出LFR模块，通过以最后一层为中心重组特征，提升单目深度估计的几何表达能力，实验表明其在密集3D任务中表现优异。

Comments 18page, 6 figure, 6 table

PASR: Pose-Aware 3D Shape Retrieval from Occluded Single Views

PASR：基于遮挡单视图的姿态感知3D形状检索

Jiaxin Shi, Guofeng Zhang, Wufei Ma, Naifu Liang, Adam Kortylewski, Alan Yuille

机构 * Shanghai Jiao Tong University（上海交通大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 PASR通过将2D基础模型知识蒸馏到3D编码器，解决单视图3D形状检索中姿态感知与遮挡问题，实现更鲁棒的检索与多任务能力。