语言大模型 / LLM

Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving

Nightjar: 面向大语言模型服务的动态自适应推测解码

Rui Li, Zhaoning Zhang, Libo Zhang, Huaimin Wang, Xiang Fu, Zhiquan Lai

机构 * State Key Laboratory of Complex & Critical Software Environment, National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology（复杂与关键软件环境国家重点实验室、平行与分布式计算国家实验室、计算机科学与技术学院、国防科技大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Nightjar框架，通过动态调整推测长度和主动禁用推测解码，在高低负载下优化吞吐量，最高提升14.76%。

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

基于扩散的多模态大语言模型的视觉冗余控制并行解码

Yulin Yuan, Hongshuo Zhao, Xiangming Meng

机构 * Zhejiang University（浙江大学） ； ZJUI-UIUC Institute（ZJUI-UIUC研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。

Comments 18 pages, 5 figures, preprint. Code is available at https://github.com/infiniteYuanyl/VRCD

LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference

LiveMem：在长期运行的大语言模型推理中维持记忆状态连续性

Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

机构 * Southern University of Science and Technology（南方科技大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对长期运行LLM推理中上下文切换导致状态不连续的问题，提出LiveMem方法，通过引入独立于活跃上下文的持久记忆状态，实现状态连续性，在LongMemEval等测试中表现领先。

CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing

CluCERT：通过聚类引导去噪平滑认证大语言模型的鲁棒性

Zixia Wang, Gaojie Jin, Jia Hu, Ronghui Mu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型易受对抗攻击问题，提出CluCERT框架，通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器，结合细化模块和快速同义词替换策略，提升效率，实验证明该方法在鲁棒性边界和计算效率上优于现有方法。

The Joint Effect of Quantization and Sampling Temperature on LLM Safety Alignment: A Factorial Analysis

量化和采样温度对LLM安全对齐的联合效应：一项因子分析

Hari Prasad, Ritam Pal

机构 * Conscious Engines（意识引擎） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 通过因子分析评估9个模型在3种精度和6种温度下的安全对齐，发现量化通常安全中性，而高温增加决策不稳定性，且两者无系统性叠加效应。

Comments 11 pages, 5 Figures

When Does Delegation Beat Majority? A Delegation-Based Aggregator for Multi-Sample LLM Inference

何时委托优于多数？一种基于委托的多样本LLM推理聚合器

Yasushi Sakai, Allen Song, Kent Larson

机构 * MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出基于委托的聚合器PPV，利用样本的字母熵和推理几何信号，在MMLU-Pro上比多数投票高1.5个百分点，无需标签或训练。

Comments Preprint. 16 pages, 5 figures, 4 tables

Graph Optimization Foundation Model: Tokenizing Graph via A Language-Model Paradigm

图优化基础模型：通过语言模型范式对图进行分词

Yunhao Liang, Pujun Zhang, Yuan Qu, Jingyuan Yang, Shaochong Lin, Zuo-jun Max Shen

机构 * Faculty of Engineering, The University of Hong Kong（香港大学工程学院） ； Costello College of Business, George Mason University（乔治·马歇尔大学商学院） ； Faculty of Business and Economics, The University of Hong Kong（香港大学商学院） ； College of Engineering, University of California, Berkeley（加州大学伯克利分校工程学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究旨在将预训练-迁移范式用于图优化，引入图基础模型（GFM）。通过在图随机游走路径上进行自监督预训练，使其内化图规则。该方法能有效应对多种优化挑战，实验显示其性能与专用求解器相当且推理更快，建立了图优化新范式。

SciHorizon-GENE: Benchmarking LLM for Life Sciences Inference from Gene Knowledge to Functional Understanding

SciHorizon-GENE：从基因知识到功能理解的生命科学推理基准测试

Xiaohan Huang, Meng Xiao, Chuan Qin, Qingqing Long, Jinmiao Chen, Yuanchun Zhou, Hengshu Zhu

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of the Chinese Academy of Sciences（中国科学院大学） ； DUKE-NUS Medical School, National University of Singapore（新加坡国立大学杜克-新加坡医学学校） ； Singapore Immunology Network, Agency for Science, Technology and Research（新加坡免疫网络，科技研究局） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在基因级推理能力上的不足，构建了包含超过19万个人类基因和54万问题的基准SciHorizon-GENE，从研究关注敏感性、幻觉倾向、答案完整性和文献影响力四个生物学关键维度评估模型，揭示了模型在生成忠实、完整且基于文献的功能解释方面的持续挑战。

Comments Accepted by SIGKDD 2026. 12 pages

Database Normalization via Dual-LLM Self-Refinement

通过双LLM自精炼的数据库规范化

Eunjae Jo, Nakyung Lee, Gyuyeong Kim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Miffie框架，利用双模型自精炼架构和大语言模型实现数据库自动规范化，无需人工干预且保持高准确率。

Comments 7 pages

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

Instruction-Conditioned Exploration for Reinforcement Learning with Self-Distillation to an Unconditioned Policy

基于非对称强化学习与自蒸馏的指令条件探索

Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究针对LLM强化学习中的探索挑战，提出指令条件探索（ICE）方法，结合非对称RL/SD训练目标，使Qwen3-1.7B数学推理性能提升5.0%且长上下文下仍有效。

Comments Submitted to ACL Rolling Review (ARR) May 2026 cycle. OpenReview submission record at https://openreview.net/forum?id=PV945lekMa

OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models

OmniScope：用于全模态大语言模型的模态解耦令牌压缩

Jinsen Su, Yongdong Luo, Yuexiao Ma, Yibo Hu, Meiguang Jin, Xiawu Zheng

机构 * Media Analytics and Computing Lab, Xiamen University（厦门大学媒体分析与计算实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对全模态大语言模型令牌压缩问题，提出无需训练的OmniScope框架，以查询为语义锚点分别估计音频和视频相关性，分配特定模态预算并采用相应策略处理，在多基准和模型规模上效果佳，实现加速和内存减少，提出跨模态推理设计原则。

Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging

用扩散张量成像可视化词嵌入中的信息流

Thomas Fabian

机构 * Technical University Darmstadt（达姆斯塔特技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。

SkipOPU: An FPGA-based Overlay Processor for Large Language Models with Dynamically Allocated Computation

SkipOPU：一种基于FPGA的覆盖处理器，用于具有动态分配计算的大型语言模型

Zicheng He, Anhao Zhao, Xiaoyu Shen, Chen Wu, Lei He

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出SkipOPU，一种基于FPGA的覆盖处理器，通过轻量级路由机制动态分配计算，提升大型语言模型推理效率，减少冗余计算并降低存储开销。

Comments 28 pages, 10 figures, accepted by TRETS

Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts

Nested-ReFT：通过离策略展开实现大语言模型微调的高效强化学习

Maxime Heuillet, Yufei Cui, Boxing Chen, Audrey Durand, Prasanna Parthasarathi

机构 * Mila - Québec AI Institute, Canada（魁北克人工智能研究所） ； Huawei Noah's Ark Lab (Montreal Research Center), Canada（华为诺亚实验室（蒙特利尔研究中心）） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型在数学推理等领域的高级推理难题，提出Nested-ReFT框架，利用离策略展开及动态层跳过降低训练推理成本，经理论与实证分析验证其有效性，还探索偏差缓解变体以维持性能。

A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models

基于离散扩散的多模态大语言模型中视觉标记冗余的综合研究

Duo Li, Zuhao Yang, Xiaoqin Zhang, Ling Shao, Shijian Lu

机构 * CCDS, NTU, Singapore（南洋理工大学新加坡分校） ； CCST, ZJUT, China（浙江工业大学中国分校） ； Terminus AI Lab, UCAS, China（中国科学院大学人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究系统分析了离散扩散多模态大语言模型中视觉标记冗余的演化规律，发现其仅出现在从头训练的模型处理长答案任务时，并验证了视觉标记剪枝会导致信息损失，而层跳过和渐进剪枝分别适用于不同架构的加速。

Comments Accepted by CVPR 2026

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026, pp. 2823-2833

Branch-and-Browse: Efficient and Controllable Web Exploration with Tree-Structured Reasoning and Action Memory

Branch-and-Browse：具有树状推理与动作记忆的高效可控网页探索

Shiqi He, Yue Cui, Xinyu Ma, Yaliang Li, Bolin Ding, Mosharaf Chowdhury

机构 * University of Michigan（密歇根大学） ； Alibaba Group（阿里巴巴集团） ； McMaster University（麦马斯特大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Branch-and-Browse框架，通过树状结构化推理、网页状态重放和页面动作记忆，实现LLM网页代理的高效可控多分支探索，在WebArena上成功率35.8%，执行时间降低40.4%。

Can Small GenAI Language Models Rival Large Language Models in Understanding Application Behavior?

小型 GenAI 语言模型能否在理解应用程序行为方面与大型语言模型相媲美？

Mohammad Meymani, Hamed Jelodar, Parisa Hamedi, Roozbeh Razavi-Far, Ali A. Ghorbani

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 系统评估小型和大型 GenAI 语言模型在理解应用程序行为（以恶意软件检测为代表任务）上的能力，发现小型模型在精度和召回率上保持竞争力，且计算效率更高，适合资源受限环境。

Memorization Dynamics in Knowledge Distillation for Language Models

知识蒸馏中语言模型的知识记忆动态

Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Meta Central Applied Science（Meta中央应用科学） ； FAIR at Meta（Meta的FAIR） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本研究探讨了知识蒸馏中语言模型的知识记忆动态，发现蒸馏模型比标准微调记忆更少，且硬蒸馏方法风险更高。

Efficient Chain-of-Modality Reasoning via Progressive Compression for Spoken Language Models

通过渐进压缩实现口语语言模型的高效模态链推理

Pengchao Feng, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Xie Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Token Foundry, Alibaba Group（阿里巴巴集团淘系技术） 纠错

专题命中 效率与部署 ：language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 针对口语语言模型推理能力落后问题，提出高效模态链推理（ECoM推理），通过压缩文本组件提高推理准确性，并用渐进压缩策略训练，实验显示其在口语数学问答基准测试中，增强推理且保持效率，准确率提升显著。

Cross-Lingual Token Arbitrage: Optimizing Code Agent Context Windows via Local LLM Preprocessing

跨语言令牌套利：通过本地LLM预处理优化代码智能体上下文窗口

Mehmet Utku Colak

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种预处理的边缘端提示重写中间件，利用本地Llama 3.2模型进行跨语言翻译和结构重写，在保持或提升任务准确率的同时减少34-47%的提示令牌和最高18.8%的总令牌消耗。

Comments Updated References

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

云到边缘：在硬件加速的单板计算机上评估大语言模型推理

Harri Renney, Fouad Trad, Michael Mattarock, Jayden Evetts, Zena Wood

机构 * Kaze Technologies（凯兹技术） ； Kaze Consulting（凯兹咨询） ； Electrical and Computer Engineering（电气与计算机工程） ； Lebanese American University（黎巴嫩美国大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种多维评估方法，评估四种物联网适用的边缘平台配置，测试最新硬件加速器的单板计算机，揭示硬件加速器在隐私敏感和连接受限环境中的优势。

KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing

KBF：知识边界作为语言模型和黑盒API审计的指纹

Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

机构 * Beihang University China（北航中国） ； Xidian University China（西电中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 提出KBF协议，利用知识边界附近的稳定数值召回率作为指纹，低成本黑盒审计模型API，检测替代和混合路由攻击。

LLM-Extracted Covariates for Clinical Causal Inference: Rethinking Integration Strategies

基于大语言模型的协变量用于临床因果推断：重新思考整合策略

Lei Liu, Jialin Chen, Kathy Macropol

机构 * Department of Computer Science and Mathematics（计算机科学与数学系） ； Arcadia University（阿卡迪亚大学） ； Department of Computer Science（计算机科学系） ； Yale University（耶鲁大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究如何利用大语言模型提取的协变量提升临床因果推断效果，通过比较七种整合策略，发现直接增强倾向分数模型的性能最佳，且在真实数据中验证了其有效性。

Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade

从一开始就注定失败：通过召回控制的探测级联实现大语言模型智能体情节的早期终止

Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Jinghao Lin, Xuan Wang, Hao Sun

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Duke University（杜克大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； College of Computer Science, Zhejiang University（浙江大学计算机学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型智能体多步任务中早期失败预测问题，提出通过召回控制的探测级联方法，能早期预测失败并转化为实用终止级联，在TextCraft模型上达到高召回目标，节省大量推理计算资源，还刻画了样本复杂度。

Fair Document Valuation in LLM Summaries via Shapley Values

通过沙普利值实现大语言模型摘要中的公平文档评估

Zikun Ye, Hema Yoganarasimhan

机构 * University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型摘要中公平文档评估与补偿问题，提出基于沙普利值的框架，开发聚类沙普利值方法，在亚马逊产品评论数据上提升效率与准确性，且与多种因素无关，广泛适用于不同总结设置。

ProbeLogits: Kernel-Level LLM Inference Primitives for AI-Native Operating Systems

ProbeLogits：面向AI原生操作系统内核级的LLM推理原语

Daeyeon Son

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出ProbeLogits，一种在操作系统内核层面执行单次前向传递并读取特定token logit的原语，用于分类代理行为的安全性，通过校准强度alpha实现部署时的策略控制，提升安全性与效率。

Comments 18 pages, 13 tables

SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale

SkillDAG：面向大规模LLM技能选择的自演化类型化技能图

Tong Bai, Zhenglin Wan, Pengfei Zhou, Xingrui Yu, Yang You, Ivor W. Tsang

机构 * Fudan University（复旦大学） ； National University of Singapore（国立新加坡大学） ； CFAR A*STAR 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出SkillDAG，通过类型化有向图建模技能间关系，并作为推理时可调用的结构化检索接口，支持在线演化，在ALFWorld和SkillsBench上显著超越基线。

Comments 19 pages, 5 figures

When Less Latent Leads to Better Relay: Information-Preserving Compression for Latent Multi-Agent LLM Collaboration

少而精的潜在信息带来更好的中继：面向潜在多智能体大语言模型协作的信息保持压缩

Yiping Li, Zhiyu An, Wan Du

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种信息保持压缩方法，通过引入正交回填机制，在减少通信开销的同时保持信息完整性，提升了多智能体大语言模型协作性能。

Executing as You Generate: Hiding Execution Latency in LLM Code Interpreters

边生成边执行：在LLM代码解释器中隐藏执行延迟

Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo

机构 * Singapore Management University Singapore（新加坡国立管理学院新加坡） ； Beihang University China（北航大学中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出并行执行范式，通过将生成、检测和执行三阶段流水线化，在代码生成过程中提前执行，显著降低端到端延迟。

Comments 10 pages