语言大模型 / LLM

Generative Augmented Inference of LLM-generated Data for Market Research: Theory and Empirical Evidence

生成式增强推断

Cheng Lu, Mengxin Wang, Dennis J. Zhang, Heng Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出生成式增强推断（GAI）框架，将AI输出视为学习真实标签的高维信息特征而非代理，通过非参数方法建模，实现人机数据联合的一致估计和有效推断，在随机标注下渐近效率严格优于仅用人类数据。

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

用于消费级设备上混合CPU - GPU大语言模型推理的自动张量调度

Yangyijian Liu, Hongyi Ye, Mingyang Li, Wu-jun Li

机构 * School of Computer Science, Nanjing University（南京大学计算机科学学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题，提出ATSInfer系统，通过结合静态张量放置与负载感知动态传输及异步协调，在代表性平台评估，相比现有系统显著提升吞吐量、利用率等，改善本地大语言模型部署体验。

Litespark Inference For CPUs: Ultra-Fast SIMD Framework for Ternary (1.58-bit) Language Models

Litespark Inference For CPUs: 三元（1.58位）语言模型的超快SIMD框架

Nii Osae Osae Dade, Tony Morri, Moinul Hossain Rahat, Sayandip Pal, Rickston Pinto

机构 * Mindbeam AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对三元语言模型权重为{-1,0,1}的特点，提出自定义SIMD内核，用加减运算替代矩阵乘法，在CPU上实现18-96倍加速和6倍内存减少。

From Indiscriminate to Targeted: Functionally Critical Signal-Driven Assertion Generation using LLMs for Efficient RTL Verification

从盲目到定向：通过功能关键信号驱动的LLM断言生成实现高效的RTL验证

Yonghao Wang, Hongqin Lyu, Boling Chen, Jiaxin Zhou, MinYang Bao, Wenchao Ding, Feng Gu, Zhiteng Chao, Jianan Mu, Kan Shi, Tiancheng Wang, Huawei Li

专题命中 效率与部署 ：LLM(title_cn,summary_cn)

AI总结 本文提出AgileAssert框架，通过构建RTL语义图并识别关键信号，指导LLM生成定向断言，提升验证效率，减少断言数量并提高覆盖率。

Comments 11 pages, 9 figures

The CodeInverter Suite: Structure- and Data-Aware Binary Decompilation with Efficient LLMs

CodeInverter工具套件：基于结构与数据感知及高效大语言模型的二进制反编译技术

Peipei Liu, Jian Sun, Rongkang Sun, Li Chen, Zhaoteng Yan, Xiaoling Zhang, Dawei Wang, Dapeng Sun, Peizheng Zhang, Dan Li

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对现有LLM反编译方法在结构重构、数据恢复等方面的不足，本文提出含CIW、CID、CIMs的CodeInverter套件，经实验验证可显著提升反编译性能，CIM-6.7B达最优效果

VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression

VisCo：利用大语言模型作为视觉令牌压缩的内在编码器

Yupeng Zheng, Kai Zou, Bin Liu, Nenghai Yu

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)

AI总结 研究针对视觉语言模型处理视觉令牌时的高成本问题，提出训练高效的自压缩框架VisCo，将预训练VLM用作内在压缩器，通过参数共享自动编码器压缩视觉信息，实验证明其在压缩率上超先前方法，还能捕获互补表示改进基础模型。

Comments Accepted by ACM MM 2026

Knowledge-Driven Hybrid SSD Management Enhanced by Fine-Tuned LLMs

微调大语言模型（LLMs）增强的知识驱动混合固态硬盘（SSD）管理

Qian Wei, Yi Li, Zehao Chen, Tianren Zhou, Zhaoyan Shen, Dongxiao Yu, Bingzhe Li

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出LLM-hybridSSD框架，将混合SSD管理转化为参数调优问题，结合LLM与强化学习优化，使吞吐量平均提升58.92%、写放大降低28.56%。

Comments DAC 2026

Large Language Models, Encoder Architectures and Hybrid Approaches for Patent Classification

大型语言模型在专利分类中的应用：优势、权衡与长尾效应

Lorenzo Emer, Marco Lippi, Andrea Mina, Andrea Vandin

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)

AI总结 本文比较了基于编码器和LLMs在专利分类中的表现，发现编码器在常见类别表现更好，而LLMs在罕见类别表现更优，两者互补，且编码器更高效。

Comments 44 pages, 8 figures

Breaking the Rounding Trap: Securing LLMs against Quantization-Conditioned Backdoors

打破舍入陷阱：保护LLM免受量化条件后门攻击

Aoying Zheng, Anqi Du, Zizhuang Deng, Yuxuan Chen

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出QuantGuard方法，通过可微舍入控制变量和误差引导的舍入反转约束等机制，在仅使用少量校准数据且不修改量化算法的情况下，阻断后门激活路径，有效降低攻击成功率至接近干净模型水平。

When Models Meet Users: An Empirical Study of Perceptions of General LLMs and Multimodal LLMs on Hugging Face

对Hugging Face上通用大语言模型和多模态大语言模型感知的实证研究

Yujian Liu, Xiao Yu, Jacky Keung, Xing Hu, Xin Xia, Xiaoxue Ma

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过分析Hugging Face上662条讨论帖，揭示用户对LLM的主要关注点，包括访问障碍、生成质量及部署复杂性，并提出改进LLM生态系统的建议。

LLMs Meet Isolation Kernel: Lightweight, Learning-free Binary Embeddings for Fast Retrieval

LLMs 与隔离内核：轻量、无学习的二进制嵌入用于快速检索

Zhibo Zhang, Yang Xu, Kai Ming Ting, Cam-Tu Nguyen

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出无学习的隔离内核嵌入（IKE），将LLM嵌入转换为二进制嵌入，实现低内存和快速检索，实验显示其检索速度提升16.7倍，内存使用降低16倍，同时保持相似精度。

Comments Accepted to ACL 2026

ThunderAgent: A Simple, Fast and Program-Aware Agentic Inference System

ThunderAgent: 一个简单、快速且程序感知的智能推理系统

Hao Kang, Ziyang Li, Weili Xu, Xinyu Yang, Yinfang Chen, Junxiong Wang, Beidi Chen, Tushar Krishna, Chenfeng Xu, Simran Arora

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出ThunderAgent系统，通过LLM程序抽象统一管理KV缓存和工具资源，实现程序感知调度，在编码、路由和科学发现任务中吞吐量提升1.5-3.9倍，磁盘内存节省高达4.2倍。

Scaling up FHE-based Privacy-Preserving ML: Higher Throughput, Longer Inputs for LLama-3-8B

扩展基于FHE的隐私保护机器学习：LLama-3-8B的更高吞吐量和更长输入

Jaiyoung Park, Sejin Park, Jai Hyun Park, Jung Ho Ahn, Jung Hee Cheon, Guillaume Hanrot, Jung Woo Kim, Minje Park, Damien Stehlé

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对FHE-based LLM推理中输入长度扩展性差和非线性层评估受异常值影响的问题，采用令牌预置、正交旋转和稀疏密文多项式求值方法，结合快速同态线性代数技术，实现128加密令牌推理加速，并扩展至数千令牌的异构输入，在Llama-3-8B上取得显著性能提升。

ChatModel: Automating Reference Model Design and Verification with LLMs

ChatModel: 利用LLMs自动化参考模型设计与验证

Jianmin Ye, Tianyang Liu, Qi Tian, Shengchu Su, Zhe Jiang, Xi Wang

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出ChatModel平台，通过设计标准化和分层敏捷建模，利用LLM自动生成参考模型，在300个设计上验证，效率提升最高58.99%，验证周期加速7.11倍。

KronQ: LLM Quantization via Kronecker-Factored Hessian

KronQ：通过克罗内克分解海森矩阵进行大语言模型量化

Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究提出KronQ框架，通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似，在两个层面改进量化：双向非相干处理减少权重幅度方差，导出新敏感度度量用于层间混合精度分配，在特定量化任务中表现优于GPTQ等。

Comments COLM 2026

TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving

TokTier：面向智能体大语言模型服务的精确有状态分词方案

Zhenyu Zhang, Zhichao Cao

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本研究提出TokTier，一种面向智能体LLM服务的精确有状态分词方案，通过增量修复、GPU加速分词等技术，将首次令牌生成时间降低16%-34%，饱和请求速率提升至1821次/秒，性能远超现有方案。

Comments 26 pages. Code: https://github.com/asu-idi/toktier

When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

当压缩分数无法做出决策时：群体鲁棒大语言模型剪枝的信息边界

Andrew Zhang

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对压缩统计量无法准确选择群体鲁棒 LLM 剪枝候选的问题，通过信息接口建模偏差，提出粗粒度深度分配等方法，实现最差群体困惑度与 KL 散度降低，提升剪枝效果。

Comments 19 pages, 6 figures, 1 table

DSevolve: Enabling Real-Time Adaptive Scheduling on Dynamic Flexible Job Shop with LLM-Evolved Heuristic Portfolios

DSevolve：基于LLM进化启发式组合的动态车间实时自适应调度框架

XinLei Zhou, Jin Huang, Jie Yang, Xinyu Li, Liang Gao

机构 * School of Mechanical Science and Engineering, Huazhong University of Science and Technology（华中科技大学机械科学与工程学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出DSevolve框架，通过离线进化高质量调度规则组合并在突发扰动时快速部署，优于现有AHD框架和经典调度规则，解决动态车间调度的适应性问题。

DORA: A Scalable Asynchronous Reinforcement Learning System for Language Model Training

DORA：一种用于语言模型训练的可扩展异步强化学习系统

Tianhao Hu, Xiangcheng Liu, Yuchun Miao, Youshao Xiao, Hongyu Zang, Yang Zheng, Xuan Huang, Jinrui Ding, Yufei Zhang, Yu Yang, Yi-Kai Zhang, Yueqing Sun, Chengcheng Han, Xiandi Ma, Wei Wang, Qi Gu, Yerui Sun, Yuchen Xie, Xunliang Cai

机构 * Meituan, China（美团（中国）） 纠错

专题命中 效率与部署 ：language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 DORA通过算法-系统协同设计解决异步训练中长尾轨迹问题，提升训练效率并保持收敛性，实验表明其在开源基准和工业应用中均显著提升强化学习训练速度。

NITP: Next Implicit Token Prediction for LLM Pre-training

NITP：面向LLM预训练的下一隐式令牌预测

Xiangdong Zhang, Debing Zhang, Shaofeng Zhang, Xiaohan Qin, Yu Cheng, Junchi Yan

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Xiaohongshu Inc.（小红书公司） ； The Chinese University of Hong Kong（香港中文大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出NITP方法，通过在表示空间中添加密集连续监督来增强离散令牌预测，以解决标准下一令牌预测中潜在表示空间约束不足的问题，并在0.5B至9B参数模型上取得一致性能提升。

Comments Accepted at ICML 2026

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

GenRecal：从大到小视觉语言模型的校准后生成

Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

机构 * NVIDIA ； KAIST（韩国成均馆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 提出GenRecal通用蒸馏框架，通过校准器对齐异构VLM特征，实现从大到小模型的有效知识迁移，在多个基准上超越大规模开源和闭源VLM。

Comments Project page: https://byungkwanlee.github.io/GenRecal-page/

How Robust Is Homogeneity Bias in LLMs? Evidence Across Models, Decoding Settings, and Identity Signals

开放权重大语言模型中的同质性偏见对解码超参数具有鲁棒性

Messi H. J. Lee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究开放权重LLM中同质性偏见对解码超参数的鲁棒性，发现西班牙裔和亚裔美国人的同质性偏见在大多数配置下稳健，而非裔美国人和性别偏见则因模型而异。

Comments 19 pages

Event-Grounded Question Answering over Long Audio via Structured Retrieval

基于结构化检索的长音频事件问答

Kartik Hegde, Arvind Krishna Sridhar, Naveen Vakada, Yinyi Guo, Erik Visser

机构 * Qualcomm Technologies, Inc., India（印度高通技术公司） ； Qualcomm Technologies, Inc., USA（美国高通技术公司） ； University of Turku, Finland（芬兰图尔库大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LA-RAG框架，通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库，结合意图感知检索和LLM生成，实现低延迟高精度的长音频问答，在多个基准上提升时间定位F1达11-17%。

Comments Submitted to EMNLP 2026 Industry Track

Haiku to Opus in Just 10 bits: LLMs Unlock Large Compression Gains

仅用10比特从俳句到巨作：LLMs解锁巨大压缩增益

Roy Rinberg, Annabelle Michael Carrell, Simon Henniger, Nicholas Carlini, Keri Warr

机构 * Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； Anthropic 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究LLM生成文本的无损和有损压缩，提出问答压缩（QA）交互协议，用少量二进制问题实现超100倍压缩比，高效传递知识。

HBF Sucks! A Full-Stack Characterization of High-Bandwidth Flash for KV-Centric LLM Serving

面向以KV为核心的大语言模型服务的高带宽闪存全栈表征

Zhuoran Li, Zhuohang Bian, Xin Huang, Yibo Zhao, Guangyu Sun, Youwei Zhuo

专题命中 效率与部署 ：LLM(title,summary_cn)

AI总结 该研究通过全栈表征发现，将高带宽闪存（HBF）直接替代SSD作为瞬态KV卸载层会降低LLM服务性能，HBF需作为感知复用的协调层使用而非SSD替代品。

Comments 13 pages, 12 figures

Breaking the MoE LLM Trilemma: Dynamic Expert Clustering with Structured Compression

打破MoE大语言模型三重困境：动态专家聚类与结构压缩

Peijun Zhu, Ning Yang, Baoliang Tian, Jiayu Wei, Weihao Zhang, Haijun Zhang, Pin Lv

机构 * Guangzhou University（广州大学） ； Institue of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； ByteDance Inc.（字节跳动公司） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出动态专家聚类与结构压缩框架，通过参数分解和分层路由策略，显著提升MoE大语言模型的效率和内存利用率。

Comments 10 pages, 2 figures, 8 tables. Under review as a conference paper at ICML 2026

Lil: Less is Less When Applying Post-Training Sparse-Attention Algorithms in Long-Decode Stage

Lil: 在长解码阶段应用后训练稀疏注意力算法时，少即是少

Junhao Hu, Fangze Li, Mingtao Xu, Feifan Meng, Shiju Zhao, Tiancheng Hu, Ting Peng, Anmin Liu, Wenrui Huang, Chenxu Liu, Ziyue Hua, Tao Xie

机构 * SCS, Peking University, Beijing, China（北京大学信息科学与技术学院，北京，中国） ； Key Lab of HCST (PKU), MOE, Beijing, China（高等教育出版社HCST重点实验室（PKU），北京，中国） ； State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室，中国） ； Tencent, Shenzhen, China（腾讯，深圳，中国） ； Beijing Tongming Lake Information Technology Application Innovation Center, Beijing, China（北京 Tongming Lake 信息技术应用创新中心，北京，中国） 纠错

专题命中 效率与部署 ：post-training(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了在长解码阶段应用稀疏注意力算法时，信息丢失导致序列变长的问题，提出早停算法减少token消耗并降低精度损失。

Mediator: Memory-efficient LLM Merging with Less Parameter Conflicts and Uncertainty Based Routing

Mediator：基于较少参数冲突和不确定性路由的内存高效大语言模型合并

Kunfeng Lai, Zhenheng Tang, Xinglin Pan, Peijie Dong, Xiang Liu, Haolan Chen, Huacan Wang, Li Shen, Bo Li, Xiaowen Chu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型合并中参数冲突致性能下降等问题，提出基于层参数冲突情况分别处理，结合任务算术稀疏性解耦专家，依输入数据任务不确定性选合并专家，实验表明该方法提升性能且降低系统成本。

Comments work in progress. arXiv admin note: text overlap with arXiv:2405.09673 by other authors

OmniVLM: A Token-Compressed, Sub-Billion-Parameter Vision-Language Model for Efficient On-Device Inference

OmniVLM：一种用于高效设备端推理的令牌压缩、参数少于十亿的视觉语言模型

Wei Chen, Zhiyuan Li, Shuo Xin

机构 * Nexa AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；preference optimization(abstract)

AI总结 研究提出OmniVLM视觉语言模型，通过令牌压缩机制减少计算开销，经多阶段训练匹配更大模型性能。在多基准测试中优于现有基线，在笔记本电脑上实证显示速度提升，能在边缘设备高效部署，模型权重可在huggingface获取。

Efficient and Universal Watermarking for LLM-Generated Code Detection

用于大语言模型生成代码检测的高效通用水印技术

Boquan Li, Zirui Fu, Mengdi Zhang, Peixin Zhang, Jun Sun, Xingmei Wang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型生成代码检测问题，提出即插即用的ACW水印方法，无需训练，通过精心设计的代码转换作隐式水印，有效高效检测代码，保留其实用性且具通用性，解决了现有方法的局限。

Comments This work has been accepted by IEEE Transactions on Software Engineering for publication, and the copyright follows IEEE policies