语言大模型 / LLM

Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models

大语言模型中用于激活稀疏化的灵敏度感知阈值处理和令牌路由

Bishmoy Paul, Youngmin Yi, Hoeseok Yang

机构 * Santa Clara University（圣塔克拉拉大学） ； Sogang University（西江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型中如何在保留模型质量时减少计算，提出灵敏度感知阈值处理方法SATS及轻量级令牌路由框架，经实验评估，SATS在匹配稀疏度时优于基线，令牌路由有更好的质量-吞吐量权衡，改进方法可提升大语言模型权衡效果。

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

通过幂变换和符号保留分数聚合与自适应特征保留对大语言模型进行结构化剪枝

Ryota Kobayashi, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Yasunori Ishii, Tomoyuki Okuno, Kazuki Kozuka

机构 * Chubu University（楚ubu大学） ； Panasonic Holdings Corporation（松下电器控股公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型结构化剪枝，改进自适应特征保留技术。结合幂变换、符号保留分数聚合及异常值去除方法，解决应用中出现的分布不匹配等问题。实验表明该方法能保持准确率，通过结构化剪枝加速推理。

Future Confidence Distillation in Large Language Models

大语言模型中的未来置信度蒸馏

Sahil Kale

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型置信度估计，通过比较解决问题前后的置信度，发现其在回答过程中演变。基于此引入未来置信度蒸馏，用解决问题后的置信度估计训练解决问题前隐藏表征的预测器，实现可靠且低成本的置信度估计。

Comments 16 pages, 5 figures

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

OmniFocus：用于全模态大语言模型的查询引导模态平衡令牌压缩

Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Limerick（利默里克大学） ； CUHK, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。

Enabling Cloud-Level Accuracy in Edge AI through IoT Data Preprocessing

通过物联网数据预处理实现边缘AI的云端级精度

Aygün Varol, Katarzyna Kołodziej, Łukasz Sobczak, Michał Romaszewski, Przemysław Głomb, Naser Hossein Motlagh, Mirka Leino, Johanna Virkki

机构 * Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通信科学学院，塔尔皮耶大学） ； Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（理论与应用信息学研究所，波兰科学院） ； Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学） ； Satakunta University of Applied Sciences（萨塔昆塔应用科学大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对边缘部署的紧凑型LLM在原始传感器读数下数值推理弱的问题，提出结构化提示构建框架，通过逐步丰富文本表示（原始值、阈值描述、环境摘要标志）提升局部模型精度，实验表明该方法可将局部准确率从约50%提升至80%以上，同时保持低延迟。

On the Expressive Power of Weight Quantization in Large Language Models

大语言模型中权重量化的表达能力

Shao-Qun Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligent Science and Technology（智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。

AlphaRoute: Large Language Models as Semantic Optimizers for Multi-Objective Routing

AlphaRoute：将大语言模型用作多目标路由的语义优化器

Kabir Murjani, Mishri Bhavsar, Manish I. Patel, Jonti Talukdar

机构 * Institute of Technology, Nirma University（尼玛大学理工学院） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG；LLM(comments)

AI总结 针对VLSI全局路由这一NP难组合优化问题，传统方法失效。AlphaRoute将拆线重布重构为动态优化系统，引入基于SHAP的溢出分解等技术，用大语言模型作语义策略优化器，在基准测试中大幅减少溢出，证明优越算法可克服Python实现的延迟。

Comments 7 pages, 5 figures. Accepted for publication in the IEEE International Conference on LLM-Aided Design, 2026, Stanford University, Stanford, CA, USA. Code available at https://github.com/Kcbir/AlphaRoute

Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models

基于因果归因的剪枝保留大型语言模型的推理性能

Amogh Sheth, Biruk Assefa, Yi Wen Huang, Andrew Lin, Yuhao Ge

机构 * Edison Academy Magnet School（爱迪生学院磁石学校） ； Massachusetts Institute of Technology（麻省理工学院） ； State University of New York College at Plattsburgh（纽约州立大学普拉茨堡学院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL；LLM(comments)

AI总结 提出无需训练的因果归因剪枝（CAP）方法，通过测量注意力头对推理任务的因果影响进行细粒度剪枝，在20%稀疏度下相比Wanda在ARC-Challenge上准确率提升高达61%。

Comments Accepted at the ICLR 2026 Workshop on LLM Reasoning. 13 pages, 2 figures

OpScale: Operator-level Provisioning and Autoscaling for LLM Serving

OpScale：面向大语言模型服务的算子级资源配置与自动扩缩容

Xingqi Cui, Chieh-Jan Mike Liang, Ziang Tang, Jiarong Xing, Haoran Qiu

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM服务中粗粒度扩缩容的弊端，提出算子级编排框架OpScale，可在满足SLO的同时降低GPU用量、功耗，或在固定成本下提升吞吐量。

Comments 22 pages, 29 figures

DiffPrune: differentiable information throttling for token pruning in vision-language models

DiffPrune：用于视觉-语言模型中 token 剪枝的可微信息节流方法

Landi He, Mingde Yao, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） ； CUHK MMLab, CPII under InnoHK（香港中文大学MMLab，InnoHK下属CPII） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)

AI总结 DiffPrune 是一种用于视觉-语言模型的可微 token 剪枝方法，通过信息节流器避免松弛选择的不稳定性，在保留 96.5% 准确率的同时实现 2.85 倍 LLM 预填充加速，推理开销仅 0.69 毫秒。

C-PTQ: Fisher-weighted Channel-wise Sensitivity for Post-training Quantization of MLLMs

C-PTQ：用于多模态大语言模型训练后量化的Fisher加权通道敏感性

Jiameng Li, Han Zhou, Matthew B. Blaschko

专题命中 效率与部署 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对多模态大语言模型训练后量化中异常通道致性能下降问题，提出C-PTQ方法，通过设计Fisher加权目标统一任务特定损失扰动和量化误差，无需辅助模块达最优性能，经实验验证有效。

Comments 7 pages

HACO: Hedged Agent Computing for Reliable LLM Systems

HACO：用于可靠大语言模型系统的套期保值代理计算

Enhan Li, Hongyang Du

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究大语言模型代理在长期工作流中角色到实例绑定边界的故障问题，提出HACO运行时控制方案，将角色请求视为可靠性约束选择问题，通过结合乐观排序与保守可靠性积累及经验收集更新配置文件，提高了模型在变化条件下的性能并降低成本。

Retrieval-Grounded Multilingual LLM Assistance for Island Smallholder Farmers

基于检索的多语言LLM辅助工具用于岛屿小农户

Nikolaos D. Tantaroudas, Ilias Karachalios, Andrew J. McCracken

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对偏远岛屿小农户获取农业建议困难且方言知识缺乏全球语料支持的问题，提出嵌入双语电商平台的对话AI助手Falco eleonorae，通过工具增强检索（MCP）获取本地化数据，实现可信的多语言、语音和图像交互。

Comments 13, 4

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

循环绑定——混合专家语言模型中的专家层绑定

Martin Jaggi

机构 * EPFL（瑞士联邦理工学院洛桑） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。

Comments Code available at https://github.com/epfml/looped-moe

Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models

波纹枢轴搜索：扩散大语言模型的主动并行解码

Yushi Ye, Xu Chen, Haoyun Jiang, Jinsong Lan, Haihong Tang, Bo Han, Ivor Tsang, Yanfeng Wang, Bo Zheng, Jiangchao Yao

机构 * Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作中位数网络创新中心） ； Alibaba Group TMLR Group（阿里巴巴集团TMLR团队） ； Hong Kong Baptist University（香港浸会大学） ； A*STAR CFAR and Nanyang Technological University（新加坡科研局计算科学中心和南洋理工大学） ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出RPS方法，利用dLLM解码的波纹效应，在保持生成质量的同时，大幅提升解码速度与准确率，适用于推理及代码生成任务。

GSTEP: Global Spatio-Temporal Density-Driven Visual Token Pruning for Efficient Video Large Language Models

GSTEP：面向高效视频大语言模型的全局时空密度驱动视觉令牌剪枝

Mengjie Zhang, Qihui Zhu, Tao Zhang, Shuangwu Chen, Huihuang Qin, Yu Guo, Shenghao Ye, Zijian Wen, Yunpeng Hou, Dong Jin, Xiaobin Tan, Huasen He, Jian Yang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出即插即用的GSTEP剪枝框架，解决现有视频令牌剪枝方法的局部剪枝缺陷，在多个VideoLLMs上实现良好的准确率-效率权衡，在LLaVA-OneVision-7B上剪去75%视觉令牌，保留100.2%原始性能并获1.17倍端到端加速。

Comments 4 figures, accepted to ACM MM 26'

Can Zero-Shot LLMs Predict Child Malnutrition? A Fairness and Temporal Robustness Study

零样本大型语言模型能否预测儿童营养不良？一项关于公平性与时序鲁棒性的研究

Muhammad Ashad Kabir, Md Ahshanul Haque

机构 * School of Computing, Mathematics and Engineering, Charles Sturt University（查尔斯斯特大学计算、数学与工程学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本研究评估零样本LLM预测儿童营养不良的可行性，发现GPT-4o-mini零样本预测儿童发育迟缓性能接近随机森林基线，灵敏度更高、性别公平性好、时序稳定，但居住地和家庭财富维度存在公平性差异，需进一步研究。

Comments Accepted to AIME 2026 Workshop

Influence of Prompt Engineering on Small Language Models for Guarded Query Routing

提示工程对用于安全查询路由的小型语言模型的影响

Richard Šléher, William Brach, Kristián Košťál, Lukas Galke Poech

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL

AI总结 研究安全查询路由问题，探究紧凑型开放权重小型语言模型在延迟约束下处理任务的能力。通过实验评估发现中等规模模型在低延迟下接近前沿，提示优化技术可提升模型表现，是安全查询路由的有用第一步，部分弱模型仍需其他调整。

KQFuzz: Knowledge-Guided Fuzzing for Quantum Libraries via Large Language Models

KQFuzz：通过大语言模型对量子库进行知识引导的模糊测试

Fuyuan Xia, Qixin Zhang, Chenhao Ying, Haojin Zhu, Shuai Wang, Yuan Luo, Pingchuan Ma, Yuxuan Du

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

AI总结 针对量子库模糊测试灵活性和效率不足问题，提出KQFuzz，利用代码库知识结合适应度引导评估与两级变异，实现高质量测试生成。在三个量子库上测试效果显著优于其他方法，发现多个错误，推动量子计算领域发展。

Comments Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering. 17 pages, 9 figures. Comments are welcome

Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models

Omni-Prune：用于高效全模态大语言模型的查询感知统一令牌剪枝

Yiming Zhong, Chang Nie, Caifeng Shan

机构 * Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究针对全模态大语言模型推理时音频-视频令牌序列长、预填充延迟高和GPU内存使用量大的问题，提出无需训练的查询感知Omni-Prune框架，联合去除冗余并保留跨模态证据，实验证明其性能优于基线方法，能加速预填充并减少内存。

Comments 14 pages, 7 figures. Code: https://github.com/kimberlyii/Omni-Prune

TriSP: Tri-Signal Structured Pruning for Large Language Models

TriSP：用于大语言模型的三信号结构化剪枝

Manel Kara laoua, Soumia Bouyahiaoui, Aicha Boutorh

机构 * National School of Artificial Intelligence (ENSIA)（国家人工智能学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对大语言模型部署受参数成本限制问题，提出TriSP方法，结合权重幅度、激活范数与梯度敏感性产生通道级分数，联合自适应预算分配和低秩适应恢复，实现低困惑度、高零样本准确率及高推理吞吐量。

Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting

关键词很重要：揭示设备端大语言模型提示的能量敏感性

Ruiyi Tao, Xiaolong Tu, Haoxin Wang

机构 * Georgia State University（佐治亚州立大学） 纠错

专题命中 效率与部署 ：LLM(title)；prompting(title)；large language model(abstract)；language model(abstract)

AI总结 研究设备端大语言模型提示措辞与能耗关系，通过在智能手机上收集功率测量数据，量化语言特征对解码长度和总能量的影响，发现提示工程是提高能效的有效手段。

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

EasyOPD：一种易于使用的大语言模型在线策略蒸馏框架

Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Gengsheng Li, Zhepei Hong, Chang Wu, Pengfei Liu, Junfeng Fang, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent（腾讯） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究针对传统语言模型蒸馏问题，提出基于verl构建的EasyOPD框架，分离用户配置等，为三种OPD设置实例化方法，经多基准测试，其实现可通过同一后端执行，还发布了相关配置、文档及演示包。

Comments 10 pages, 2 figures

TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation

TOLiD：通过用于蒸馏的令牌提升弥合视觉基础模型与激光雷达预训练之间的架构差距

Sutharsan Mahendran, Darshana Priyasad, Kaushik Roy, Tharindu Fernando, Sridha Sridharan, Clinton Fookes, Peyman Moghadam

机构 * SAIVT Group, School of Electrical Engineering and Robotics, Queensland University of Technology（澳大利亚昆士兰科技大学电气工程与机器人学院SAIVT组） ； CSIRO Robotics, CSIRO（澳大利亚联邦科学与工业研究组织机器人部） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 研究提出TOLiD方法，通过耦合激光雷达主干与从冻结VFM教师初始化的学生ViT，利用视锥体池化、注意力及掩码双线性采样等技术，解决模态和架构差距问题，在多数据集上评估显示能提升迁移效果。

Comments Accepted to The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

Eigenvalue Calibration for Semantic Embeddings of Large Language Models

大语言模型语义嵌入的特征值校准

Sebastian G. Gruber, Nassim Walha, Francis Bach, Florian Buettner

机构 * KU Leuven（鲁汶大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心） ； German Cancer Consortium (DKTK)（德国癌症联盟） ； Goethe University Frankfurt（法兰克福歌德大学） ； PSL Research University / Inria（巴黎文理研究大学/法国国家信息与自动化研究所） ； Frankfurt Cancer Institute（法兰克福癌症研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对大语言模型语义嵌入特征值校准问题，提出新框架，将其与生成答案的语义嵌入视为密度矩阵预测器，通过温度缩放校准，建立相关理论并经实验验证，推动语义嵌入不确定性量化发展。

SenseWalk: Agent-Based Semantic Trajectory Simulation Powered by Large Language Models in Zoned Environments

SenseWalk: 基于智能体的语义轨迹模拟——由大型语言模型在分区环境中驱动

Ziyue Lin, Xinhang Xie, Kangyi Wang, Siming Chen

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出SenseWalk系统，结合大语言模型与社会力模型，通过智能体模拟语义轨迹，并提供用户界面以简化配置与分析，实验验证了其有效性和效率。

Comments 18 pages, 7 figures

DMuon: Efficient Distributed Muon Training with Near-Adam Overhead

DMuon: 高效分布式Muon训练，开销接近Adam

Vincent Chen, Starrick Liu, Regis Cheng, Dance Yang, Shalfun Li, Ryan Yu, Lucy Liang, Hang Su, Roy Gan, Hao Wang, Qian Wang

机构 * X SQUARE ROBOT TEAM（X SQUARE机器人团队） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出DMuon，一种分布式矩阵正交化优化器，通过减少通信和计算开销，使每步延迟接近AdamW，在基础模型和LLM训练中实现1.48-3.01倍端到端加速。

Predicate Importance Estimation and Decoupled Rationale-Score Distillation for Entity Alignment

谓词重要性估计与解耦理由-分数蒸馏用于实体对齐

Keunha Kim, Yoonjin Jang, Hyeon-gu Lee, Sihyung Kim, Youngjoong Ko

机构 * SungKyunKwan University（成均馆大学） ； NAVER 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出谓词重要性估计和解耦理由-分数蒸馏两个模块，通过谓词感知嵌入和蒸馏小语言模型提升知识图谱实体对齐性能，并利用分数与理由的不一致实现人机协同验证。

Comments 12 pages, 10 figures

Music Playlist Captioning at Scale with Large Language Models

基于大语言模型的音乐播放列表标题生成规模化方法

Mathieu Delcluze, Léa Briand, Benjamin Chapus, Deniz Mekik, Guillaume Salha-Galvan

机构 * Deezer Research SJTU Paris Elite Institute of Technology（Deezer研究 SJTU巴黎精英技术研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出利用大语言模型从多源数据生成播放列表描述，部署于Deezer的Daily Mix功能，显著提升用户参与度。

Comments ECML-PKDD 2026

Understanding LLMs in Title-Abstract Screening: From Disagreements to Recommendations

理解LLM在标题-摘要筛选中的作用：从分歧到建议

Mika Mäntylä, Patricia Matsubara, Katia Romero Felizardo, Miikka Kuutila, Marco Gerosa, Savio de Sousa Sampaio, Tayana Conte, Igor Steinmacher

机构 * University of Helsinki, Finland（赫尔辛基大学，芬兰） ； UFMS, Brazil（巴西UFMS） ； UTFPR – Federal University of Technology - Paraná, Brazil（巴西UTFPR – 法定技术大学-帕拉那） ； LUT University, Finland（芬兰LUT大学） ； Northern Arizona University, United States（美国北亚利桑那大学） ； UFAM, Brazil（巴西UFAM） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过定性分析LLM与人类在系统综述标题-摘要筛选中的分歧原因，提出改进建议，如验证语义理解、使用多个LLM和关注边界案例。

Comments 14 pages + references. Accepted for publication in the 52nd Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2026)