语言大模型 / LLM

SCOPE: A Lightweight-training LLM Framework for Air Traffic Control Readback Monitoring

SCOPE：一种用于空中交通管制复诵监控的轻量训练LLM框架

Qihan Deng, Minghua Zhang, Yang Yang, Zhenyu Gao

机构 * Department of Mechanical and Aerospace Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学机械与航空航天工程系） ； School of Electronic and Information Engineering, Beihang University（北航电子与信息工程学院） ； State Key Laboratory of CNS/ATM（国家空管自动化系统实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SCOPE框架，通过冻结LLM结合插件式开放集分类器和上下文学习机制，实现高效准确的空管复诵监控，在少样本设置下开放集检测准确率达91.05%，异常纠正率96.63%。

BIRDS: Characterizing and Understanding Biodiversity Impact of Large Language Model Serving

BIRDS：表征与理解大语言模型服务对生物多样性的影响

Tianyao Shi, Yi Ding

机构 * Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出BIRDS框架，通过定义请求级功能单元、量化运营与隐含生物多样性影响，并引入质量归一化生物多样性影响（QNBI），揭示大规模LLM服务对生态系统的累积影响及质量感知的服务权衡。

Comments 21 pages, 27 figures, 9 tables

RTP-LLM: High-Performance Alibaba LLM Inference Engine

RTP-LLM：高性能阿里巴巴大语言模型推理引擎

Boyu Tan, Jiarui Guo, Zongwei Lv, Hanbo Sun, Tong Yang, Kan Liu, Xinfei Shi, Zetao Hu, Yaxin Yu, Chi Zhang, Jianning Zhang, Xi Yang, Wei Zhang, Bo Cai, Silu Zhou, Xiyu Wang, Na He, Yinghao Yu, Wending Bao, Guiyang Huang, Yuxing Yuan, Juncheng Yin, Nan Wang, Lin Yang, Zechao Zhang, Lu Chen, Guoding Li, Tao Lan, Lin Qu

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出RTP-LLM推理引擎，通过文件顺序驱动I/O、预填充-解码分离架构、分层多级KV缓存、模块化推测解码等技术，在工业规模部署中实现显著性能提升。

Jailbreaking and Mitigation of Vulnerabilities in Large Language Models

大语言模型的越狱与漏洞缓解

Benji Peng, Hanxuan Chen, Keyu Chen, Qian Niu, Ziqian Bi, Ming Liu, Pohsun Feng, Tianyang Wang, Lawrence K. Q. Yan, Yizhu Wen, Yichao Zhang, Caitlyn Heqi Yin, Xinyuan Song, Riyang Bao, Jiacheng Shi

机构 * Hunan University Changsha, PRC ； Georgia Institute of Technology Atlanta, USA ； Kyoto University Kyoto, Japan ； Purdue University West Lafayette, USA ； National Taiwan Normal University Taipei, ROC ； University of Liverpool Suzhou, PRC ； Hong Kong University of Science ； University of Hawaii Honolulu, USA ； The University of Texas at Dallas Dallas, USA ； University of Wisconsin-Madison Madison, USA ； Emory University Atlanta, USA ； College of William \& Mary Williamsburg, USA 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文综述了大语言模型在提示注入和越狱攻击下的漏洞，分类攻击方法并评估防御策略，指出研究空白与未来方向。

Journal ref Eureka 1(1) (2026) 26-61

Fingerprinting Inference Systems of Large Language Models

大型语言模型的推理系统指纹识别

Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

机构 * BIFOLD & TU Berlin（BIFOLD与柏林技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.LG

AI总结 本文提出一种通过分析LLM的提示-响应行为来识别推理系统组件（如推理引擎、注意力后端和硬件平台）的指纹方法，并论证了防御该指纹识别的根本困难性。

Rare Event Analysis of Large Language Models

大型语言模型的罕见事件分析

Jake McAllister Dorman, Edward Gillman, Dominic C. Rose, Jamie F. Mair, Juan P. Garrahan

机构 * School of Physics and Astronomy, University of Nottingham（物理与天文学学院，诺丁汉大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一个端到端框架，用于系统分析大型语言模型中的罕见事件，涵盖理论、高效生成策略、概率估计和误差分析，并通过实例展示其应用。

Comments ICML 2026 Oral Spotlight

RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment

RightNow-Arabic-0.5B-Turbo: 通过词汇注入和边缘优先部署的开源子10亿参数阿拉伯语语言模型

Jaber Jaber, Osama Jaber

机构 * RightNow AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 针对现有阿拉伯语模型要么是多语言模型对阿拉伯语支持不足，要么是参数过大难以部署的问题，提出基于Qwen2.5-0.5B的518M参数阿拉伯语专用模型RightNow-Arabic-0.5B-Turbo，通过词汇注入、继续预训练和监督微调等方法，在三个阿拉伯语基准上达到35.9%平均准确率，与1.5B模型性能相当，并实现边缘端高效部署。

Comments 12 pages, 7 tables, 4 figures, 1 algorithm. Weights: https://huggingface.co/RightNowAI/RightNow-Arabic-0.5B-Turbo

MarginGate: Sparse Margin-Triggered Verification for Batch-Invariant LLM Inference

MarginGate: 用于批量不变LLM推理的稀疏边际触发验证

Kexin Chu, Yang Zhou, Wei Zhang

机构 * University of Connecticut（康涅狄格大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出MarginGate方法，利用logit边际稀疏触发验证，仅对低边际步骤进行验证并修复，以低成本实现批量不变LLM推理的确定性解码。

Comments 13 pages, 5 figures, 11 tables

Anchorless Diversification for Parallel LLM Ideation

无锚点多样化并行LLM创意生成

Fares Nabil Ibrahim, Nafis Saami Azad, Raiyan Abdul Baten

机构 * Bellini College of Artificial Intelligence, Cybersecurity, and Computing, University of South Florida（贝尔尼人工智能、网络安全与计算学院，佛罗里达州立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究无锚点方法（如语义方向分层）在并行LLM创意生成中实现候选池多样化，无需依赖种子想法，在多样性、质量和计算效率上优于有锚点基线。

CONCAT: Consensus- and Confidence-Driven Ad Hoc Teaming for Efficient LLM-Based Multi-Agent Systems

CONCAT: 基于共识与置信驱动的即席团队协作以实现高效的基于LLM的多智能体系统

Ziyang Ma, Dingyi Zhang, Sichu Liang, Jiajia Chu, Pengfei Xia, Hui Zang, Deyu Zhou

机构 * Southeast University（东南大学） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种无需训练的共识与置信驱动即席团队协作框架CONCAT，通过聚类初始答案、选择高置信领导者并基于心智理论预测协作收益来动态组织多智能体交互，显著提升效率并降低延迟。

Latency-Quality Routing for Functionally Equivalent Tools in LLM Agents

LLM 代理中功能等价工具的延迟-质量路由

Kexin Chu, Dawei Xiang, Wei Zhang

机构 * University of Connecticut（康涅狄格大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对LLM代理中多个功能等价工具提供者的路由问题，提出LQM-ContextRoute上下文强盗路由器，通过延迟-质量匹配和查询特定质量估计，在运行时负载下实现延迟与质量的权衡，在多个基准上优于SW-UCB。

Comments 14 pages, 6 figure, 13 tables

Reasoning-preserved Efficient Distillation of Large Language Models via Activation-aware Initialization

保留推理能力的大语言模型高效蒸馏：基于激活感知初始化

Junlin He, Yihong Tang, Tong Nie, Guilong Li, Binyu Yang, Jinxiao Du, Lijun Sun, Wei Ma

机构 * The Hong Kong Polytechnic University, Hong Kong SAR, China（香港理工大学） ； McGill University, Montreal, QC, Canada（麦吉尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对高效蒸馏导致的多步推理能力严重下降（推理崩溃），提出RED方法，通过激活感知初始化投影矩阵为通道选择矩阵，理论缓解有效秩崩溃，恢复推理能力并保持高效训练与通用性能。

Revisiting the Effectiveness of LLM Pruning for Test-Time Scaling

重新审视LLM剪枝对测试时缩放的有效性

Ocean Monjur, Shahriar Kabir Nahin, Anshuman Chhabra

机构 * Bellini College of AI, Cybersecurity, and Computing（人工智能、网络安全与计算学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究非结构化剪枝对推理型大语言模型测试时缩放性能的影响，发现其优于结构化剪枝甚至有时超过未剪枝模型，并探讨了层间稀疏分配策略的作用。

Confidence-Modulated Speculative Decoding for Large Language Models

置信度调节的推测解码用于大型语言模型

Jaydip Sen, Subhasis Dasgupta, Hetvi Waghela

机构 * Department of Data Science（数据科学系） ； Praxis Business School（普拉克斯商学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于置信度调节的推测解码框架，通过熵和边际不确定性度量动态调整草稿长度与验证过程，在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。

Comments This is the preprint of the paper, which has been accepted for oral presentation and publication in the proceedings of IEEE INDISCON 2025. The conference will be organized at the National Institute of Technology, Rourkela, India, from August 21 to 23, 2025. The paper is 10 pages long, and it contains 2 figures and 5 tables

LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs

LFQ：面向提升低比特量化LLM生成质量的逻辑感知最终块量化

Jung Hyun Lee, June Yong Yang, Jungwook Choi, Eunho Yang

机构 * Kim Jaechul Graduate School of AI, KAIST, Daejeon, South Korea（韩国科学技术院人工智能研究生院） ； LG AI Research, Seoul, South Korea（LG人工智能研究） ； Hanyang University, Seoul, South Korea（翰阳大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对低比特量化LLM在生成任务中质量下降的问题，提出通过最小化FP模型与量化模型在最终Transformer块上的logits交叉熵来优化量化，从而提升复杂生成任务的准确性。

Comments Accepted to ICML 2026

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP: 哈达玛预条件自适应旋转处理器用于极端LLM量化

Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

机构 * BRAIn Lab（BRAIn实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出HARP，一种可学习的结构化双正交处理器，替代固定随机哈达玛变换，通过自适应旋转基来改善极端低位量化中的激活异常值和各向异性权重曲率问题，在2-4比特设置下提升困惑度和零样本准确率，并保持部署效率。

Modularizing Educational LLM-Agency for Fostering Responsible Learning Assistance

模块化教育大语言模型代理以促进负责任的学习辅助

Julius Gabelmann, Felix Jahn, Kevin Baum, Sophie van Rossum, Emely Wuenscher, Timo P. Gros, Verena Wolf

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Saarland Informatics Campus, Germany（萨尔兰州信息学校区，德国） ； Center for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心（CERTAIN）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种模块化代理架构的AI聊天机器人，通过分阶段指导练习解决，融入针对性教学建议，实现更可控、透明和可监督的学习过程，促进教育中负责任的AI使用。

Comments 12 pages, 2 figures (+ 2 in appendix), accepted at AISoLA 2025 (Track: Responsible and Trusted AI: An Interdisciplinary Perspective)

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization

对齐但脆弱：通过零阶优化增强LLM安全鲁棒性

Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高科技园区（滨江）区块链与数据安全研究院） ； Sun Yat-sen University（中山大学） ； KAUST（卡塔尔大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型安全对齐后易受轻量级后处理（如参数噪声、激活噪声或量化）影响的问题，提出基于零阶优化的混合框架，通过先标准一阶安全对齐再零阶精炼提升鲁棒性，并利用扰动评估估计层鲁棒性敏感性以高效聚焦关键层更新。

Hierarchical Verification of Speculative Beams for Accelerating LLM Inference

分层验证投机波束以加速大语言模型推理

Jaydip Sen, Harshitha Puvvala, Subhasis Dasgupta

机构 * Praxis Business School（普拉克斯商学院） ； Sabre Industries（Sabre工业公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出分层验证树（HVT）框架，通过优先验证高似然草稿并早期剪枝次优候选，以分层方式重构投机波束解码，从而在不重训练或修改架构下显著降低推理时间和能耗。

Comments This paper was accepted for oral presentation and publication in the 3rd International Conference on Data Science and Network Engineering (ICDSNE 2025), organized at NIT, Agartala, India, from July 25 to 26, 2025. The paper is 12 pages long, and it contains 3 tables and 4 figures. This is NOT the final paper, which will be published in the Springer-published proceedings

The Planetary Cost of AI Acceleration, Part II: The 10th Planetary Boundary and the 6.5-Year Countdown

人工智能加速的行星成本，第二部分：第十个行星边界与6.5年倒计时

William Yicheng Zhu, Lei Zhu

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究指出，大规模语言模型（LLM）的指数级扩展导致“思考”本身的热力学后果，并预测在6.5年内将突破行星热阈值，提出AI热排放构成第十个行星边界。

Comments Minor revisions for clarity

When Cloud Agents Meet Device Agents: Lessons from Hybrid Multi-Agent Systems

当云端智能体遇到设备端智能体：混合多智能体系统的经验教训

Corrado Rainone, Davide Belli, Bence Major, Arash Behboodi

机构 * Qualcomm（高通） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文系统研究混合多智能体系统（结合设备端小模型和云端大模型）的设计空间，分析不同设计选择对功耗、成本和性能帕累托前沿的影响，发现最优架构高度依赖任务且前沿计算并不总能带来更好性能。

Comments 30 pages, 16 figures. Accepted to the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

BitTP: The Lightweight Trajectory Prediction Model with BitLLM for Edge-Devices

BitTP：面向边缘设备的轻量级轨迹预测模型与BitLLM

Mincheol Kang, Hyunjin Lim, Bomin Kang, Daehee Park

机构 * KAIST, Republic of Korea（韩国釜山国立大学） ； DGIST, Republic of Korea（韩国国立庆北科学技术院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出BitTP，通过将LLM轨迹预测器转换为1.58比特轻量架构，在保持或提升预测质量的同时大幅降低内存和计算需求，实现边缘设备部署。

Comments Camera-ready version. Accepted as a findings paper at CVPR 2026. 8 pages, 4 figures

SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding

SPEED-Bench：一个统一且多样化的推测解码基准

Talor Abramovich, Maor Ashkenazi, Izzy Putterman, Benjamin Chislett, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein, Yonatan Geifman

机构 * NVIDIA 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对推测解码（SD）评估中任务多样性不足、吞吐量评估支持不够及实现不贴近生产环境的问题，提出SPEED-Bench基准，包含多样化语义领域和真实服务场景的数据集，集成vLLM和TensorRT-LLM引擎，以标准化SD评估并揭示系统行为。

Comments ICML 2026; Our data is available on https://huggingface.co/datasets/nvidia/SPEED-Bench

Controlling the Risk of Corrupted Contexts for Language Models via Early-Exiting

通过早退机制控制语言模型中有害上下文的风险

Andrea Wynn, Metod Jazbec, Charith Peris, Rinat Khaziev, Anqi Liu, Daniel Khashabi, Eric Nalisnick

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊人工智能实验室） ； Amazon Alexa（亚马逊Alexa） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种结合动态早退预测与无分布风险控制的方法，限制有害上下文对语言模型性能的退化，并在有益上下文中实现计算效率提升。

Comments Accepted to ICML 2026

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM：面向高效视觉-语言模型推理的非对称令牌剪枝

Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对视觉和文本令牌在预填充与解码阶段的不同特性，提出非对称剪枝方法AsymVLM，通过视觉令牌的激进剪枝和文本令牌的基于阈值的驱逐，实现高达54%的FLOPs节省并在文档和图表理解任务上提升2-3%的准确率。

Anytime-Valid Federated Conformal RAG for LLM Swarms

面向LLM群体的任意有效联邦共形RAG

Prasanjit Dubey, Xiaoming Huo

机构 * H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 提出Anytime-FC-RAG，通过可累积的逐步校准偏差预算和截断投注e过程，将联邦共形RAG扩展到任意停止时间均有效的序贯覆盖，并保证时间均匀报警有效性、Hoeffding拼接累积误覆盖包络及自适应控制下的安全性。

DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

DiffRetriever: 基于扩散语言模型的并行代表标记用于检索

Shuai Wang, Yu Yin, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

机构 * The University of Queensland（昆士兰大学） ； CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出DiffRetriever，利用扩散语言模型的掩码位置预测直接进行检索，支持单表示和多表示检索，在多个基准上优于现有方法。

Comments Updated analysis, ablation and benchmark with sota retrievers, indexing storage/latency ablation, isolating the effectiveness gain

ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

ReSpinQuant: 通过子空间残差旋转近似实现高效逐层大模型量化

Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, Nojun Kwak

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出ReSpinQuant框架，通过离线激活旋转融合和高效子空间残差旋转匹配基，解决逐层量化方法在线计算开销大的问题，在W4A4和W3A3量化上达到最优性能。

Comments ICML 2026

From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons

从自回归到扩散：利用严格因果与弹性视野高效适配大型语言模型

Xiangyu Ma, Teng Xiao, Zuchao Li, Lefei Zhang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 提出FLUID框架，通过严格因果对齐和弹性视野机制，将自回归模型高效适配为扩散模型，实现并行文本生成并大幅降低训练成本。

Comments Accepted by ACL 2026

Efficient Test-Time Finetuning of LLMs via Convex Reconstruction and Gradient Caching

通过凸重构和梯度缓存实现LLM的高效测试时微调

Alaa Khamis, Alaa Maalouf

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；language model(abstract)；分类 cs.LG

AI总结 提出HullFT方法，利用凸重构和梯度缓存加速LLM的测试时微调，在保持质量的同时显著降低运行时间。