语言大模型 / LLM

Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

公平与效率：多语言大语言模型分词器的实证研究

Kieron Seven Jun Wei Lee, Muhammad Reza Qorib, Andrew Ivan Soegeng, Hwee Tou Ng

机构 * National University of Singapore（新加坡国立大学） ； Carnegie Mellon University（卡内基梅隆大学） ； SAP 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文系统比较了11种东南亚语言上的公平分词器，发现Parity-aware BPE在效率与公平的权衡中处于帕累托前沿，而Morphology-Driven Byte Encoding在语义推理上表现最佳。

LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values

LLM 蕴含多重性：部署上下文如何重塑模型层面的偏好与价值观

Filip Trhlik, Aoife O'Flynn, Angela Yu, Arduin Findeis, Paula Buttery

机构 * University of Cambridge（剑桥大学） ； ALTA Institute（ALTA研究所） ； Leverhulme Centre for the Future of Intelligence（勒沃霍姆未来智能中心） ； Microsoft UK（微软英国） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过两个成对比较范式（国家偏好排序和效用判断）发现，部署上下文（如撰写Reddit帖子或新闻文章）对LLM偏好和价值观的影响远大于提示改写和温度控制，表明模型层面的偏好是上下文依赖的。

Comments 68 pages, 54 figures, 54 tables

BigPower: Hierarchical Source-Level Module Power Estimation for CPUs with Large Language Models

BigPower: 基于大型语言模型的CPU层次化源码级模块功耗估计

Honghua Zhu, Chunjie Luo, Jianfeng Zhan

机构 * State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences Beijing China（处理器国家重点实验室，计算技术研究所，中国科学院北京中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出BigPower，利用大型语言模型表示和架构层次、模块连接、配置参数及工作负载上下文，直接从源码级设计信息估计CPU模块级功耗，无需仿真，在香山处理器上验证了有效性。

Comments 12 pages, 10 figures

BUDDY: BUdget-Driven DYnamic Depth Routing for Adaptive Large Language Model Inference

BUDDY: 预算驱动的动态深度路由用于自适应大型语言模型推理

Yuhua Zhou, Shaoqi Yu, Shichao Weng, Changhai Zhou, Mingze Yin, Fei Yang, Aimin Pan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出BUDDY框架，通过轻量决策模块根据输入动态选择top-k层，并复用KV缓存支持解码时自适应路由，在严格预算控制下提升精度-计算权衡。

From Hazard Functions to Language Space: Cox-Supervised Distillation of Survival Risk into a Large Language Model

从风险函数到语言空间：Cox监督的生存风险蒸馏到大语言模型

Nicholas I-Hsien Kuo, Blanca Gallego, Louisa Jorm

机构 * Centre for Big Data Research in Health, the University of New South Wales（新南威尔士大学健康大数据研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出将Cox比例风险模型的时间事件风险信息迁移到大语言模型中的方法，通过文本提示微调Qwen模型，在三个数据集上取得有竞争力的区分度和校准性，并发现隐藏状态呈现连续风险梯度。

MD-ProTector: Positioning Multiple Data-Driven Prototypes for LLM-Generated Text Detection

MD-ProTector：为大语言模型生成文本检测定位多个数据驱动原型

Jinmo Han, Jimin Hong, Chanyeong Moon, Ju Yeon Kang, Seonuk Kim, Nam Soo Kim

机构 * Seoul National University（首尔大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM生成文本检测的类别内部差异问题，提出MD-ProTector模型，通过原型定位损失优化，在多基准测试中取得优于同类编码器方法的检测性能。

DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference

DistillCache：基于KL引导的自适应KV缓存驱逐的内存高效大语言模型推理

Asaad Althoubi

机构 * Oklahoma State University（俄克拉荷马州立大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 DistillCache是一种强化学习框架，将KV缓存驱逐建模为序列决策问题，在25%缓存预算下，在LongBench上保留全缓存94.2%的准确率，优于多种基线方法，可提升推理吞吐量。

Comments 20 pages, 5 figures

What We Observe as LLM Behavior Can Be a Side-effect of Inference Backend

我们所观察到的大语言模型（LLM）行为可能是推理后端的副作用

Shahed Masoudian, Passant Shafaei, Monorama Swain, Markus Schedl

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 该研究发现推理后端是影响LLM基准测试分数的不可忽视因素，约39%的分数变异性源于后端，建议披露后端信息及完整生成配置以提升结果可靠性。

Beyond Initialization Loss: A Systematic Study of Token Embedding Initialization Strategies for LLM Vocabulary Extension

超越初始化损失：大语言模型词汇扩展的词元嵌入初始化策略的系统研究

Raviraj Joshi, Utkarsh Vaidya, Sanjay Singh Chauhan, Niranjan Wartikar

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对LLM词汇扩展，对比20余种初始化策略，发现子词组合方法更优，最优配置使CPT步骤减超6倍，轻量CPT可可靠选择最优初始化策略。

ATFlash: Per-RoPE-Wavelength Attention Windows for Compute/Memory-Efficient LLM Inference

ATFlash：用于计算/内存高效LLM推理的逐RoPE波长注意力窗口

Shun-ichiro Hayashi, Daichi Mukunoki, Tetsuya Hoshino, Takahiro Katagiri

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 ATFlash提出逐RoPE波长注意力窗口，修剪查询-键内积项，在保持长上下文任务性能的同时，可移植至FlashAttention-4等框架，在多款模型上实现LLM推理的计算与内存效率提升。

Efficient LLM Adversarial Training via Low-Rank Defense and Circuit-Guided Surrogates

基于低秩防御与电路引导代理的高效大语言模型对抗训练

Weiyi He, Yuping Lin, Jiliang Tang, Yue Xing

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对大语言模型对抗训练计算成本高的问题，从防御侧优化表示微调、攻击侧构建轻量代理模型两方面提出策略，使每步对抗训练FLOPs降48.1%，仅需0.0118%可训练参数。

LLM for the development of FCM

用于模糊认知图开发的语言模型

Alexis Kafantaris

机构 * Qwen2.5-32B 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用本地大语言模型开发模糊认知图，以Qwen2.5 - 32B从酒店评论提取数据构建模糊认知图，经训练、评估及外部验证，形成希腊评论的星型拓扑模糊认知图，关联评论星级与预测满意度。

SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference

SPORK：自我推测性分叉以加速智能体大语言模型推理

Huajun Bai, Weiwei Lv, Huichuan Zheng, Youyou Lu, Jiwu Shu

机构 * Tsinghua University（清华大学） ； Meituan（美团） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 研究LLM智能体推理中串行循环耗时问题，提出SPORK方法，利用模型自身预测提前调度推测工具调用，通过成本模型等组件优化，大幅提升推理效率且不影响任务准确性。

Comments 16 pages, 15 figures. Code: https://github.com/baihuajun24/spork

Enabling KV Caching of Shared Prefix for Diffusion Language Models

为扩散语言模型启用共享前缀的KV缓存

Younghun Go, Jaehoon Han, Changyong Shin, Chuck Yoo, Gyeongsik Yang

机构 * Korea University（高丽大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对扩散语言模型中双向注意力导致共享前缀KV不稳定的问题，提出双向前缀缓存（bicache），通过动态识别安全层深度重用KV，避免精度崩溃，提升吞吐量36.3%-98.3%。

On the Convergence of Self-Improving Online LLM Alignment

关于自改进在线大语言模型对齐的收敛性

Xudong Wu, Pangpang Liu, Vaneet Aggarwal, Jiayu Chen

机构 * The University of Hong Kong（香港大学） ； Yale University（耶鲁大学） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 针对SAIL算法收敛性分析缺失的问题，提出SAIL-RevKL正则化目标，证明其满足PL条件并实现近线性样本复杂度，在MuJoCo和LLM对齐任务上优于原始SAIL。

Comments Accepted at UAI 2026

RaBitQCache: Rotated Binary Quantization for KVCache in Long Context LLM Inference

RaBitQCache: 面向长上下文LLM推理中KVCache的旋转二值量化

Wenhao Li, Jinhao Dong, Hailin Zhang, Wenhang Shi, Wei Lu, Xiaoyong Du

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对长上下文大语言模型推理中KV缓存导致的瓶颈，提出RaBitQCache框架，利用随机旋转二值量化和高效二进制-INT4算术无偏估计注意力权重，实现自适应Top-p检索，加速推理并减少内存I/O。

Comments Accept by ICML 26

ViTL: Temporal Logic-Guided Zero-Shot Natural Language Navigation via Vision-Language Models

ViTL：基于视觉语言模型的时间逻辑引导零样本自然语言导航

Kaier Liang, Hengde Dai, Cristian-Ioan Vasile

机构 * Lehigh University（里海大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出ViTL框架，利用大语言模型将自然语言命令编译为线性时序逻辑公式，并引入方向性评分，实现零样本多目标时序约束导航。

End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference

端到端动态稀疏性用于资源自适应的大语言模型推理

Yuhang Chen, Jinhao Duan, Ruichen Zhang, Mingfu Liang, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Parish Aggarwal, Frank Shyu, Luke Simon, Sandeep Pandey, Tianlong Chen, Xi Liu

机构 * Meta AI ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出L2A框架，通过预算条件和输入感知的门控网络，实现层跳过、头剪枝和推理令牌减少的资源自适应推理，在Llama-3-8B和Qwen-3-4B上达到34%层稀疏性且性能损失小于0.6%。

CBD: API-Only LLM Black-Box Unlearning through Controlled Behavioral Divergence

CBD：通过受控行为差异实现仅API的黑盒大模型遗忘

Zhiqiang Xie, Yijing Lin, Zhipeng Gao, Dong In Kim

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心） ； Department of Electronic and Electrical Engineering, Sungkyunkwan University（成均馆大学电子与电气工程系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对仅API黑盒访问下大模型遗忘难题，提出受控行为差异（CBD）框架，利用辅助模型构建保留与遗忘输入的行为差异并路由遗忘提示，通过基于梯度统计的判别基提升相似数据区分度，实现更优的遗忘-效用权衡。

CrossPool: Efficient Multi-LLM Serving for Cold MoE Models through KV-Cache and Weight Disaggregation

CrossPool: 通过KV缓存和权重分离实现冷MoE模型的高效多LLM服务

Zhuoren Ye, Tianyu Wo, Dinghao Xue, Mingming Zhang, Yuchen Teng, Chunming Hu, Renyu Yang

机构 * School of Software, Beihang University（北京航空航天大学软件学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 针对冷MoE模型权重与KV缓存竞争GPU内存的问题，提出CrossPool引擎，将FFN权重和KV缓存分离到不同内存池，结合规划器、虚拟化器和流水线调度器，显著提升内存利用率和长上下文支持，P99 TBT降低达10.4倍。

Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning

在分歧处定位信用：路径条件自蒸馏用于LLM推理

Yu Li, Shu Hong, Tian Lan

机构 * Department of Electrical and Computer Engineering, George Washington University（乔治华盛顿大学电气与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出Hindsight Self-Distillation (HSD)方法，通过将教师模型条件于当前训练组中的成功同伴轨迹，在失败与成功轨迹的分歧处提供密集信用信号，提升LLM在数学和代码推理任务上的性能。

Service-Induced Congestion in Memory-Constrained LLM Serving

内存受限的大语言模型服务中的服务引发拥塞

Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi

机构 * Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院） ； Columbia Business School, Columbia University（哥伦比亚大学商学院） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过离散时间动力学模型研究内存受限的大语言模型服务中，因键值缓存增长导致的服务引发拥塞，发现同质负载下无驱逐均衡不稳定且收敛到最坏情况极限环，异质负载下稳定条件与解码长度互质相关，并提出调度设计原则。

Comments 101 pages

Be My Tutor: On-Policy Co-Distillation for Mutual LLM Improvement via Peer Feedback

做我的导师：通过同伴反馈实现互惠LLM改进的在策略共蒸馏

Woohyeon Byeon, Jiwon Jeon, Jeonghye Kim, Youngchul Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出在策略共蒸馏（OPCoD）方法，通过认知门控和反馈锚定实现两个不同领域强模型间的相互教学，达到帕累托改进。

Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs

早停早省：隐藏状态探针作为LLM输出流式审核的实用方案

Huizhen Shu, Xuying Li, Piao Xue

机构 * ModelOneAI ； yunshanai（云山AI） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于隐藏状态的轻量级词元级探针，在解码循环中实时检测不安全输出，无需额外前向传播，实现亚毫秒级安全审核，可提前中断或修改生成。

Comments Technical Report. 14 pages, 3 figures, 4 tables

Less Context, Better Agents: Efficient Context Engineering for Long-Horizon Tool-Using LLM Agents

更少上下文，更优智能体：面向长周期工具使用LLM智能体的高效上下文工程

Abhilasha Lodha, Mahsa Pahlavikhah Varnosfaderani, Abir Chakraborty, Abhinav Mithal

机构 * Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对企业工具使用场景中上下文过长导致的问题，提出选择性保留最近工具交互并添加紧凑摘要的方法，在费用明细任务上将完成率从71.0%提升至91.6%，同时大幅降低token消耗和运行时间。

Comments 17 pages, 3 figures, 8 tables

Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression

联合结构剪枝与混合精度量化的大语言模型压缩

Hoang-Loc La, Truong-Thanh Le, Amir Taherkordi, Phuong Hoai Ha

机构 * UiT The Arctic University of Norway（挪威北极大学） ； University of Oslo, Norway（挪威奥斯陆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出端到端框架，通过全局误差最小化的混合精度量化策略和联合优化结构剪枝与量化策略，在超低比特下显著降低困惑度。

One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

单个冻结模拟器不够：多智能体强化学习中的模拟器崩溃问题

Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi

机构 * Northeastern University（东北大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷，提出Verbalized Sampling和Co-Training两种方案，在多轮基准测试和真实用户研究中显著提升了性能，发布了开源框架SCOPE。

Comments 41 pages, 28 figures

Multi-modal Interactive Control of Robotic Arm based on Offline Large Language Models

基于离线大语言模型的机械臂多模态交互控制

Hanxiao Chen

机构 * University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 该研究提出“Socratic Models-ChatGLM”算法，基于离线开源大语言模型与PyBullet平台实现机械臂多模态交互控制，可降低成本并解决复杂多步骤机械操作任务。

Comments This research work has been accepted for poster presentation at ICRA 2026 MEI (Multimodal Embodied Interaction in Robots) Workshop. (Here is the workshop-version short paper.)

Journal ref https://ieeexplore.ieee.org/abstract/document/11371765; 2025

Token Communication for Multimodal Large Language Model

多模态大语言模型的令牌通信

Jingkai Ying, Zhijin Qin, Yuan Shen, Khaled B. Letaief

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文针对多模态大语言模型（MLLMs）的令牌传输问题，提出适配MLLMs的令牌通信框架，通过集成神经编解码器、两阶段语义对齐训练及自适应适配器，在相同传输数据量下实现更优任务性能。

Comments 13 pages, 11 figures, 2 tables

Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems

面向复杂动态系统反馈控制器设计的大语言模型基准测试与推理蒸馏

Zhongchao Zhou, Yixuan Xie, Wenwei Yu, Yuxi Lu, Yaonan Zhu, Qian Niu, Yutaka Matsuo, Yusuke Iwasawa

机构 * The University of Tokyo（东京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Chiba University（千叶大学） ； Tongji University（同济大学） ； Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 该研究构建了CoDyControlBench基准，评估了6种LLMs的控制器设计性能，开发的15亿参数推理蒸馏模型可实现边缘部署，在机械臂试验中成功完成目标跟踪。