语言大模型 / LLM

Distribution-Aware Algorithm Design with LLM Agents

具有LLM代理的分布感知算法设计

Saharsh Koganti, Priyadarsi Mishra, Pierfrancesco Beneventano, Tomer Galanti

机构 * Texas A&M University（德克萨斯大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究了学习可执行求解器代码而非预测器的场景，提出求解器提示抽象，并证明其在正确性和运行时间上的泛化能力，通过LLM代码代理在多个组合优化问题上验证了方法的有效性。

Enhancing CVRP Solver through LLM-driven Automatic Heuristic Design

通过LLM驱动的自动启发式设计增强CVRP求解器

Zhuoliang Xie, Fei Liu, Zhenkun Wang, Qingfu Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AILS-AHD方法，结合进化搜索框架与大语言模型动态生成和优化破坏启发式，并引入加速机制，在中等和大规模CVRP实例上优于现有求解器，在CVRPLib大规模基准中10个实例上取得8个新最优解。

MORTAR: Multi-turn Metamorphic Testing for LLM-based Dialogue Systems

MORTAR：基于LLM的对话系统的多轮蜕变测试

Aaron Guoxiang Guo, Aldeida Aleti, Neelofar Neelofar, Chakkrit Tantithamthavorn, Yuanyuan Qi, Tsong Yueh Chen

机构 * Faculty of Information Technology, Monash University（墨尔本大学信息科技学院） ； School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院） ； School of Science, Computing and Emerging Technologies, Swinburne University of Technology（斯威本理工大学科学、计算与新兴技术学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出MORTAR方法，通过多轮蜕变关系自动化生成测试用例，解决LLM对话系统多轮测试中的预言问题，相比单轮测试每个用例发现更多且更高质量的缺陷。

Comments Accepted for publication in IEEE Transactions on Software Engineering (TSE)

Parallelizing Tool Execution and LLM Generation for Low-Latency Agent Serving

并行化工具执行与LLM生成以实现低延迟代理服务

Yifan Sui, Han Zhao, Rui Ma, Zhiyuan He, Hao Wang, Jianxun Li, Kaiqiang Xu, Kai Chen, Yuqing Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Microsoft Research（微软研究院） ； Stevens Institute of Technology（Stevens 工程学院） ； Google（谷歌） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出PASTE系统，通过预测性执行未来工具调用与LLM生成并行，减少任务完成时间43.5%。

Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving

Tangram: 解锁非均匀KV缓存以实现高效的多轮LLM服务

Hyungmin Kim, Minsoo Kim, Hongseok Kim, Jungwook Choi

机构 * Hanyang University（翰林大学） ； Rebellions Republic of Korea（Rebellions） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对多轮LLM服务中KV缓存线性增长导致的GPU内存和带宽压力，提出Tangram系统，通过确定性预算分配、头组页面和提前负载均衡三项技术实现非均匀KV缓存的高效管理，吞吐量提升达2.6倍。

Comments 13 pages. 15 figures

Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization

超越检索：学习紧凑用户表示以实现可扩展的LLM个性化

Heng Cao, Fan Zhang, Jian Yao, Yujie Zheng, Changlin Zhao, Lu Hao, Yuxuan Wei, Wangze Ni, Huaiyu Fu, Yuqian Sun, Xuyan Mo

机构 * Microsoft（微软公司） ； Shanghai International Studies University（上海国际问题研究大学） ； Zhejiang University（浙江大学） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出TAP-PER框架，通过可学习的用户状态前缀嵌入编码用户偏好，避免显式提示构建和繁重的每用户适配器，在六个LaMP任务上优于基线方法，并显著减少参数开销。

Comments 16 pages, 6 figures

Rescaling Confidence: What Scale Design Reveals About LLM Metacognition

重新缩放置信度：量表设计揭示LLM元认知

Yuyang Dai, Yuxia Wang

机构 * INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT，索菲亚大学‘圣克莱门特·欧里德斯基’） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究LLM口头置信度受量表设计影响，发现0-20量表比标准0-100量表更有效提升元认知效率。

Comments 20 pages

Photon: Federated LLM Pre-Training

Photon: 联邦大语言模型预训练

Lorenzo Sani, Alex Iacob, Zeyu Cao, Royson Lee, Bill Marino, Yan Gao, Dongqi Cai, Zexi Li, Wanru Zhao, Xinchi Qiu, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； Flower Labs（Flower实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Photon系统，首次实现联邦端到端LLM预训练，通过跨孤岛联邦学习在弱连接GPU上训练高达7B参数模型，通信量减少64-512倍，收敛速度比DiLoCo快2倍。

Comments 18 pages, 9 appendix pages, 12 figures, 3 algorithms, 12 tables

Journal ref Proceedings of Machine Learning and Systems 7 (MLSys 2025), 2025

LLM-Powered AI Agent Systems and Their Applications in Industry

基于大语言模型的AI智能体系统及其工业应用

Guannan Liang, Qianqian Tong

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文综述了从传统智能体到LLM驱动智能体的演进，分类为软件、物理和自适应混合系统，并讨论了在客服、软件开发、制造、教育、金融和医疗等领域的应用及挑战。

Comments This is the author's accepted version of the paper accepted to appear at IEEE AIIoT 2025. The final version will be available via IEEE Xplore. \c{opyright}2025 IEEE. Personal use of this material is permitted

Select to Think: Unlocking SLM Potential with Local Sufficiency

Select to Think: 利用局部充分性解锁小语言模型潜力

Wenxuan Ye, Yangyang Zhang, Xueli An, Georg Carle, Yunpu Ma

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：SLM(title,abstract)；LLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)

AI总结 提出Select to Think (S2T)方法，通过将大语言模型角色从生成转为选择，并蒸馏选择逻辑到小语言模型，使其在推理时无需依赖大模型，显著提升性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/YeRona/Select-to-Think

Bit-Flip Vulnerability of Shared KV-Cache Blocks in LLM Serving Systems

LLM服务系统中共享KV缓存块的位翻转漏洞

Yuji Yamamoto, Satoshi Matsuura

机构 * Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究揭示LLM服务系统中共享KV缓存块的位翻转漏洞，指出其具有静默分歧、选择性传播和持久累积特性，提出基于校验和的防护措施以限制累积损害。

Comments 12 pages, 4 figures. Accepted at SECRYPT 2026 (23rd International Conference on Security and Cryptography). Conference: https://secrypt.scitevents.org/

Efficient Scaling of LLM Training with Flexible Context Parallelism

利用灵活上下文并行实现LLM训练的高效扩展

Yifan Niu, Han Xiao, Dongyi Liu, Wei Zhou, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对数据异构导致负载不均和通信冗余问题，提出自适应重配置通信组和上下文并行度的FCP策略，实现近线性加速比，最高达1.46倍吞吐提升。

Meeting SLOs, Slashing Hours: Automated Enterprise LLM Optimization with OptiKIT

满足SLO，节省时间：使用OptiKIT实现企业级LLM自动化优化

Nicholas Santavas, Kareem Eissa, Patrycja Cieplicka, Piotr Florek, Matteo Nulli, Stefan Vasilev, Seyyed Hadi Hashemi, Antonios Gasteratos, Shahram Khadivi

机构 * Anonymous Authors（匿名作者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出OptiKIT分布式LLM优化框架，通过自动化复杂优化流程，为非专家团队提供动态资源分配和流水线执行，实现GPU吞吐量提升2倍以上，降低优化门槛。

Comments Accepted in MLSys 2026

LLMs Remember First, Forget Last: Dual-Process Interference in Large Language Models

Transformer 优先记住，最后遗忘：大型语言模型中的双过程干扰

Sourav Chattaraj, Kanak Raj

机构 * Thomson Reuters（汤姆森路透） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究探讨了大型语言模型在面对冲突信息时的记忆保留机制，发现前瞻性干扰主导后置性干扰，揭示了Transformer注意力机制中的优先效应。

Comments NPIR, Springer book series: Lecture Notes in Networks and Systems, indexed by Scopus and Ei Compendex

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models

广义Fisher加权奇异值分解：用于压缩大语言模型的可扩展克罗内克分解Fisher近似

Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

机构 * Applied AI Institute（应用人工智能研究所） ； Innopolis University（因诺普利斯大学） ； HSE University（俄罗斯高等经济大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 研究针对大语言模型压缩，提出广义Fisher加权奇异值分解（GFWSVD）技术，通过考虑Fisher信息矩阵对角和非对角元素，引入可扩展的克罗内克分解近似算法，有效提升压缩效果，优于现有压缩基线。

DarwinLM: Evolutionary Structured Pruning of Large Language Models

达尔文语言模型：大语言模型的进化结构化剪枝

Shengkun Tang, Oliver Sieberling, Eldar Kurtic, Zhiqiang Shen, Dan Alistarh

机构 * MBZUAI ； ETH Zurich（苏黎世联邦理工学院） ； ISTA ； Red Hat AI（红帽人工智能） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型计算成本高的问题，提出达尔文语言模型（DarwinLM），基于进化搜索过程，通过变异生成后代模型并经多步训练选择最优者，在多个模型上实验验证，实现结构化剪枝最优性能，压缩后训练所需数据更少。

Comments Accepted by COLM 2026 Code: https://github.com/IST-DASLab/DarwinLM

LUQ: Layerwise Ultra-Low Bit Quantization for Multimodal Large Language Models

LUQ: 多模态大语言模型的逐层超低位量化

Shubhang Bhatnagar, Andy Xu, Kar-Han Tan, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； HP Inc.（惠普公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。

Comments Published in Transactions on Machine Learning Research (2026)

X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs

X-OPD：面向语音大语言模型能力对齐的跨模态在策略蒸馏

Di Cao, Dongjie Fu, Hai Yu, Siqi Zheng, Xu Tan, Tao Jin

机构 * Tencent Hunyuan（腾讯文心） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出X-OPD框架，通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力，利用文本教师模型评估语音模型的轨迹并提供令牌级反馈，显著缩小复杂任务性能差距。

Comments Accepted by Interspeech 2026

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

Potential Applications of HBF in LLM Serving Systems

HBF在大语言模型（LLM）服务系统中的潜在应用

Yihan Yin, Yinlun Zhao, Zhixin Yun, Guanying Wu, Feng Zhu, Kai Tao, Shu Li, Fei Huang, Zhe Zhang, Shuangchen Li, Hongzhong Zheng

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究针对LLM服务的内存容量限制，提出将HBF集成到GPU内存层级的方案，通过仿真验证其可提升MoE和多模型服务性能，需保留HBM驻留执行路径。

HybridFlow: Resource-Adaptive Subtask Routing for Efficient Edge-Cloud LLM Inference

HybridFlow: 适应资源的子任务路由用于高效的边缘-云LLM推理

Jiangwen Dong, Jiayu Li, Tianhang Zheng, Wanyu Lin

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 HybridFlow通过动态资源适应的子任务路由框架，提升边缘-云LLM推理的效率与准确性。

Comments Accepted by ICML 2026

OmniInfer: System-Wide Acceleration Techniques for Optimizing LLM Serving Throughput and Latency

OmniInfer: 通过优化LLM服务吞吐量和延迟提升系统整体加速技术

Jun Wang, Yunxiang Yao, Wenwei Kuang, Runze Mao, Zhenhao Sun, Zhuang Tao, Ziyang Zhang, Dengyu Li, Jiajun Chen, Zhili Wang, Kai Cui, Congzhi Cai, Longwen Lan, Ken Zhang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 OmniInfer通过统一框架优化LLM服务吞吐量和延迟，减少TPOT和TTFT，提升系统整体性能。

Comments Project page: [this https URL](https://gitee.com/omniai/omniinfer)

Clairvoyant: Predictive Shortest-Job-First Admission for Serial LLM Inference

Clairvoyant: 预测性SJF调度以缓解串行LLM后端中的队头阻塞

Aravind Sundaresan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出Clairvoyant，一种轻量级侧车代理，通过预测请求长度实现SJF调度，缓解串行LLM后端中的队头阻塞，显著降低短请求延迟。

Comments 17 pages, 3 figures, 8 tables. Code: https://github.com/Aravind0403/clairvoyant-scheduler

TENT: A Declarative Slice Spraying Engine for Performant and Resilient Data Movement in Disaggregated LLM Serving

TENT：一种用于高性能和容错数据移动的声明式切片喷射引擎

Feng Ren, Ruoyu Qin, Teng Ma, Shangming Cai, Zheng Liu, Chao Lei, Dejiang Zhu, Ke Yang, Zheming Li, Jialei Cui, Weixiao Huang, Yikai Zhao, Yineng Zhang, Hao Wu, Xiang Gao, Yuhao Fu, Jinlei Jiang, Yongwei Wu, Mingxing Zhang

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 TENT通过解耦传输意图与物理执行，统一异构互连技术为动态资源池，实现高效、容错的数据传输，提升LLM推理和RL流水线性能。

HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching

HYPIC: 利用位置无关缓存加速混合注意力LLM服务

Yifei Liu, Juntong Wu, Yang Liu, Junhao Hu, Minghao Li, Xiaoxu Chen, Weihang Chen

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出Hypic系统，通过段累积转移算子和边界重计算，实现混合注意力LLM的位置无关缓存，显著降低首令牌延迟并提升吞吐量。

SysVCoder: An LLM-Driven Framework for Systematic Generation of System-Level Design

SysVCoder: 一种LLM驱动的系统级设计系统性生成框架

Jian Zuo, Junzhe Liu, Xianyong Wang, Chen Liang, Navya Goli, Umamaheswara Rao Tida, Zhenge Jia, Zhaoyan Shen, Mengying Zhao

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SysVCoder框架，通过两阶段生成流水线、规则对齐机制和领域特定检索增强生成策略，提升Verilog系统级设计的生成质量与效率，在功能正确性上优于现有方法。

Comments This paper is accepted at APPT'26

SkillReducer: Optimizing LLM Agent Skills for Token Efficiency

SkillReducer: 优化LLM代理技能的令牌效率

Yudong Gao, Zongjie Li, Yuanyuan Yuan, Zimo Ji, Pingchuan Ma, Shuai Wang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对LLM代理技能中令牌浪费问题，提出SkillReducer两阶段优化框架，通过压缩路由描述和重构技能主体，实现48%描述压缩和39%主体压缩，同时提升功能质量2.8%。

Collaborative Lossless LLM Inference Serving with Offloading-based Pipeline Parallelism on Edge Devices

基于卸载的流水线并行实现边缘设备上的协作无损LLM推理服务

Mingyu Sun, Xiao Zhang, Shen Qu, Yan Li, Mengbai Xiao, Yanwei Zheng, Yuan Yuan, Dongxiao Yu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出LOIP系统，通过卸载感知的交叉流水线并行、细粒度分配调度和在线内存自适应策略，在异构边缘设备上实现LLM无损推理，相比基线加速8.8-20.3倍。

Comments 12 pages, 16 figures

EasyUUV: An LLM-Enhanced Universal and Lightweight Sim-to-Real Reinforcement Learning Framework for UUV Attitude Control

EasyUUV：一种用于UUV姿态控制的LLM增强通用轻量级仿真到现实强化学习框架

Guanwen Xie, Jingzehua Xu, Jiwei Tang, Yubo Huang, Zixi Wang, Shuai Zhang, Dongfang Ma, Juntian Qu, Xiaofan Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系） ； Department of Data and Systems Engineering, The University of Hong Kong（香港大学数据与系统工程系） ； School of Civil Engineering, Southwest Jiaotong University（西南交通大学土木工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系） ； Ocean College, Zhejiang University（浙江大学海洋学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出EasyUUV框架，结合并行强化学习与混合控制架构，并集成多模态大语言模型自适应调整参数，实现UUV姿态控制的鲁棒性和泛化性，经仿真与实船验证。

Comments 12 pages, 14 figures

Orchestration for Domain-specific Edge-Cloud Language Models

面向特定领域的边缘-云端语言模型的编排

Prasoon Patidar, Alex Crown, Kevin Hsieh, Yifei Xu, Tusher Chakraborty, Ranveer Chandra, Yuvraj Agarwal

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)

AI总结 提出ECO-LLM系统，通过联合优化LLM服务流水线组件配置，在查询级别动态选择策略，在智能家居和智能汽车场景中相比GPT-4o准确率提升至90%，成本降低90%，延迟降低55%。