语言大模型 / LLM

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM

基于激活信息的帕累托引导低秩压缩用于高效LLM/VLM

Ryan Solgi, Parsa Madinei, Jiayi Tian, Rupak Swaminathan, Jing Liu, Nathan Susanj, Zheng Zhang

机构 * University of California-Santa Barbara（加州大学圣芭芭拉分校） ； Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种基于激活信息的帕累托引导低秩压缩方法，通过理论分析和算法设计，在保持模型精度的同时提升LLM和VLM的压缩效率和推理速度。

RH+: Row-Hit-Optimized Scheduling for PIM-based LLM Inference

RH+：基于PIM的LLM推理的行命中优化调度

Yongchan Jung, Shafayat Mowla Anik, Byeong Kil Lee, Jeeho Ryoo

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对PIM架构中LLM推理的GEMV操作，提出RH+调度通过改变步长使连续MAC操作在同一行，解决行周期瓶颈，实现8-12倍加速和74%以上能耗降低。

Large-Scale LLM Inference with Heterogeneous Workloads: Prefill-Decode Contention and Asymptotically Optimal Control

大规模LLM推理与异构工作负载：Prefill-Decode竞争及渐进最优控制

Ruihan Lin, Zezhen Ding, Zean Han, Jiheng Zhang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了大规模LLM推理中异构工作负载下的Prefill-Decode竞争问题，提出了一种随机控制框架，通过多类多服务器队列网络模型，实现了渐进最优的资源分配与调度策略。

Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models

最小化缩放因子的隐藏成本：面向大语言模型的图引导超低位量化

Rayyan Abdalla, Amir Hussein, Min Wu, Dinesh Manocha

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 提出SAGE-PTQ框架，通过图引导的显著性感知量化分离显著与非显著权重，实现超低位量化并最小化缩放开销，在LLaMA-3-8B上困惑度降至6.74且内存低于BiLLM的50%。

Comments Preprint. 18 pages, 10 figures, 7 tables, including appendix

IR3DE: A Linear Router for Large Language Models

IR3DE：面向大型语言模型的线性路由器

Eros Fanì, Oğuzhan Ersoy

机构 * Gensyn 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出基于岭回归的线性路由器IR3DE，以低成本快速为每个提示选择最合适的领域专家大语言模型，在推理任务中超越基线方法，并支持动态添加或移除专家模型。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference

Channel-Wise Mixed-Precision Quantization for Large Language Models

通道级混合精度量化用于大语言模型

Zihan Chen, Bike Xie, Jundong Li, Cong Shen

机构 * Department of Electrical and Computer Engineering, University of Virginia（电气与计算机工程系，弗吉尼亚大学） ； Kneron Inc.（芯驰科技） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出通道级混合精度量化（CMPQ），通过根据激活分布分配不同精度级别来优化大语言模型的量化过程，从而在低比特范围内实现任意平均比特宽度，并在内存使用增加有限的情况下提升性能。

Learning to Route LLMs from Implicit Cost-Performance Preferences via Meta-Learning

通过元学习从隐式成本-性能偏好中学习路由LLM

Jiahao Zeng, Ming Tang, Ningning Ding

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MetaRouter框架，利用元学习从少量交互中学习用户隐式成本-性能偏好，实现个性化LLM路由，在分布内外任务上优于基线方法。

DAST: A VLM-LLM Framework for Cross-Interface Anomaly Detection in O-RAN

DAST: 面向O-RAN跨接口异常检测的VLM-LLM框架

Francesco Spinelli, Esteban Municio, Pau Baguer, Gines Garcia-Aviles, Xavier Costa-Perez

机构 * i2CAT Foundation（i2CAT基金会） ； NEC Laboratories Europe（NEC欧洲实验室） ； ICREA 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出DAST，一种零样本多智能体框架，通过VLM→LLM→VLM三级流水线将多变量KPI流转换为视觉表示，结合领域知识进行跨接口异常检测，在真实O-RAN测试平台上优于现有TSAD方法。

Comments 7 pages, 5 figures. This work has been submitted to the IEEE for possible publication

SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs

SHALA-LLM：在对齐LLM中智能处理模糊标签

Jingyao Wu, Ashley Wang, Keane Ong, Paul Pu Liang, Rosalind Picard

机构 * MIT Media Lab, Massachusetts Institute of Technology（麻省理工学院媒体实验室、麻省理工学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出SHALA-LLM强化学习框架，通过从标注者分布中学习并动态优先处理高模糊样本，改善LLM对模糊标签的建模，在NLI和情感识别任务中提升与标注者分布的一致性及分类性能。

Beyond Greedy Chunking: SLO-Aware Sliding-Window Scheduling for LLM Inference

超越贪婪分块：面向LLM推理的SLO感知滑动窗口调度

Yuansheng Chen, Yue Zhang, Xuan Mo, Weigang Wu, Jialun Li

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SlidingServe系统，通过滑动窗口分块、轻量级批次延迟预测和动态规划批次构建，在保证服务质量约束下提升大语言模型在线推理的吞吐量并降低SLO违规率。

DeployBench: Benchmarking LLM Agents for Research Artifact Deployment

DeployBench: 用于研究工件部署的LLM智能体基准测试

Yuanli Wang, Yaoyao Qian, Yue Zhang, Hanhan Zhou, Jindan Huang, Tianfu Fu, Qiuyang Mang, Huanzhi Mao, Wenhao Chai, Wendong Fan, Liqiang Jing

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出DeployBench基准，包含51个跨领域的研究工件部署任务，评估LLM智能体在环境设置中的表现，发现主要失败原因是智能体过早停止且验证不充分。

Edge-Aware Curvature Modeling for Graph Understanding in Large Language Models

面向大语言模型图理解的边缘感知曲率建模

Zhenghong Lin, Zhibin Shi, Hongyang Dong, Xinjie Ye, Yuhong Chen, Shiping Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对图感知大语言模型中节点级对齐忽略边缘信息导致信息传播次优的问题，提出CureLLM框架，通过无训练文本提示和曲率感知图表示学习注入边缘信号，在11个数据集上超越20种对比方法。

USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding

USAD 2.0：面向通用音频理解的表征蒸馏规模化

Heng-Jui Chang, Alexander H. Liu, Saurabhchand Bhati, Mrudula Athi, Anton Ratnarajah, Amit Chhetri, James Glass

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出USAD 2.0通用音频编码器，通过领域感知蒸馏融合自监督和监督基础模型知识，并扩展至音乐领域，经深度缩放达到十亿参数，在探测和基于LLM的评估中取得领先性能。

Comments Accepted to Interspeech 2026

PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training

PC层：通过多项式权重预处理改进大语言模型预训练

Senmiao Wang, Tiantian Fang, Haoran Zhang, Yushun Zhang, Kunxiang Zhao, Alex Schwing, Ruoyu Sun

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Google LLC（谷歌公司） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 提出一种多项式预条件子权重参数化方法（PC层），通过低阶多项式预条件重塑权重矩阵奇异值谱，确保LLM训练中权重条件稳定，且训练后无推理开销，在Llama-1B预训练中优于标准Transformer。

YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition

YouZhi：通过自适应GQA到MLA转换实现高并发金融大语言模型

PSBC LLM Team, Huawei LLM Team, Ruihan Long, Junjie Wu, Tianan Zhang, Duo Zhang, Yaozong Wu, Jinbin Fu, Chang Liu, Zhentao Tang, Wenshuang Yang, Xin Wang, Zhihao Song, Ning Huang, Wenjing Xu, Shuai Zong, Shupei Sun, Sen Wang, Jing Hu, Bin Wang, Xinyu Wang, Junkui Ju, Zequn Ding, Jie Ran, Man Luo, Shixiong Kai, Linkai Hou, Kaichao Liang, Hu Zhao, Yang Zhao, Shucheng Lin, Wei Yu, Chenghan Jiang, Jingjing Ding, Jiahui Zhang, Tian Jin, Yuhang Zhang, Dong Guo, Wei Sun, Jun Xie, Jianwei Li, Lei Cao, Pei Li, Jiabin Li, Jia Yuan, Rui Yuan, Jing Zhu, Mingxuan Yuan, Zhangcheng Lv, Xin Jiang, Xiuhong Fei, Xiaozhe Ren, Yulong Li, Zhipeng Zhang, Hang Wang, Zhaohui Xu, Rui Zhao, Yibo He, Xinzhuang Niu

机构 * Postal Savings Bank of China & Huawei LLM Team（中国邮政储蓄银行及华为LLM团队） ； Postal Savings Bank of China（中国邮政储蓄银行） ； Huawei Technologies（华为技术） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出YouZhi-LLM，通过层自适应GQA-to-MLA转换框架和基于昇腾的训练流水线，显著压缩KV缓存并提升金融领域高并发推理效率。

Analysis of the Neglect-Zero Effect in Large Language Models

大型语言模型中忽视零效应的分析

Jin Tanaka, Daiki Matsuoka, Ryoma Kumon, Hitomi Yanaka

机构 * The University of Tokyo（东京大学） ； RIKEN（理化学研究所） ； Tohoku University（东北大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract_cn)；分类 cs.CL

AI总结 本研究通过结构启动范式，探究大型语言模型是否像人类一样存在忽视零效应，即忽略使命题因空集而空洞为真的零模型。

Comments 14 pages (10 pages main text), 8 figures. To appear in the Proceedings of the ACL2026 Student Research Workshop (SRW)

Alpha-RTL: Test-Time Training for RTL Hardware Optimization

Alpha-RTL: 面向RTL硬件优化的测试时训练

Peilong Zhou, Zhirong Chen, Cangyuan Li, Haoyu Gao, Kaiyan Chang, Ziming Qu, Ying Wang

机构 * SKLP, Institute of Computing Technology, Chinese Academy of Sciences（SKLP，计算技术研究所，中国科学院） ； University of the Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉学科学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出TTT-RTL框架，通过测试时强化学习结合EDA反馈（语法检查、仿真和PPA奖励）优化LLM生成的RTL设计，在RTLLM v2.0和工业级C910 FPU单元上分别降低PPA乘积65.1%和ADP 59.4%。

Comments 10 pages, 5 figures

Toward Pre-Deployment Assurance for Enterprise AI Agents: Ontology-Grounded Simulation and Trust Certification

面向企业AI代理的部署前保障：基于本体的仿真与信任认证

Thanh Luong Tuan, Abhijit Sanyal

机构 * Golden Gate University（金门大学） ； Data, Digital & IT, Novartis Healthcare Pvt. Ltd.（数据、数字与IT，诺华健康护理私人有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出一种基于本体的验证框架，通过本体驱动的场景生成和信任证书，实现企业AI代理在部署前的自动化监管合规与安全认证。

Comments 26 pages, 3 figures. Companion to arXiv:2604.00555. Code and data: https://github.com/frank-luongt/faos-research/tree/main/RA-6

EGTR-Review: Efficient Evidence-Grounded Scientific Peer Review Generation via Multi-Agent Teacher Distillation

EGTR-Review: 基于多智能体教师蒸馏的高效证据支撑科学同行评审生成

Xinpeng Qiu, Wang Yihu, Zhifeng Liu, Xiaochen Wang, Jimin Wang

机构 * Department of Information Management, Peking University（北京大学信息管理系） ； PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EGTR-Review框架，通过多智能体教师蒸馏和证据加权目标，实现轻量级学生模型的高质量、可溯源同行评审生成。

Topology-Aware Layer Pruning for Large Vision-Language Models

面向拓扑的层剪枝用于大型视觉-语言模型

Pengcheng Zheng, Chaoning Zhang, Ya Wen, Wang Liu, Qigan Sun, Jiarong Mo, Jiaquan Zhang, Jewon Lee, Tae-Ho Kim, Kuien Liu, Tianyu Li, Caiyan Qin, Yang Yang

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出了一种面向拓扑的层剪枝框架，用于大型视觉-语言模型，通过利用拓扑持续同调量化层间拓扑一致性，实现自适应剪枝以保留关键表示转换。

Comments This manuscript has been withdrawn by the authors. It reproduced the methodology of Gardinazzi et al., arXiv:2410.11042, without citation, and utilized code and data from the associated repository (github.com/RitAreaSciencePark/ZigZagLLMs) without disclosure or violate the MIT License. A revised future version with full attribution may be prepared. For any feedback, please contact Pengcheng Zheng

Vortex: Efficient and Programmable Sparse Attention Serving for AI Agents

Vortex: 面向AI Agent的高效可编程稀疏注意力服务

Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Rice University（Rice大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Vortex系统，通过Python嵌入式前端语言和面向页面的张量抽象，结合高效后端，实现稀疏注意力算法的快速原型设计、部署和评估，显著提升吞吐量。

QCFuse: Query-Aware Cache Fusion via Compressed View for Efficient RAG Serving

QCFuse: 通过压缩视图的查询感知缓存融合实现高效RAG服务

Jianxin Yan, Wangze Ni, Zhenxin Li, Jiabao Jin, Zhitao Shen, Haoyang Li, Jia Zhu, Peng Cheng, Xuemin Lin, Lei Chen, Kui Ren

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Ant Group（蚂蚁集团） ； The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Normal University（浙江师范大学） ； Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出QCFuse，一种基于压缩视图的查询感知选择器，通过块锚查询探测和关键层分析实现高效RAG缓存融合，在保持全预填充质量的同时平均加速1.7倍。

CUCo: An Agentic Framework for Compute and Communication Co-design

CUCo：一种用于计算与通信协同设计的代理框架

Yoga Sri Varshan Varadharajan, Bodun Hu, Saurabh Agarwal, Aditya Akella

机构 * UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 本文提出CUCo框架，通过结合结构化设计空间形式化和正确性优先的快速路径代理以及进化驱动的慢速路径代理，实现了CUDA内核的计算与通信协同设计，从而在四个多GPU工作负载中实现了1.57倍的加速，并在LLM推理成本低于10美元的情况下发现了一种双流重叠策略。

Towards Unified and Data-Efficient Prognostics and Health Management with Tabular Foundation Models

面向统一且数据高效的预测与健康管理：基于表格基础模型

Raffael Theiler, Lev Telyatnikov, Leandro Von Krannichfeldt, Olga Fink

机构 * IMOS Lab, EPFL（IMOS实验室，瑞士联邦理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出利用表格基础模型通过上下文学习处理工业时间序列，实现预测与健康管理（PHM）任务，在低数据场景下表现优异，并优于序列模型和梯度提升树。

Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering

纠正大语言模型基准测试中的提示依赖：一种具有嵌入空间聚类的贝叶斯分层模型

Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种贝叶斯分层模型，通过嵌入空间聚类来纠正大语言模型基准测试中的提示依赖问题，在数据有限的情况下提供更稳健的性能指标，并在对抗鲁棒性基准测试中实现了性能指标的显著提升。

Comments Accepted to the 1st Workshop on Combining Theory and Benchmarks, CTB@ICML 2026, Seoul, South Korea

You Only Index Once: Cross-Layer Sparse Attention with Shared Routing

仅索引一次：具有共享路由的跨层稀疏注意力

Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出跨层稀疏注意力（CLSA），通过共享KV缓存和路由索引，在保持token稀疏注意力精度的同时减少路由开销，显著提升长上下文LLM的解码效率。

MotionDisco: Motion Discovery for Extreme Humanoid Loco-Manipulation

MotionDisco: 用于极端人形机器人移动操作的运动发现

Ilyass Taouil, Michal Ciebelski, Shafeef Omar, Haizhou Zhao, Angela Dai, Aaron M. Johnson, Majid Khadiv

机构 * Technical University of Munich, Germany（慕尼黑技术大学） ； New York University, USA（纽约大学） ； Carnegie Mellon University, USA（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出MotionDisco框架，通过大语言模型引导的进化搜索和顺序运动动力学轨迹优化，从零开始自动发现长时域、接触丰富的人形机器人移动操作技能，并在真实机器人上部署。

On Advantage Estimates for Max@K Policy Gradients

关于 Max@K 策略梯度的优势估计

Shota Takashiro, Soichiro Nishimori, Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Gouki Minegishi, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对稀疏奖励下推理模型后训练困难，提出一种新的优势估计方法 MaxPO，通过 Leave-Two-Out 基线实现中心化优势，降低梯度方差并提升性能。

Data-efficient flood depth prediction through domain-aware coreset selection and tabular foundation models

数据高效的洪水深度预测：通过领域感知的核心集选择与表格基础模型

Lipai Huang, Adithi Srinath, Manas Singh, Junwei Ma, Ali Mostafavi

机构 * Urban Resilience.AI Lab（Urban Resilience.AI实验室） ； Zachry Department of Civil and Environmental Engineering, Texas A&M University（Zachry土木与环境工程系，德克萨斯A&M大学） ； Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学） ； Resilitix Intelligence LLC ； Institute for a Disaster Resilient Texas, Texas A&M University（德克萨斯灾难韧性研究所，德克萨斯A&M大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出一种领域感知的核心集构建流程，结合表格基础模型，仅用0.7%的训练数据即可实现与监督模型相当的洪水深度预测精度，并支持跨流域迁移。

LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models

LimiX-2M：缓解表格基础模型中的低秩坍塌和注意力瓶颈

Yuanrui Wang, Xingxuan Zhang, Han Yu, Mingchao Hao, Gang Ren, Hao Yuan, Li Mao, Yunjia Zhang, Chun Yuan, Peng Cui

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出统一tokenize-and-route框架LimiX-2M，通过RaBEL扩展标量为局部RBF特征并重新排序双向块S→N→F，以2M参数超越更大模型，改善表格基础模型的精度-效率权衡。

Comments Accepted to ICML 2026