语言大模型 / LLM

Memory Efficient Tabular Foundation Models

内存高效的表格基础模型

Shuting Luo, Monika Mikhail Kanaan, Cameron Gordon, Anna Leontjeva, Simon Lucey

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文研究表格基础模型的内存需求，采用模型压缩方法可实现最高7.6倍内存缩减，同时保持相近性能，降低近87%部署需求，为从业者高效部署这类模型提供见解。

Comments 12 pages, 3 figures Accepted at FMSD @ ICML 2026

Journal ref FMSD @ ICML 2026

Bits and Memories: Measuring Verbatim Extraction Across LLM Quantization

比特与记忆：测量大语言模型量化中的逐字提取

Akshay Sasi

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.LG

AI总结 研究语言模型量化中逐字提取情况，用Pythia模型及公共序列集，在多精度级别和模型大小下跟踪，发现量化是有选择性的遗忘器，但不足以成隐私保护手段，得出压缩非去记忆训练数据方法，从业者应关注提取的结论。

Comments 8 pages, 3 figures. Code: https://github.com/AkshaySasi/bits-and-memories. Data and results: https://huggingface.co/datasets/AkshaySasi/bits-and-memories

VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation

VaLiDRec：用于生成式推荐的可变长度大语言模型对齐语义ID

Shutong Qiao, Wei Yuan, Tong Chen, Hao Wang, Quoc Viet Hung Nguyen, Hongzhi Yin

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对生成式推荐中固定长度语义标识符的问题，提出VaLiDRec框架，通过令牌重要性估计等构建可变长度、大语言模型对齐语义标识符，纳入图感知软提示建模用户偏好，实验证明其性能优越，为生成式推荐提供新范式。

Comments 10 pages, 4 figures, 5 tables

Patient-Agnostic Synthetic Pretraining for Efficient Patient-Specific Intraoperative 2D/3D Registration

用于高效患者特异性术中二维/三维配准的患者无关合成预训练

Minheng Chen, Youyong Kong

专题命中 效率与部署 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究术中二维/三维配准问题，提出基于患者无关合成预训练和球面相似性学习的框架，先预训练模型学习可转移表示，再用目标CT投影适应新患者，引入无分割域随机化策略，实验证明该方法能降低训练需求并保持配准精度。

From Data to Device: ELMOD An Efficient German-First 2.7B Language Model for Mobile Inference

从数据到设备：ELMOD 一种用于移动推理的高效 27 亿参数德语优先语言模型

Darina Gold, Alexander Schwirjow, Viktor Haag, Viktor Hangya, Joel Schlotthauer, Fabian Küch, Luzian Hahn

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 介绍 ELMOD 这个专为移动推理设计的 27 亿参数德语语言模型，在有限预算下用公开数据训练，开发特定德语数据预处理及质量过滤等步骤，使其在<3B 规模中性能最强，能与 7B 参数德语模型媲美。

Comments Accepted to KONVENS 2026

KAP: Bridging the Knowledge Selection-Runtime Consumption Gap in LLM Systems

KAP：弥合大语言模型系统中知识选择与运行时消耗的差距

Shuo Wang, Fang Xi, Wenyuan Huang, Qing Wang, Junming Su

机构 * QiYuanLab（启元实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究大语言模型系统中知识选择与运行时消耗的差距，提出知识访问规划（KAP）范式，通过建立通用中间表示编译知识信号控制KV访问，以GraphSpec实例化，改变长上下文生成扩展轨迹，提升运行时消耗效率。

Comments 3 figures, 5 tables

GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models

GOTS：用于高分辨率视觉语言模型的贪婪正交令牌选择

Jun Ling, Tao Huang, Junzhuo Liu, Bowen Tang, Peng Wang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究高分辨率视觉语言模型中令牌减少问题。提出GOTS方法，通过所选跨度互补性，无训练且与查询无关，每步选正交最大剩余能量令牌。在多主干和基准测试中性能优，还减少模型端首次令牌时间。

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

KroQuant：用于扩散Transformer高效训练后量化的克罗内克结构块变换

Yann Bouquet, Alireza Khodamoradi, Kristof Denolf, Mathieu Salzmann

机构 * EPFL（洛桑联邦理工学院） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对扩散Transformer训练后量化到W4A4质量严重下降问题，提出KroQuant方法，对激活值3个2元素块应用克罗内克结构可逆变换，存储参数少，运行快，结合离线LoRaQ权重校准，输出更接近FP参考且保持或提高图像质量。

Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing

泄漏语言模型：通过逐令牌计时窃取架构和推理优化

Sadegh Majidi, Niloofar Mireshghallah, Kazem Taram

机构 * Purdue University（普渡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 研究通过LeakyLMs攻击从生产语言模型中窃取信息，利用令牌生成时间推断关键细节。核心方法是构建令牌生成时间模型，可针对推理优化和部署策略及恢复架构属性。主要贡献是能有效窃取模型、架构和部署信息，实验效果良好。

Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants

自主拓扑变异：具有能力、状态和影子不变量的多智能体大语言模型系统的安全运行时重组

Bronislav Sidik, Chaya Levi, Nizzan Kimhi

机构 * Toga Networks (Huawei)（托加网络（华为）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统运行时无自我重组机制的问题，提出自主拓扑变异（ATM）机制，结合遥测驱动过载检测与安全不变量，经实验验证可提升任务成功率、减少隐私内存暴露并降低延迟，且相关内容已开源。

Comments 9 pages, 5 tables. Code and benchmark harness available at https://github.com/sidikbro/jiuwen_atm

InferenceBench: A Benchmark for Open-Ended LLM Inference Optimization by AI Agents

InferenceBench：用于通过人工智能代理进行开放式大语言模型推理优化的基准测试

Jehyeok Yeon, Ben Rank, Maksym Andriushchenko

机构 * ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen AI Center（图宾根ELLIS研究所、马克斯·普朗克智能系统研究所、图宾根人工智能中心） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究旨在为开放式大语言模型推理优化建立基准测试InferenceBench，让代理部署推理服务器优化推理速度。通过多种场景和配置测试，发现代理虽能提升性能，但仍有局限，瓶颈在于提出多样配置等能力，反映了代理在开放式环境中的操作能力。

EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization

EvoThink：通过自剪枝和顿悟时刻偏好优化在大型推理模型中进化思维

Xinbang Dai, Zheyu Xin, Huikang Hu, Lin Ren, Rihui Jin, Guohui Xiao, Guilin Qi, Kuicai Dong, Zhaocheng Du, Yuyang Zhang

机构 * Southeast University（东南大学） ； Noah’s Ark Lab（诺亚方舟实验室） 纠错

专题命中 效率与部署 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究针对大型推理模型过度思考问题，提出EvoThink框架，含自剪枝训练和顿悟时刻偏好优化两个关键组件，能减少冗余验证、探索新推理路径，经评估可提高推理效率与能力。

Comments 9 pages, 7 figures, accepted by IJCAI 2026

Hierarchical Wireless Foundation Model for Multi-Task Optimization

用于多任务优化的分层无线基础模型

Yangjing Wang, Ouya Wang, Shenglong Zhou, Geoffrey Ye Li

机构 * Department of Electrical and Electronic Engineering, Faculty of Engineering, Imperial College London（电气与电子工程系，工程学院，伦敦帝国理工学院） ； School of Mathematics and Statistics, Beijing Jiaotong University（数学与统计学学院，北京交通大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对下一代无线网络中人工智能技术泛化瓶颈问题，提出分层无线基础模型（WFM），通过几何感知交叉注意力耦合上下游模块，采用混合训练策略，实现多任务优化，学习高保真信道表示，降低延迟，有强大泛化能力。

Comments 15 pages, 10 figures, 3 tables

FailureAtlas: A Taxonomy of Failure Modes in Multi-Provider LLM Serving Infrastructure

FailureAtlas：多供应商大语言模型服务基础设施中故障模式的分类法

Vishal Pandey, Gopal Singh

机构 * Metriqual（梅特里夸尔） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究多供应商大语言模型服务基础设施故障模式，提出FailureAtlas双轴分类法，依起源层和可检测性分类，通过公共报告和测试填充，发现最严重故障是隐蔽的，如并发竞争致历史丢失和流索引冲突，还给出重现脚本。

Comments Survey Paper, 14 pages, 1 figure

Lightweight Wrappers for Adapting Time Series Foundation Models to Regional Drought Forecasting

用于使时间序列基础模型适应区域干旱预测的轻量级包装器

Wentao Gao, Jiuyong Li, Lin Liu, Thuc Duy Le, Jixue Liu, Yanchang Zhao, Yun Chen

机构 * Adelaide University（阿德莱德大学） ； CSIRO（联邦科学与工业研究组织） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对时间序列基础模型应用于区域干旱预测的挑战，提出轻量级黑盒适应框架，通过SMR²和MBB两个包装器在推理时增强模型，在南澳大利亚站点预测中提升性能，降低MSE，实现资源受限区域的实际部署。

Comments 12 Pages, KDD2026 Accpeted Paper(Poster)

Residual-Guided Multi-Resolution Refinement of Foundation Models: A Case Study in Drought Forecasting

基础模型的残差引导多分辨率细化：干旱预测案例研究

Wentao Gao, Jiuyong Li, Lin Liu, Thuc Duy Le, Jixue Liu, Yanchang Zhao, Yun Chen

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对区域气候预测中时间序列基础模型的挑战，提出残差引导多分辨率细化框架RGMR，无需更新主干参数，应用于干旱预测时能降低测试集MSE，为部署冻结的TSFM提供实用途径。

Comments 23 pages, ICML2026 Accepted Paper(Poster)

Accurate and Efficient Long-Term Memory for LLM Agents

用于大语言模型智能体的准确高效长期记忆

Zicheng Zhao, Xinyang Guo, Luyao Lv, Menghan Wang, Ming Li, Shuaicheng Li

机构 * Central China Research Institute for AI Technology（华中人工智能技术研究院） ； Guangdong Provincial Key Laboratory of Interdisciplinary Research and Application for Data Science, BNU-HKBU United International College, Zhuhai（北京师范大学-香港浸会大学联合国际学院数据科学跨学科研究与应用广东省重点实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体长时记忆问题，提出MOSAIC框架，通过实体类型图存储、哈希加速双路径检索和主动冲突检测，提升了准确性和效率，在多项测试中取得更好结果，如准确率提高、冲突检测能力增强且检索延迟降低。

JUMP: Single-Pass Membership Inference on Fine-Tuned Diffusion Language Models

JUMP：微调扩散语言模型的单通道成员推理

Yeachan Jun, Albert No

机构 * Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究微调离散扩散语言模型的成员推理攻击，提出JUMP单通道评分攻击，利用dLLMs任意顺序可解码性和并行可解码性，在六个MIMIR域上的微调LLaDA - 8B - Base上提升了平均ROC - AUC并改善低FPR检测，且减少查询次数。

Comments 24 pages. Preprint

Scalable LLM Agent Tool Access in the Cloud

云中可扩展的大语言模型智能体工具访问

Mingxin Li, Enge Song, Yueshang Zuo, Xiaodong Liu, Rong Wen, Qiang Fu, Gianni Antichi, Jian He, Jing Tie, Zhou Shao, Xiaobo Xue, Xiong Xiao, Luyao Zhong, Shaokai Zhang, Jiangu Zhao, Jianyuan Lu, Shize Zhang, Xiaoqing Sun, Changgang Zheng, Zihao Fan, Haonan Li, Tian Pan, Xiaomin Wu, Yang Song, Xing Li, Biao Lyu, Meng Li, Haipeng Dai, Guihai Chen, Shunmin Zhu

机构 * Nanjing University（南京大学） ； Alibaba Cloud（阿里云） ； Fudan University（复旦大学） ； RMIT University（皇家墨尔本理工大学） ； Politecnico di Milano（米兰理工学院） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体在云环境下工具访问问题，提出云规模网关系统，通过打破直接连接模型等整合多种功能，实现高召回率、扩展工具访问数量、提高准确性并减少时间和令牌使用量，还分享了部署经验。

Scaling Behavior Foundation Model for Humanoid Robots

人形机器人的缩放行为基础模型

Weishuai Zeng, Kangning Yin, Xiaojie Niu, Shunlin Lu, Weixiang Zhong, Jiahe Chen, Feiyu Jia, Xiao Chen, Zirui Wang, Furui Xu, Ming Zhou, Kailin Li, Weinan Zhang, He Wang, Li Yi, Dahua Lin, Jiangmiao Pang, Jingbo Wang

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究人形机器人行为基础模型的缩放问题，通过协调运动跟踪学习范式、策略展开数量与参考运动多样性的协同、人形Transformer模型架构这三个核心组件，显著提升控制保真度和任务泛化能力，降低测试集误差。

Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration in Temporal Knowledge Graph Reasoning

用于时态知识图谱推理中高效面向目标路径探索的可达性感知预训练

Chien-Liang Liu, Tsao-Lun Chen

机构 * Artificial Intelligence Research Center, Chang Gung University（长庚大学人工智能研究中心） ； Graduate Institute of Oral Biology, National Taiwan University（国立台湾大学口腔生物学研究所） ； National Taiwan University of Science and Technology（国立台湾科技大学） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；分类 cs.AI

AI总结 针对时态知识图谱推理中外推设置下RL训练奖励稀疏、探索效率低的问题，提出RAPTOR自监督预训练方法，通过学习估计可达性减少无前景路径探索，为RL微调提供初始化，实验证明该方法能提高训练效率并优于传统基线。

PolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference

PolyQ：用于可扩展边缘CPU大语言模型推理的端到端量化框架协同设计

Hyunwoo Oh, Suyeon Jang, Hanning Chen, KyungIn Nam, Sanggeon Yun, Ryozo Masukawa, Mohsen Imani

机构 * University of California, Irvine（加利福尼亚大学欧文分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究针对CPU上大语言模型推理的量化问题，提出PolyQ方法，通过激活感知的逐通道比特分配及编译时模型编译器优化，实现分数比特部署，在多个模型上提升质量，在不同CPU上有良好性能，证明其在边缘设备推理的实用性、可预测性和节能性。

Comments Accepted to ICCAD 2026

MyAG: A Graph-Based Framework for Designing and Analyzing Composable LLM Agent Systems

MyAG：一种用于设计和分析可组合大语言模型智能体系统的基于图的框架

Zhisong Zhang

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

AI总结 介绍用于设计和分析可组合大语言模型智能体系统的MyAG框架，它将构建分为三个图抽象，支持分层组合，提供监控和可视化工具，实验表明其能支持灵活设计并助于分析性能-效率权衡，且已开源。

Cost-Governed RAG: Unified Per-Tenant Cost Attribution Across Retrieval and Generation in Multi-Tenant LLM Systems

成本治理的检索增强生成模型：多租户大语言模型系统中跨检索与生成的统一租户成本归因

Navnit Shukla

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究多租户大语言模型系统中成本治理问题，提出成本治理的RAG架构，集成TurboVec与治理网关实现统一可观测堆栈，能按租户联合归因成本，准确率高且降低成本，还形式化三层成本模型。

Encoder-Side Neuron Identification and Amplification for Acoustic Perception in Large Audio-Language Models

大型音频语言模型中用于声学感知的编码器端神经元识别与增强

Yu-Han Huang, Chih-Kai Yang, Ke-Han Lu, An-Yu Cheng, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） ； Graduate Institute of Communication Engineering（通信工程研究所） ； NTU Artificial Intelligence Center of Research Excellence（国立交通大学人工智能卓越研究中心） ； ASUS Open Cloud Infrastructure Software Center（ASUS开放云基础设施软件中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究针对大型音频语言模型在语音非语义属性表现不佳的问题，提出IAAN方法，通过对比音频编码器神经元在真实波形与噪声参考上的激活来评分并增强高分神经元，有效提升了模型在多数据集上的声学感知准确率，开辟了新的推理时改进方向。

LaGuadia: Language-Guided Adaptive Distillation from Pathology Foundation Models

拉瓜迪亚：基于病理学基础模型的语言引导自适应蒸馏

Gangsu Kim, Won-Ki Jeong

机构 * College of Informatics, Korea University（韩国大学信息学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对病理学基础模型计算成本高问题，提出拉瓜迪亚框架，通过多阶段流程，在临床语言指导下整合多模型知识，进行自适应蒸馏。实验表明其87M参数学生模型性能出色，凸显临床语言对构建高效可靠数字病理系统的作用。

Serving the Long Tail: Training-Free LLM Candidate Generation for Vacation Rental Marketplaces

服务长尾：度假租赁市场中无需训练的大语言模型候选生成

Syed Mohammed Arshad Zaidi, Eric Rincon, Shayan Hassantabar

机构 * Expedia Group（亿客行集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 度假租赁市场供应端失衡，长尾房源难获有效服务。本文提出无需训练的大语言模型候选生成管道，用静态房产元数据补充IBKNN，经联合融合等策略提升效果，扩大候选覆盖范围，缩小模型召回差距，有效服务长尾房源。

Comments Accepted at TSMO 2026 workshop, co-located with KDD 2026; 9 pages

Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata

通过有限自动机上的高效推理实现扩散语言模型的约束解码

Meihua Dang, Stefano Ermon

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 研究扩散语言模型的约束解码问题，提出基于有限自动机高效推理的算法，能保证约束满足，支持多种解码方式，经实验验证在多种任务上提升准确率且推理开销小。

Physical activities enable scalable foundation modelling for broad-spectrum health prediction

身体活动助力实现用于广谱健康预测的可扩展基础建模

Zhenghuang Wu, Yuyao Zhu, Songlin Xu

机构 * Beihang University（北京航空航天大学） ； University of Science and Technology of China（中国科学技术大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对多数健康预测传感器模型局限性，提出仅基于步数计数器数据的StepFM基础模型，设计可扩展预训练框架，能跨多任务迁移，实验证明其性能强劲、保持稳健，还揭示了身体活动与健康风险关系，为健康监测奠定了基于步数传感的基础。

Comments 18 pages, 5 figures, 6 tables

Think Before You Grid-Search: Floor-First Triage for LLM Serving

在进行网格搜索之前先思考：大语言模型服务的楼层优先分类法

Yihua Liu

机构 * NVIDIA 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型服务优化，提出楼层优先分类法，基于残差构建五维资源向量，通过墙排序比较部署方案，以案例分析模型在特定GPU上的情况，揭示布局判断与操作点的关系及不同布局差异的原因。

Comments 16 pages, 3 figures