语言大模型 / LLM

OpenPCC: Open and Confidential LLM Serving on Commodity TEEs

OpenPCC：在商用TEE上提供开放且保密的LLM服务

Haoling Zhou, Shixuan Zhao, Chao Wang, Zhiqiang Lin

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对云推理服务中用户请求包含敏感信息的问题，提出OpenPCC框架，利用商用TEE实现开放、保密的LLM服务，并通过原型验证其可行性与安全性。

Fairness-Aware and Latency-Controllable Scheduling for Chunked-Prefill LLM Serving

面向分块预填充LLM服务的公平感知与延迟可控调度

Haoxin Liu, Jiayi Wang, Yueshen Xu, Rui Li

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对分块预填充LLM服务中的调度公平性与延迟稳定性问题，提出基于老化策略的动态优先级调度、延迟预测请求调度和主动预填充控制，在NVIDIA GPU和Ascend加速器上实验表明，相比FCFS，平均端到端延迟降低10%以上，P99尾延迟显著减少。

Comments 19 pages, 6 figures

Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed

小型语言模型（SLM）的可信性基准测试：预训练模型与压缩模型的对比

Haokun Lin, Kaijie Zhu, Haobo Xu, Yichen Wu, Zhichao Lu, Qingfu Zhang, Zhenan Sun

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Harvard Medical School（哈佛医学院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：SLM(title_cn,summary_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究评估SLM的可信性，发现量化压缩预训练模型比剪枝更能保留可信性，且量化压缩可靠大模型得到的SLM比从头训练的小型模型更优，知识蒸馏可进一步提升其可靠性。

Comments Published in IJCNN 2026

Abstract representational geometry supports inference in large language models

抽象表征几何支持大型语言模型中的推理

Yunan Zeng, Yuwang Wang

机构 * College of Future Information Technology, Fudan University（复旦大学未来信息科技学院） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心，清华大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 本研究通过文本版情境反转学习范式，比较人类与LLM的行为和表征，发现LLM内部状态在推理时形成类似海马体的抽象几何结构，且该结构分层组织，高层次表征与推理相关。

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

ReRound：用于解决无校准LLM量化中中点歧义的重构舍入法

He-Yen Hsieh, H. T. Kung

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 ReRound是一种后训练量化方法，通过条件扩散模型解决无校准LLM量化的中点歧义，在小型LLM的3、4比特量化上优于标准RTN，性能接近依赖校准方法且无额外推理开销。

Comments 16 pages, 8 figures

GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation

GRINQH：基于分级输入的量化层次结构用于高效LLM生成

Jette Oberländer, Jan Finkbeiner, Catherine M. Schöfmann, Emre Neftci

机构 * Fakultät für Informatik, RWTH Aachen（亚琛工业大学计算机科学系） ； Fakultät für Elektrotechnik und Informationstechnik, RWTH Aachen（亚琛工业大学电气工程与信息技术系） ； Peter Grünberg Institut, Forschungszentrum Jülich GmbH（于利希研究中心彼得·格林贝格研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出GRINQH框架，利用激活幅度动态分配权重通道精度，统一量化与稀疏化，加速LLM解码阶段，在Llama3和Qwen3上优于现有方法，实现2位生成。

Semantic Bundling: Interactive Node and Edge Bundling to Simplify Knowledge Graphs using Large Language Models

语义捆绑：使用大语言模型简化知识图谱的交互式节点与边捆绑

Adam Coscia, Zeyu Hua, Eric Krokos, Timothy Lin, Alex Endert

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 该研究提出基于LLM的语义捆绑技术，在开源系统AgentK中实现，用于简化知识图谱，通过节点边捆绑形成高级结构，在电影评论等场景中可揭示文档集合新见解。

Comments Under review. 12 pages, 13 figures

A Unified Approach to Interpreting Knowledge Distillation for Large Language Models via Interactions

一种通过交互解释大语言模型知识蒸馏的统一方法

Qingzhuo Wang, Ruiyang Qin, Zhenxin Qin, Wen Shen, Zhihua Wei

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型知识蒸馏有效性背后机制，提出统一方法，通过交互分解输出分数，发现共同机制是交互稀疏化，不同方法性能差异源于处理复杂交互能力，进而提出CIP损失函数，实验证明其能提升多种KD方法性能。

Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization

迈向高效大语言模型服务：关于系统感知键值缓存优化的综述

Jiantong Jiang, Peiyu Yang, Rui Zhang, Feng Liu

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该综述聚焦大语言模型服务中系统感知的键值缓存优化，从执行与调度、放置与迁移、表示与保留三个维度回顾相关工作，分析跨行为协同设计及行为与目标联系，为理解和创新键值缓存设计提供基础。

Comments Accepted to ACL 2026 as a Findings paper

Journal ref Findings of the Association for Computational Linguistics: ACL 2026 (pp. 38450-38476)

Training Language Models to Cooperate with Inference-Time Controllers

训练语言模型以与推理时控制器协作

Moumita Choudhury, Vanshaj Khattar, Jing Liu, Toshiaki Koike-Akino, Ankush Chakrabarty, Shlomo Zilberstein, Ye Wang

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；post-training(abstract)

AI总结 研究LLM性能依赖推理时控制器的问题，提出CALM框架，将其表述为多任务强化学习，通过模块级分解研究训练策略，评估显示该框架能提升推理时工作流程的泛化能力。

Efficient Clustering with Provable Guardrails for LLM Inference at Scale

大规模LLM推理中具有可证明护栏的高效聚类

Longshaokan Wang, Wai Tsang Keung, Punit Ghodasara, Roman Wang, Ali Dashti, Francesc Moreno-Noguer

机构 * Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；foundation model(abstract)；分类 cs.LG

AI总结 研究针对大规模LLM推理成本和延迟瓶颈，提出两阶段聚类算法，先用Mini-batch K-Means生成初始聚类，再在其中选代表，能保证逐样本质量控制，运行高效且可扩展，相比常见方法有显著优势，部署后大幅降低成本和延迟。

Comments Accepted for presentation at ICML HiLD workshop 2026 (non-archival)

BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation

BayesBench: 评估多轮证据积累下LLM信念轨迹

Ankur Samanta, Akshayaa Magesh, Tal Lancewicki, Ayush Jain, Youliang Yu, Paul Sajda, Kaveh Hassani, Aditya Modi, Daniel R. Jiang, Yonathan Efroni

机构 * Meta AI ； Columbia University（哥伦比亚大学） ； Meta Superintelligence Labs（Meta超级智能实验室） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出BayesBench基准，通过三个渐进复杂任务评估LLM在多轮证据积累中的信念更新是否接近贝叶斯理性，发现规模提升改善潜在推理但未可靠转化为预测。

Don't Go Breaking My LLM: The Impact of Pruning Attention Layers on Explanation Faithfulness and Confidence Calibration

不要破坏我的LLM：剪枝注意力层对解释忠实性和置信度校准的影响

Pietro Tropeano, Maria Maistro, Tuukka Ruotsalo, Christina Lioma

机构 * University of Copenhagen（哥本哈根大学） ； LUT University（拉赫蒂理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究剪枝LLM注意力层对解释忠实性和置信度校准的影响，发现尽管准确率保持，但忠实性和校准度常下降，表明模型置信度、可解释性与准确性之间存在错位。

Comments Accepted at TMLR

Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL

揭秘LLM推理中的数值不稳定性：使用HEAL实现关键任务的可复现推理

Zhenting Zhu, Lucas Thai, Shan Yu, Yicheng Liu, Yifan Qiao, Chenxi Wang, Harry Xu, Junyi Shu

机构 * UCLA（加州大学洛杉矶分校） ； UC Berkeley（加州大学伯克利分校） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对LLM在关键任务中因16位精度导致输出不一致的问题，提出HEAL方法，通过INT16量化和代数误差补偿，在保持FP32精度的同时减少性能开销。

Orchestrated Reality: From Role-Play to Living, Playable Game Worlds -- LLM-Driven World Simulation as a Parameterized-Action POMDP

编排现实：从角色扮演到活生生的、可玩的游戏世界——作为参数化动作POMDP的LLM驱动世界模拟

Yuhang Huang, Chenmiao Li, Chaowei Fang

机构 * The University of Tokyo（东京大学） ； Individual Researcher（个人研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出编排现实框架，将LLM驱动的游戏世界形式化为参数化动作POMDP，通过单例编排代理维护规范JSON状态，实现数值状态、叙事声音和规则逻辑的统一协调。

Comments 9 pages, 2 figures. Work in progress. Yuhang Huang and Chenmiao Li contributed equall

SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information

SPIEval：评估大型语言模型作为处理分散个人信息的移动助手的能力

Junjie Ye, Zhuohui Sheng, Shaofan Liu, Yulun Zhu, Wenjie Fu, Dingwei Zhu, Ming Zhang, Yujiong Shen, Weichao Wang, Xin Zhao, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang, Pluto Zhou

机构 * Fudan University（复旦大学） ； Tencent Hunyuan Team（腾讯混元团队） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究推出基于五种认知能力的人工策划基准SPIEval，评估9种LLMs作为移动助手处理分散个人信息的能力，发现其准确率最高仅57.3%，存在信息定位等显著局限。

One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions

一个令牌就够了：从单令牌输出分布中对大语言模型进行指纹识别和验证

Tomas Bruckner

机构 * Faculty of Informatics and Statistics, Prague University of Economics and Business（信息与统计学院，布拉格经济与商业大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究如何从大语言模型单令牌输出分布中进行指纹识别和验证。通过定义行为指纹，利用对简单提示的回答分布，实现模型谱系恢复和验证，还发现生态系统异常，且相关协议等已发布。

SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

SVD-Surgeon：面向大语言模型压缩的最优奇异值手术

Mahmoud Safari, Frank Hutter

机构 * University of Freiburg（弗莱堡大学） ； Prior Labs ； ELLIS Institute Tübingen（蒂宾根ELLIS研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出SVD-Surgeon，一种无需训练的方法，将最优脑外科医生框架引入奇异值基，通过闭式更新保留的奇异值补偿截断损失，并基于显著性选择修剪值，可叠加于现有SVD压缩器上，改善困惑度-压缩权衡。

Comments 8 pages, 3 figures, 5 tables; appendix

$π$-RAG: Oblivious Retrieval via Semantic Quantization and Transcendental Addressing for Large Language Models

$\pi$-RAG：通过语义量化和超越寻址实现的大语言模型遗忘检索

Aniket Wattamwar, Mrunal Kakirwar

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出$\pi$-RAG架构，利用$\pi$的数字作为超越熵源，通过语义量化层将用户输入映射到规范意图质心，生成$\pi$-key实现遗忘检索，保障数据隐私。

Physics-Distilled Neural Network enabled by Large Language Models for Manufacturing Process-Property Predictive Modeling

基于大语言模型的物理蒸馏神经网络用于制造过程-性能预测建模

Ge Song, Kiarash Naghavi Khanghah, Anandkumar Patel, Rajiv Malhotra, Hongyi Xu

机构 * School of Mechanical, Aerospace and Manufacturing Engineering, University of Connecticut（康奈尔大学机械、航空航天与制造工程学院） ； Department of Mechanical & Aerospace Engineering, Rutgers, the State University of New Jersey（新泽西州立大学鲁特大学机械与航空航天工程学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种知识蒸馏框架，利用大语言模型从文献中提取物理先验，通过图掩码注意力层捕获变量依赖，蒸馏至轻量学生模型，在数据稀缺下实现高精度预测与实时部署。

Comments Under review, Journal of Computing and Information Science in Engineering

HoloAegis: Frozen Representation, Topological Inference: Minimally Parametric Safety Manifolds for Zero-Shot LLM Guardrails

HoloAegis：冻结表示、拓扑推理：用于零样本大语言模型（LLM）护栏的最小参数安全流形

Tak Ho Alex Li, Kaijie Liu, Lik-Hang Lee, Kin Chung Ho, Ping Shum, Michael K. Ng

机构 * Hong Kong Baptist University（香港浸会大学） ； Guangdong Polytechnic Normal University（广东技术师范大学） ； Guangdong Institute of Digital Industry（广东数字产业研究院） ； The Hong Kong Polytechnic University（香港理工大学） ； The Education University of Hong Kong（香港教育大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 HoloAegis是一种最小参数拓扑推理框架，通过冻结语义表示的纯几何推理实现零样本LLM安全护栏，在8个基准测试中达到最先进准确率，兼具低延迟、零冷启动数据和跨语言迁移能力。

Comments Preprint, August 2026. 10 tables, 2 figures

On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment

面向大语言模型安全的在线策略蒸馏：一种针对模板鲁棒性的重对齐路由方法

Yongjian Guo, Wanlun Ma, Lingyu Shen, Xi Xiao, Sheng Wen

机构 * Tsinghua University（清华大学） ； Swinburne University of Technology（斯威本科技大学） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有LLM安全防御的模板鲁棒性不足等问题，提出ROPD框架，通过建模输出分布差异实现重对齐，大幅降低模板不匹配风险，在防御有效性和能力保留上优于基线方法，建立了新的鲁棒重对齐标准。

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP：用于高效LVLM推理的预LLM文本驱动视觉令牌剪枝

Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） ； School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)

AI总结 针对大型视觉语言模型推理开销大的问题，提出CRISP框架，通过文本驱动在预LLM阶段剪枝视觉令牌，分两阶段工作，实验表明其在激进剪枝率下能保持高性能，降低推理成本和延迟，是高效LVLM推理的实用方案。

Comments Accepted by the 2026 IEEE International Conference on Multimedia and Expo (ICME 2026) as Oral

OmniPilot: An Uncertainty-Aware LLM Inference Advisor for Heterogeneous GPU Clusters

OmniPilot: 面向异构GPU集群的不确定性感知LLM推理顾问

D. Balamurugan, Thomas W. Bush

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出OmniPilot，通过共形校准分位数成本模型和分布外弃权层，为异构GPU集群上的LLM服务选择最优配置，预测吞吐量MAPE为6.2%，top-1准确率95%。

Comments 10 pages, 3 figures, 3 tables

ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries

ComplianceGate: 分类器门控的多层LLM路由用于受监管行业的推理

Abhishek Dey

机构 * Independent AI Researcher, India（印度独立人工智能研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出分类器门控路由架构，在推理前评估查询复杂度和数据敏感性，将含PII的查询路由到本地端点，简单查询路由到小型模型，实现合规与成本效率。

Smaller Models, Unexpected Costs: Trade-offs in LLM Quantization for Automated Program Repair

更小的模型，意外的代价：LLM量化在自动程序修复中的权衡

Fernando Vallecillos-Ruiz, Giordano d'Aloisio, Max Hort, Luca Traini, Antinisca Di Marco, Leon Moonen

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)

AI总结 研究LLM量化在自动程序修复中的效果，发现量化虽减少内存但增加推理时间和能耗，且修复问题集差异大，权衡受模型架构和任务复杂度影响。

Comments Accepted for publication in the Research Papers Track of the 42nd IEEE International Conference on Software Maintenance and Evolution (ICSME 2026), 14-18 September 2026, Benevento, Italy

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐

Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

机构 * Capital One 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。

Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure

Context Recycling for Long-Horizon LLM Inference

长程LLM推理的上下文回收

Derek Thomas

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ContextForge系统，通过结构化查询生成、外部记忆检索和受控合成实现上下文回收，在15轮对话基准中减少令牌消耗并保持回答质量。

LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks

LLM特征可能损害GNN：同配图基准上的拼接干扰

Zhongyuan Wang, Pratyusha Vemuri

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现将LLM特征通过纯输入拼接（而非联合训练）引入图神经网络时，会在同配基准上系统性地降低准确率，并提出了一个基于LLM单独判别性指标Delta_sig来预测拼接效果。

Comments 29 pages, 8 figures

Trainable Smooth-Rotation Transforms with Learned Channel Scales for LLM Quantization

可训练平滑旋转变换与学习通道尺度用于LLM量化

Patrik Czakó, Gábor Kertész, Sándor Szénási

机构 * Doctoral School of Applied Informatics and Applied Mathematics, Obuda University（应用信息学与应用数学博士学校，奥布达大学） ； John von Neumann Faculty of Informatics, Obuda University（约翰·冯·诺伊曼信息学系，奥布达大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对大语言模型量化中激活值量化困难的问题，提出基于分位数鲁棒的缩放策略和梯度优化的通道尺度学习，在W4A4量化下显著降低误差。

Comments 6 pages, 8 figures, 3 tables. Accepted to IEEE INES 2026 conference proceedings