语言大模型 / LLM

KiToke: Kernel-based Interval-aware Token Compression for Video Large Language Models

KiToke：基于核的区间感知令牌压缩用于视频大语言模型

Haifeng Huang, Yang Li

机构 * Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 KiToke通过全局核冗余度测量和区间感知令牌合并，有效压缩视频大语言模型的视觉令牌，提升效率并保持关键信息。

Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics

揭示Transformer中的幽灵：通过隐藏状态取证实现大语言模型的异常检测

Shide Zhou, Kailong Wang, Ling Shi, Haoyu Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出通过隐藏状态取证检测大语言模型异常行为，实现实时高效的安全威胁识别，检测准确率超95%，计算开销极低。

SLaB: Sparse-Lowrank-Binary Decomposition for Efficient Large Language Models

SLaB：用于高效大语言模型的稀疏低秩二进制分解

Ziwei Li, Yuang Ma, Yi Kang

机构 * School of Microelectronics, University of Science and Technology of China（中国科学技术大学微电子学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 SLaB通过将线性层权重分解为稀疏矩阵、低秩矩阵和二进制矩阵，实现大语言模型的高效压缩，在50%压缩下使困惑度降低36%，在零样本任务中提升准确率8.98%。

Spectral Compact Training: Pre-Training Large Language Models via Permanent Truncated SVD and Stiefel QR Retraction

谱紧凑训练：通过永久截断SVD和Stiefel QR回退预训练大语言模型

Björn Roman Kohlberger

机构 * EctoSpace 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SCT方法，通过永久截断SVD和Stiefel QR回退减少内存占用，实现大语言模型的高效预训练，实验显示内存占用降低达199倍，提升训练效率。

Comments 8 pages, 3 figures, 4 tables. Patent pending: Irish Application PTIE20260000000219. Code at https://github.com/EctoSpace/SCT

Scalable and Explainable Learner-Video Interaction Prediction using Multimodal Large Language Models

基于多模态大语言模型的可扩展且可解释的学习者-视频交互预测

Dominik Glandorf, Fares Fawzi, Tanja Käser

机构 * EPFL（瑞士联邦理工学院洛桑） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出利用多模态大语言模型预测学习者观看、暂停、跳过和回放行为，以评估视频内容的认知负荷，通过7700万次视频控制事件验证了模型的可扩展性和解释性。

Comments Accepted as long paper to the 27th International Conference on Artificial Intelligence in Education (AIED 2026)

Beyond Linear Steering: Unified Multi-Attribute Control for Language Models

超越线性操控：语言模型的统一多属性控制

Narmeen Oozeer, Luke Marks, Shreyans Jain, Fazl Barez, Amirali Abdullah

机构 * Martian ； University of Oxford（牛津大学） ； Thoughtworks 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出K-Steering方法，通过训练非线性多标签分类器实现语言模型的多属性控制，避免线性假设，无需存储和调整个别属性向量，支持动态行为组合。

Comments Accepted to Findings of EMNLP, 2025

Fewer Weights, More Problems: A Practical Attack on LLM Pruning

更少的权重，更多的问题：对LLM剪枝的一种实用攻击

Kazuki Egashira, Robin Staab, Thibaud Gloaguen, Mark Vero, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次揭示了现代LLM剪枝方法可能被恶意利用的问题，通过构造看似无害的模型，在剪枝后表现出恶意行为，展示了剪枝过程中的安全风险。

Comments ICLR 2026. Code: https://github.com/eth-sri/llm-pruning-attack

Structural Rigidity and the 57-Token Predictive Window: A Physical Framework for Inference-Layer Governability in Large Language Models

结构刚性和57个标记的预测窗口：一种用于大语言模型推理层可控性的物理框架

Gregory M. Ruddell

专题命中 效率与部署 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.AI

AI总结 本文提出一种物理框架，通过分析大语言模型的推理行为，揭示了预提交信号的存在条件，并展示了结构刚性在不同几何区域中的统一度量。

Comments Extends arXiv:2603.21415. 30 pages. Also available on Zenodo (10.5281/zenodo.19393882)

Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation

通过约束最大似然估计实现鲁棒的大语言模型性能认证

Minghe Shen, Ananth Balashankar, Adam Fisch, David Madras, Miguel Rodrigues

机构 * University College London（伦敦大学学院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于约束最大似然估计的方法，结合人工标注集、自动标注数据和领域约束，提升大语言模型失败率估计的准确性和稳定性，优于现有方法。

Decoding Student Dialogue: A Multi-Dimensional Comparison and Bias Analysis of Large Language Models as Annotation Tools

解码学生对话：大型语言模型作为标注工具的多维比较与偏见分析

Jie Cao, Zhanxin Hao, Jifan Yu

专题命中 效率与部署 ：large language model(title)；language model(title)；prompting(abstract)

AI总结 本文评估GPT-5.2和Gemini-3在不同学科、教育阶段和四个编码维度上的标注效果，发现多代理提示法准确性最高但未达统计显著性，且在K-12数据集上表现优于大学数据，情感维度表现最佳而认知维度最差，同时揭示四种偏见模式。

Comments This paper has been accepted in AIED2026

Where to Steer: Input-Dependent Layer Selection for Steering Improves LLM Alignment

转向何处：输入依赖的层选择用于转向以改进LLM对齐

Soham Gadgil, Chris Lin, Su-In Lee

机构 * University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出W2S框架，通过输入依赖的层选择改进LLM对齐，证明固定层方法不足，展示适应性层选择的重要性。

Comments Preprint

GPU Acceleration of TFHE-Based High-Precision Nonlinear Layers for Encrypted LLM Inference

基于GPU的TFHE高精度非线性层加速用于加密LLM推理

Guoci Chen, Xiurui Pan, Qiao Li, Bo Mao, Congming Gao, Chengying Huan, Mingzhe Zhang, Jie Zhang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出TIGER框架，通过GPU优化的WoP-PBS方法和数值算法，实现高精度加密LLM非线性层计算，提升GPU效率，实现GELU、Softmax和LayerNorm的加速效果。

Comments 11 pages, 7 figures

Communication-Efficient Collaborative LLM Inference over LEO Satellite Networks

高效协作的低地球轨道卫星网络大语言模型推理

Songge Zhang, Wen Wu, Liang Li, Ye Wang, Xuemin, Shen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种高效的协作大语言模型推理方案，通过将模型拆分并部署在卫星上，利用中间激活信息交换减少延迟，并通过自适应激活压缩保持精度。

Comments 13 pages, 12 figures,

DP-OPD: Differentially Private On-Policy Distillation for Language Models

DP-OPD：基于差分隐私的在线策略蒸馏

Fatemeh Khadem, Sajad Mousavi, Yi Fang, Yuhong Liu

机构 * Santa Clara University（圣克拉拉大学） ； Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DP-OPD，一种无需合成的差分隐私在线策略蒸馏框架，通过在学生模型上应用DP-SGD实现隐私保护，利用冻结的教师模型提供密集的token级目标，提升压缩效率和隐私-效用平衡。

Combee: Scaling Prompt Learning for Self-Improving Language Model Agents

Combee：用于自我改进语言模型代理的提示学习扩展

Hanchen Li, Runyuan He, Qizheng Zhang, Changxiu Ji, Qiuyang Mang, Xiaokun Chen, Lakshya A Agrawal, Wei-Liang Liao, Eric Yang, Alvin Cheung, James Zou, Kunle Olukotun, Ion Stoica, Joseph E. Gonzalez

机构 * UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； Tensormesh ； Gradient Network 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Combee通过并行扫描和增强洗牌机制，提升提示学习效率，实现多代理并行训练，同时保持学习质量。

Are LLM-Based Retrievers Worth Their Cost? An Empirical Study of Efficiency, Robustness, and Reasoning Overhead

基于大语言模型的检索器是否值得其成本？对效率、鲁棒性和推理开销的实证研究

Abdelrahman Abdallah, Jamie Holdcroft, Mohammed Ali, Adam Jatowt

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过12个任务和14个检索器评估了基于大语言模型的检索器在效率、鲁棒性和推理开销方面的表现，发现部分专门化检索器在吞吐量上具有竞争力，而某些大语言模型双编码器则带来显著延迟。

Comments Accepted at SIGIR 2026

RAGnaroX: A Secure, Local-Hosted ChatOps Assistant Using Small Language Models

RAGnaroX：一种使用小型语言模型的安全、本地托管的ChatOps助手

Benedikt Dornauer, Mircea-Cristian Racasan

机构 * University of Innsbruck（因斯布鲁克大学） ； c.c.com Moser GmbH（c.c.com Moser有限公司） 纠错

专题命中 效率与部署 ：language model(title)；small language model(title)；分类 cs.AI

AI总结 RAGnaroX是一种基于本地硬件的高效ChatOps助手，采用Rust实现，提供可审计的本地解决方案，通过模块化数据摄入、混合检索和函数调用实现灵活安全的部署。

SuperLocalMemory V3.3: The Living Brain -- Biologically-Inspired Forgetting, Cognitive Quantization, and Multi-Channel Retrieval for Zero-LLM Agent Memory Systems

SuperLocalMemory V3.3：活脑——生物启发的遗忘、认知量化与多通道检索用于零LLM代理记忆系统

Varun Pratap Bhardwaj

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；SLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SuperLocalMemory V3.3，通过生物启发的遗忘机制、认知量化和多通道检索，实现零LLM代理的记忆系统，提升了多跳和对抗场景下的性能。

Comments 19 pages, 4 figures, 11 tables. Third paper in the SuperLocalMemory trilogy. Code: https://github.com/qualixar/superlocalmemory (v3.3.26). npm: superlocalmemory. PyPI: superlocalmemory

Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation

平行宇宙，平行语言：对基于大语言模型的多语言反事实示例生成的全面研究

Qianli Wang, Van Bach Nguyen, Yihong Liu, Fedor Splitt, Nils Feldhus, Christin Seifert, Hinrich Schütze, Sebastian Möller, Vera Schmitt

机构 * Technische Universität Berlin（柏林工业大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； University of Marburg（马尔堡大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD）） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大语言模型在多语言反事实示例生成中的有效性，发现翻译生成的反事实示例在有效性上优于直接生成，但质量仍不如英文反事实示例，并揭示了多语言反事实数据增强对模型性能的提升效果。

Comments ACL 2026 main conference; camera-ready version

Truth as a Compression Artifact in Language Model Training

真相作为语言模型训练中的压缩特征

Konstantin Krestnikov

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现语言模型在矛盾数据训练中更倾向于正确答案，这源于错误的可压缩性而非真相本身。通过小规模Transformer模型实验，发现当错误遵循一致规则时，模型无法区分虚假系统与真相，提出压缩-一致性原则解释这一现象。

Comments v3: Added Qwen3 architecture check (0.6B), ~1B experiment on FineWeb-Edu, generative eval at all scales, matched-random ablation. Formal MDL predictions. Softened claims, fixed bibliography, added NeurIPS checklist. 210+ models (was 160+)

ATLAS-RTC: Closing the Loop on LLM Agent Output with Token-Level Runtime Control

ATLAS-RTC：通过令牌级运行时控制闭合LLM代理输出的循环

Christopher Cruz

机构 * Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 ATLAS-RTC通过实时监控和干预减少解码错误，提升任务成功率和效率，实现LLM系统中的运行时控制新层次。

Apriel-1.5-OpenReasoner: RL Post-Training for General-Purpose and Efficient Reasoning

阿普里尔-1.5-开放式推理机：基于强化学习的后训练通用高效推理

Rafael Pardinas, Ehsan Kamalloo, David Vazquez, Alexandre Drouin

机构 * ServiceNow 纠错

专题命中 效率与部署 ：post-training(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出Apriel-1.5-OpenReasoner，通过可复现的多领域强化学习后训练方法，在Apriel-Base上实现跨五个领域的通用高效推理，提升推理效率并优化不同难度问题的推理长度。

Comments 20 pages, 4 tables, 6 figures, appendix included

From Bits to Chips: An LLM-based Hardware-Aware Quantization Agent for Streamlined Deployment of LLMs

从比特到芯片：一种基于LLM的硬件感知量化代理，用于简化LLM的部署

Kaiyuan Deng, Hangyu Zheng, Minghai Qing, Kunxiong Zhu, Gen Li, Yang Xiao, Lan Emily Zhang, Linke Guo, Bo Hui, Yanzhi Wang, Geng Yuan, Gagan Agrawal, Wei Niu, Xiaolong Ma

机构 * The University of Arizona（亚利桑那大学） ； Clemson University（克莱姆森大学） ； University of Georgia（佐治亚大学） ； The University of Tulsa（塔尔萨大学） ； Northeastern University（东北大学） ； Western Digital Corporation（西部数据公司） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出HAQA，一种基于LLM的自动化框架，通过高效超参数调优和硬件配置，简化LLM的量化和部署流程，提升部署质量和易用性，实验显示推理速度提升2.3倍，吞吐量和精度均有提升。

AdaptFuse: Training-Free Sequential Preference Learning via Externalized Bayesian Inference

AdaptFuse：通过外部化贝叶斯推断实现无需训练的序列偏好学习

Fangzhou Lin, Peiran Li, Shuo Xing, Siyuan Yang, Qianwen Ge, Kazunori Yamada, Ziming Zhang, Haichong Zhang, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； Worcester Polytechnic Institute（伍斯特理工学院） ； Tohoku University（东北大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 AdaptFuse通过外部化贝叶斯推断实现无需训练的序列偏好学习，利用符号模块和冻结LLM结合熵自适应融合，提升推荐系统性能，无需敏感用户数据训练。

Comments 20 pages, 4 figures, 5 tables

Restore-R1: Efficient Image Restoration Agents via Reinforcement Learning with Multimodal LLM Perceptual Feedback

Restore-R1: 通过多模态大语言模型感知反馈的强化学习图像修复代理

Jianglin Lu, Yuanwei Wu, Ziyi Zhao, Hongcheng Wang, Felix Jimenez, Abrar Majeedi, Yun Fu

机构 * Amazon（亚马逊） ； Northeastern University（东北大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出Restore-R1框架，利用强化学习和多模态大语言模型感知反馈，高效解决图像修复问题，无需标注数据即可实现高质量修复。

The Drill-Down and Fabricate Test (DDFT): A Protocol for Measuring Epistemic Robustness in Language Models

向下钻探与伪造测试（DDFT）：一种衡量语言模型认知鲁棒性的协议

Rahul Baxi

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DDFT协议，用于评估语言模型在语义压缩和对抗性伪造下的认知鲁棒性，发现鲁棒性与传统设计无关，且错误检测能力是关键瓶颈。

Comments This version strengthens the theoretical and empirical grounding of the CI metric, including explicit analysis of structural dependencies and ranking stability under ablations (e.g., excluding Turn 4). Claims regarding scale and robustness are revised to avoid overgeneralization. The evaluation protocol, jury methodology, and limitations are expanded to clarify assumptions and boundary conditions

Emergent Inference-Time Semantic Contamination via In-Context Priming

通过上下文预示的涌现推理时间语义污染

Marcin Abram

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究探讨了通过上下文预示引发推理时间语义污染的现象，发现大容量模型在文化关联性更强的数字示例下会出现分布偏移，揭示了结构格式污染和语义内容污染的机制。

Comments 6 pages, 2 figures, appendix

Decocted Experience Improves Test-Time Inference in LLM Agents

解毒经验提升LLM代理的测试时间推理

Maohao Shen, Kaiwen Zha, Zexue He, Zhang-Wei Hong, Siru Ouyang, J. Jon Ryu, Prasanna Sattigeri, Suhas Diggavi, Gregory Wornell

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究通过解毒经验提升LLM代理测试时间推理性能，探讨如何通过经验构建有效上下文以优化复杂推理任务。

LightThinker++: From Reasoning Compression to Memory Management

LightThinker++：从推理压缩到内存管理

Yuqi Zhu, Jintian Zhang, Zhenjie Wan, Yujie Luo, Shuofei Qiao, Zhengke Gui, Da Zheng, Lei Liang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LightThinker++，通过引入显式自适应内存管理，有效压缩LLM推理过程中的中间思维，减少内存占用并提升推理效率，尤其在长周期智能任务中表现突出。

Comments Work in progress. This is an extended version of LightThinker

GROUNDEDKG-RAG: Grounded Knowledge Graph Index for Long-document Question Answering

基于源文档的知识图谱-RAG：用于长文档问答的 grounded 知识图谱

Tianyi Zhang, Andreas Marfurt

机构 * getAbstract ； Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,comments)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 groundedkg-rag，通过从源文档中显式提取并 grounding 知识图谱，提升长文档问答的效率和事实准确性，实验表明其在成本较低的情况下性能优于现有基线。

Comments To appear in the Proceedings of KG-LLM @ LREC 2026