语言大模型 / LLM

OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

OffQ：通过偏移驯服LLM量化中的结构化异常值

Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

机构 * School of Computer and Communication Sciences, EPFL, Switzerland（瑞士联邦理工学院计算机与通信科学学院） ； Huawei, Switzerland（华为公司） ； Swiss Data Science Center, ETHZ & EPFL, Switzerland（瑞士数据科学中心，苏黎世联邦理工学院与联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OffQ方法，通过top-1 PCA识别异常值子空间、旋转集中异常值通道并转换为共享偏移，实现LLM的低比特均匀量化，在W4A4KV4下提升精度。

SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

SigmaScale: 基于SVD低秩分解和学习缩放矩阵的LLM压缩

Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

机构 * Department of Computer Science, Aalborg University Copenhagen（奥尔堡大学哥本哈根分校计算机科学系） ； MaLGa-DIBRIS, University of Genoa（热那亚大学MaLGa-DIBRIS） ； INFN, Sezione di Genova（国家核物理研究所热那亚分部） ； European Organization for Nuclear Research (CERN)（欧洲核子研究中心） ； Ceva, Inc.（Ceva公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出SigmaScale方法，通过学习辅助缩放矩阵优化截断SVD的LLM压缩，降低权重矩阵有效秩，在Llama 3.1 8B和Qwen3-8B上达到竞争性能。

Scalable Joint Resource Allocation for SLO-Constrained LLM Inference in Heterogeneous GPU Clouds

异构GPU云中SLO约束的LLM推理的可扩展联合资源分配

Jiaming Cheng, Duong Tung Nguyen

机构 * Ira A. Fulton Schools of Engineering, Arizona State University（亚利桑那州立大学工程学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对异构GPU云中LLM推理的SLO约束，提出可扩展框架，通过约束感知启发式算法（GH和AGH）实现联合资源分配，在秒级内生成可行解并接近最优，显著降低成本和SLO违规。

AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization

AAAC: 面向4位LLM权重量化的激活感知自适应码本

Beshr IslamBouli, David Jin

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出AAAC方法，通过每层两个小型学习码本（64字节）替代固定标量码本，以激活加权重建误差最小化选择码本，实现零额外存储开销的4位权重量化，在3-30分钟内完成量化，精度优于现有方法。

InvEvolve: Evolving White-Box Inventory Policies via Large Language Models with Performance Guarantees

InvEvolve：通过具有性能保证的大语言模型进化白盒库存策略

Chenyu Huang, Jianghao Lin, Zhengyang Tang, Bo Jiang, Ruoqing Jiang, Benyou Wang, Lai Wei

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Boston College（波士顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出InvEvolve框架，利用强化学习训练的大语言模型，结合置信区间认证，在线生成具有统计安全保证的白盒库存策略，在合成和真实零售数据上优于经典和深度学习方法。

Beyond Output Matching: Preserving Internal Geometry in NVFP4 LLM Distillation

超越输出匹配：在NVFP4 LLM蒸馏中保留内部几何结构

Fangbo Tu, Junhua Zhao, Chi Liu, Xin Chen, Haifeng Wu, Jian Wan, Srinivasan Manoharan

机构 * Fangbo Tu（图方波） ； Junhua Zhao（赵俊华） ； Chi Liu（刘驰） ； Xin Chen（陈新） ； Haifeng Wu（吴海峰） ； Jian Wan（万健） ； Srinivasan Manoharan（曼纳哈兰） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对NVFP4低精度量化蒸馏中仅输出匹配导致内部表示退化的问题，提出CKA-QAD方法，通过CKA引导的层间Gram矩阵对齐保留内部几何结构，提升推理和编码任务准确率。

Comments 13 pages,1 figures

Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics

通过流形轨迹动力学防御大语言模型的越狱攻击

Hangtao Zhang, Yucheng Zhao, Sishun Liu, Ziqi Zhou, Zeyu Ye, Wei Wan, Minghui Li, Shengshan Hu, Yanjun Zhang, Yi Liu, Leo Yu Zhang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出流形轨迹动力学（MTK）方法，通过分析提示词在模型层间的邻域结构演化来检测越狱攻击，在伪恶意提示和自适应攻击下均表现鲁棒。

Comments Accepted to USENIX Security '26 Cycle 2. Code is available at https://github.com/Rookie143/mtk

Toward Agentic Governance: What Shapes LLM-Agent Intervention in Public Forums?

走向代理治理：什么决定了LLM代理在公共论坛中的干预？

Luyang Zhang, Yi-Yun Chu, Ramayya Krishnan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 研究LLM代理在公共论坛中干预行为的变化，发现四个部署选择（模型版本、权重开放状态、服务提供商、系统提示策略）独立影响响应率，且开放权重与封闭权重模型在可见挑战上的拒绝倾向存在系统性差异。

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

Database Normalization via Dual-LLM Self-Refinement

通过双LLM自精炼的数据库规范化

Eunjae Jo, Nakyung Lee, Gyuyeong Kim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Miffie框架，利用双模型自精炼架构和大语言模型实现数据库自动规范化，无需人工干预且保持高准确率。

Comments 7 pages

Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs

零样本嵌入漂移检测：一种轻量级防御对抗提示注入的LLM方法

Anirudh Sekar, Mrinal Agarwal, Rachel Sharma, Akitsugu Tanaka, Jasmine Zhang, Arjun Damerla, Kevin Zhu

机构 * Algoverse AI Research（Algoverse AI研究院） ； Berkeley（伯克利大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ZEDD，通过量化嵌入空间中良性与可疑输入之间的语义变化，实现对直接和间接提示注入的检测。该方法无需模型内部访问或先验知识，具有低工程开销，能高效部署于多种LLM架构，准确率达93%以上。

Comments Accepted to NeurIPS 2025 Lock-LLM Workshop

Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

数据高效的自回归到扩散语言模型通过策略内蒸馏

Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

机构 * Department of Computer Science and Engineering, Texas A&M University（德克萨斯大学阿马尔科分校计算机科学与工程系） ； Department of Bioinformatics and Systems Medicine, University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校生物信息学与系统医学系） ； Department of Electrical and Computer Engineering, Texas A&M University（德克萨斯大学阿马尔科分校电气与计算机工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出策略内扩散语言模型（OPDLM），通过策略内蒸馏将自回归模型转换为扩散语言模型，解决分布偏移和训练-推理不匹配问题，实现15倍至7000倍更少训练数据下的强性能。

Sparse Subspace-to-Expert Sharing for Task-Agnostic Continual Learning

稀疏子空间到专家共享的任务无关持续学习

Fatema Siddika, Md Anwar Hossen, Tanwi Mallick, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SETA框架，通过将参数分解为任务特定专家和共享专家的稀疏子空间，结合自适应弹性锚定和路由感知正则化，解决LLM持续学习中的塑性-稳定性困境，在多个基准上优于现有方法。

Comments 19 pages. arXiv admin note: text overlap with arXiv:2601.17616

SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation

SkelDPO: 一种骨架引导的直接偏好优化框架用于高效代码生成

Yu Yu, Chen Lyu

专题命中 效率与部署 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出SkelDPO框架，通过骨架引导的偏好优化，在代码生成中同时优化语义正确性和执行效率，相比现有方法在Pass@1、Beyond@1和Effi@1上提升3-7%。

Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference

语言模型需要睡眠吗？用于改进在线推理的离线循环

Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种类似睡眠的巩固机制，通过离线循环将上下文转换为快速权重，以解决Transformer注意力机制随上下文长度扩展性差的问题，并在合成任务和数学推理任务上验证了其有效性。

TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention

TabSwift: 一种高效的基于行注意力的表格基础模型

Si-Yang Liu, Han-Jia Ye

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出TabSwift，通过门控注意力稳定和可学习注册令牌增强轻量级行注意力骨干，实现高效表格上下文学习，在保持竞争力的同时降低推理成本。

Comments Accepted to ICML 2026, spotlight

Human Adults and LLMs as Scientists: Who Benefits from Active Exploration?

人类成人与LLM作为科学家：谁从主动探索中受益？

Mandana Samiei, Eunice Yiu, Anthony GX-Chen, Dongyan Lin, Jocelyn Shen, Blake A. Richards, Alison Gopnik, Doina Precup

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； University of California Berkeley（加州大学伯克利分校） ； New York University（纽约大学） ； Meta FAIR ； MIT Media Lab（麻省理工学院媒体实验室） ； Montreal Neurological Institute（蒙特利尔神经科学研究所） 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过主动探索实验，发现主动探索能显著提升成人对合取因果规则的推理能力，但合取规则仍需更多测试；同时比较了大型语言模型的表现，发现部分模型在假设推断准确率上接近人类，但探索策略效率较低且存在类似的合取-析取性能差距。

Comments Accepted at the 48th Annual Conference of the Cognitive Science Society (CogSci 2026)

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

Watch, Remember, Reason: 基于多模态大语言模型的人类视角视频理解

Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

机构 * School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院） ； Wuhan University（武汉大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； University of Tokyo（东京大学） ； University of Liverpool（利物浦大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出人类视角下视频理解的三个功能能力（观看、记忆、推理），构建统一框架分析视频MLLM的感知、记忆、推理和预测，并总结挑战、方法、应用及未来方向。

The Three-Ring Architecture: Governing Agents in the Era of On-Platform Organisations

三环架构：平台型组织时代中的智能体治理

Sergio Alvarez-Telena, Marta Diez-Fernandez

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对企业AI部署中缺乏治理基础设施导致失败率高达95%的问题，提出三环架构：环1为现有生产架构，环2为基于策略的智能体联邦层，环3为LLM前沿智能层，其中环2作为智能体企业的操作系统，实现资源抽象、进程协调、权限执行和智能积累，并区分环2与环3的风险轮廓。

Comments 28 pages

Queen-Bee Agents: A BeeSpec-Centered Architecture for Governed Enterprise MCP Orchestration

蜂后智能体：一种以BeeSpec为中心的受治理企业MCP编排架构

Dutao Zhang, Liaotian

机构 * Polytechnic University（理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Queen-Bee多智能体架构，通过Queen控制平面检索能力、规划任务并编译BeeSpec，由Bee智能体在受限工具访问下执行，实现策略执行、租户隔离和边界内执行，在59个企业任务中达到0.964成功率且零治理失败。

Comments Technical report. Prototype-level systems evidence; 59 enterprise-style tasks

An Algebraic View of the Expressivity of Recurrent Language Models

循环语言模型表达能力的代数视角

Franz Nowak, Ryan Cotterell, Reda Boumasmoud

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过代数统一框架分析循环神经网络在不同算术模型下的表达能力，将形式语言识别问题归结为语法幺半群是否划分特定圈积的代数问题。

Comments 28 pages, 2 figures, to be published at ICML 2026

Agentic AI-Enhanced Semantic Communications: Foundations, Architecture, and Applications

基于代理AI的语义通信：基础、架构与应用

Haixiao Gao, Mengying Sun, Ruichen Zhang, Yanhan Wang, Xiaodong Xu, Nan Ma, Dusit Niyato, Ping Zhang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文探讨代理AI如何赋能语义通信，提出统一框架并展示多场景应用，通过案例研究验证其有效性。

Comments This version is being withdrawn because we need to further reevaluate the attribution of contributions among the authors

Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models

聚焦-然后-上下文：面向视觉-语言模型的主体导向渐进视觉标记缩减

Yulin Zhao, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院） ； ShenZhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种主体导向的渐进视觉标记缩减方法SPpruner，通过模拟人类视觉感知系统的'聚焦-然后-上下文'机制，有效减少视觉标记数量，提升视觉-语言模型的推理效率，实验表明其在速度和资源消耗上均优于现有方法。

Generalized and Personalized Federated Learning with Black-Box Foundation Models via Orthogonal Transformations

基于正交变换的联邦学习与个性化方法：通过黑盒基础模型

Eun Gyung Kong, Je Won Yeom, Yonghoon Jeon, Taesup Kim

机构 * Seoul National University（首尔国立大学） ； Mobilint, Inc.（Mobilint公司） ； Kakao Healthcare Corp.（Kakao医疗公司） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出FedOT框架，通过正交变换实现联邦学习中的鲁棒泛化与有效个性化，在异构环境中提升性能，优于基线方法。

Comments 31 pages, 5 figures

Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 24567-24576, 2026

MACD: Model-Aware Contrastive Decoding via Counterfactual Data

MACD：基于反事实数据的模型感知对比解码

Qixin Xiao, Kun Zhou

机构 * University of Michigan, Ann Arbor, MI, USA（密歇根大学，安娜堡分校） ； University of California San Diego, La Jolla, CA, USA（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MACD方法，利用视频语言模型自身反馈识别导致幻觉的目标区域，生成目标级反事实输入，结合对比解码减少幻觉，提升多模型在复杂场景下的准确性。

Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio

全保真音频无损压缩的语言建模基准测试

Phillip Long, Zachary Novack, Chris Donahue

机构 * University of California, San Diego, Computer Science and Engineering Department（加州大学圣地亚哥分校计算机科学与工程系） ； Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.AI、cs.LG

AI总结 提出字节级分词方案Trilobyte，将词汇量从指数级降至常数级，首次实现24位音频的LM无损压缩，并在8位和16位下超越FLAC。

Comments Accepted at Interspeech 2026, 7 pages, 5 figures

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。

Comments Project Page: https://stream3d-vlm.github.io/

Chiseling Out Efficiency: Structured Skeleton Supervision for Efficient Code Generation

剔除低效：用于高效代码生成的结构骨架监督

Yu Yu, Zhihong Sun, Jia Li, Yao Wan, Chuanyi Li, Hongyu Zhang, Ruyun Wang, Tao Huang, Zhi Jin, Ge Li, Chen Lyu

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出EffiSkel框架，通过提取和学习效率骨架，提升代码生成的效率与正确性，实验显示在多个编程语言和基准上均取得显著提升。

LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

LoomVideo: 统一多模态输入到视频生成与编辑

Jianzong Wu, Hao Lian, Jiongfan Yang, Dachao Hao, Ye Tian, Yunhai Tong, Jingyuan Zhu, Biaolong Chen, Qiaosong Qi, Aixi Zhang, Wanggui He, Mushui Liu, Jinlong Liu, Pipei Huang, Hao Jiang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出LoomVideo，一种5B参数的高效统一架构，通过多模态大语言模型和零开销Scale-and-Add条件机制，实现视频生成与编辑，显著降低计算复杂度并加速推理。

SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating

SlimSearcher: 通过自适应奖励门控实现训练效率感知的Web代理

Zequn Xie, Junjie Wang, Dan Yang, Jie Feng, Yue Shen, Jian Wang, Jinjie Gu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SlimSearcher框架，通过帕累托高效过滤和自适应奖励门控，在保持或提升准确率的同时将工具调用轮次减少17%-58%。

Comments 17 pages, 8 figures,