语言大模型 / LLM

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

Database Normalization via Dual-LLM Self-Refinement

通过双LLM自精炼的数据库规范化

Eunjae Jo, Nakyung Lee, Gyuyeong Kim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Miffie框架，利用双模型自精炼架构和大语言模型实现数据库自动规范化，无需人工干预且保持高准确率。

Comments 7 pages

Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs

零样本嵌入漂移检测：一种轻量级防御对抗提示注入的LLM方法

Anirudh Sekar, Mrinal Agarwal, Rachel Sharma, Akitsugu Tanaka, Jasmine Zhang, Arjun Damerla, Kevin Zhu

机构 * Algoverse AI Research（Algoverse AI研究院） ； Berkeley（伯克利大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ZEDD，通过量化嵌入空间中良性与可疑输入之间的语义变化，实现对直接和间接提示注入的检测。该方法无需模型内部访问或先验知识，具有低工程开销，能高效部署于多种LLM架构，准确率达93%以上。

Comments Accepted to NeurIPS 2025 Lock-LLM Workshop

Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

数据高效的自回归到扩散语言模型通过策略内蒸馏

Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

机构 * Department of Computer Science and Engineering, Texas A&M University（德克萨斯大学阿马尔科分校计算机科学与工程系） ； Department of Bioinformatics and Systems Medicine, University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校生物信息学与系统医学系） ； Department of Electrical and Computer Engineering, Texas A&M University（德克萨斯大学阿马尔科分校电气与计算机工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出策略内扩散语言模型（OPDLM），通过策略内蒸馏将自回归模型转换为扩散语言模型，解决分布偏移和训练-推理不匹配问题，实现15倍至7000倍更少训练数据下的强性能。

Sparse Subspace-to-Expert Sharing for Task-Agnostic Continual Learning

稀疏子空间到专家共享的任务无关持续学习

Fatema Siddika, Md Anwar Hossen, Tanwi Mallick, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SETA框架，通过将参数分解为任务特定专家和共享专家的稀疏子空间，结合自适应弹性锚定和路由感知正则化，解决LLM持续学习中的塑性-稳定性困境，在多个基准上优于现有方法。

Comments 19 pages. arXiv admin note: text overlap with arXiv:2601.17616

SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation

SkelDPO: 一种骨架引导的直接偏好优化框架用于高效代码生成

Yu Yu, Chen Lyu

专题命中 效率与部署 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出SkelDPO框架，通过骨架引导的偏好优化，在代码生成中同时优化语义正确性和执行效率，相比现有方法在Pass@1、Beyond@1和Effi@1上提升3-7%。

Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference

语言模型需要睡眠吗？用于改进在线推理的离线循环

Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种类似睡眠的巩固机制，通过离线循环将上下文转换为快速权重，以解决Transformer注意力机制随上下文长度扩展性差的问题，并在合成任务和数学推理任务上验证了其有效性。

TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention

TabSwift: 一种高效的基于行注意力的表格基础模型

Si-Yang Liu, Han-Jia Ye

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出TabSwift，通过门控注意力稳定和可学习注册令牌增强轻量级行注意力骨干，实现高效表格上下文学习，在保持竞争力的同时降低推理成本。

Comments Accepted to ICML 2026, spotlight

Human Adults and LLMs as Scientists: Who Benefits from Active Exploration?

人类成人与LLM作为科学家：谁从主动探索中受益？

Mandana Samiei, Eunice Yiu, Anthony GX-Chen, Dongyan Lin, Jocelyn Shen, Blake A. Richards, Alison Gopnik, Doina Precup

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； University of California Berkeley（加州大学伯克利分校） ； New York University（纽约大学） ； Meta FAIR ； MIT Media Lab（麻省理工学院媒体实验室） ； Montreal Neurological Institute（蒙特利尔神经科学研究所） 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过主动探索实验，发现主动探索能显著提升成人对合取因果规则的推理能力，但合取规则仍需更多测试；同时比较了大型语言模型的表现，发现部分模型在假设推断准确率上接近人类，但探索策略效率较低且存在类似的合取-析取性能差距。

Comments Accepted at the 48th Annual Conference of the Cognitive Science Society (CogSci 2026)

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

Watch, Remember, Reason: 基于多模态大语言模型的人类视角视频理解

Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

机构 * School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院） ； Wuhan University（武汉大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； University of Tokyo（东京大学） ； University of Liverpool（利物浦大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出人类视角下视频理解的三个功能能力（观看、记忆、推理），构建统一框架分析视频MLLM的感知、记忆、推理和预测，并总结挑战、方法、应用及未来方向。

The Three-Ring Architecture: Governing Agents in the Era of On-Platform Organisations

三环架构：平台型组织时代中的智能体治理

Sergio Alvarez-Telena, Marta Diez-Fernandez

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对企业AI部署中缺乏治理基础设施导致失败率高达95%的问题，提出三环架构：环1为现有生产架构，环2为基于策略的智能体联邦层，环3为LLM前沿智能层，其中环2作为智能体企业的操作系统，实现资源抽象、进程协调、权限执行和智能积累，并区分环2与环3的风险轮廓。

Comments 28 pages

Queen-Bee Agents: A BeeSpec-Centered Architecture for Governed Enterprise MCP Orchestration

蜂后智能体：一种以BeeSpec为中心的受治理企业MCP编排架构

Dutao Zhang, Liaotian

机构 * Polytechnic University（理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Queen-Bee多智能体架构，通过Queen控制平面检索能力、规划任务并编译BeeSpec，由Bee智能体在受限工具访问下执行，实现策略执行、租户隔离和边界内执行，在59个企业任务中达到0.964成功率且零治理失败。

Comments Technical report. Prototype-level systems evidence; 59 enterprise-style tasks

An Algebraic View of the Expressivity of Recurrent Language Models

循环语言模型表达能力的代数视角

Franz Nowak, Ryan Cotterell, Reda Boumasmoud

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过代数统一框架分析循环神经网络在不同算术模型下的表达能力，将形式语言识别问题归结为语法幺半群是否划分特定圈积的代数问题。

Comments 28 pages, 2 figures, to be published at ICML 2026

Agentic AI-Enhanced Semantic Communications: Foundations, Architecture, and Applications

基于代理AI的语义通信：基础、架构与应用

Haixiao Gao, Mengying Sun, Ruichen Zhang, Yanhan Wang, Xiaodong Xu, Nan Ma, Dusit Niyato, Ping Zhang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文探讨代理AI如何赋能语义通信，提出统一框架并展示多场景应用，通过案例研究验证其有效性。

Comments This version is being withdrawn because we need to further reevaluate the attribution of contributions among the authors

Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models

聚焦-然后-上下文：面向视觉-语言模型的主体导向渐进视觉标记缩减

Yulin Zhao, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院） ； ShenZhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种主体导向的渐进视觉标记缩减方法SPpruner，通过模拟人类视觉感知系统的'聚焦-然后-上下文'机制，有效减少视觉标记数量，提升视觉-语言模型的推理效率，实验表明其在速度和资源消耗上均优于现有方法。

Generalized and Personalized Federated Learning with Black-Box Foundation Models via Orthogonal Transformations

基于正交变换的联邦学习与个性化方法：通过黑盒基础模型

Eun Gyung Kong, Je Won Yeom, Yonghoon Jeon, Taesup Kim

机构 * Seoul National University（首尔国立大学） ； Mobilint, Inc.（Mobilint公司） ； Kakao Healthcare Corp.（Kakao医疗公司） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出FedOT框架，通过正交变换实现联邦学习中的鲁棒泛化与有效个性化，在异构环境中提升性能，优于基线方法。

Comments 31 pages, 5 figures

Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 24567-24576, 2026

MACD: Model-Aware Contrastive Decoding via Counterfactual Data

MACD：基于反事实数据的模型感知对比解码

Qixin Xiao, Kun Zhou

机构 * University of Michigan, Ann Arbor, MI, USA（密歇根大学，安娜堡分校） ； University of California San Diego, La Jolla, CA, USA（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MACD方法，利用视频语言模型自身反馈识别导致幻觉的目标区域，生成目标级反事实输入，结合对比解码减少幻觉，提升多模型在复杂场景下的准确性。

Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio

全保真音频无损压缩的语言建模基准测试

Phillip Long, Zachary Novack, Chris Donahue

机构 * University of California, San Diego, Computer Science and Engineering Department（加州大学圣地亚哥分校计算机科学与工程系） ； Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.AI、cs.LG

AI总结 提出字节级分词方案Trilobyte，将词汇量从指数级降至常数级，首次实现24位音频的LM无损压缩，并在8位和16位下超越FLAC。

Comments Accepted at Interspeech 2026, 7 pages, 5 figures

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。

Comments Project Page: https://stream3d-vlm.github.io/

Chiseling Out Efficiency: Structured Skeleton Supervision for Efficient Code Generation

剔除低效：用于高效代码生成的结构骨架监督

Yu Yu, Zhihong Sun, Jia Li, Yao Wan, Chuanyi Li, Hongyu Zhang, Ruyun Wang, Tao Huang, Zhi Jin, Ge Li, Chen Lyu

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出EffiSkel框架，通过提取和学习效率骨架，提升代码生成的效率与正确性，实验显示在多个编程语言和基准上均取得显著提升。

LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

LoomVideo: 统一多模态输入到视频生成与编辑

Jianzong Wu, Hao Lian, Jiongfan Yang, Dachao Hao, Ye Tian, Yunhai Tong, Jingyuan Zhu, Biaolong Chen, Qiaosong Qi, Aixi Zhang, Wanggui He, Mushui Liu, Jinlong Liu, Pipei Huang, Hao Jiang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出LoomVideo，一种5B参数的高效统一架构，通过多模态大语言模型和零开销Scale-and-Add条件机制，实现视频生成与编辑，显著降低计算复杂度并加速推理。

SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating

SlimSearcher: 通过自适应奖励门控实现训练效率感知的Web代理

Zequn Xie, Junjie Wang, Dan Yang, Jie Feng, Yue Shen, Jian Wang, Jinjie Gu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SlimSearcher框架，通过帕累托高效过滤和自适应奖励门控，在保持或提升准确率的同时将工具调用轮次减少17%-58%。

Comments 17 pages, 8 figures,

HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

HybridCodec: 快速双流、语义增强的神经音频编解码器

Arjun Gangwar, S Umesh

机构 * Indian Institute of Technology, Madras（印度理工学院马德拉斯分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出HybridCodec，一种结合语义蒸馏与双流架构的统一神经音频编解码器，实现强解耦、跨语言鲁棒性及3倍速度提升。

Comments 5 pages, 5 tables, 1 figure, Accepted at Interspeech 2026

Perplexity Can Miss SAE Feature Damage Under Quantization

量化如何改变可解释特征：语言模型的稀疏自编码器分析

Evan Duan

机构 * University of Michigan（密歇根大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过稀疏自编码器分析，发现量化导致语言模型中的可解释特征逐渐退化，且任务指标无法完全反映这种损伤，量化与幅度剪枝共享相似的损伤模式。

Comments 12 Pages of Content, Submitted to TMLR

MACS: Modality-Aware Capacity Scaling for Efficient Multimodal MoE Inference

MACS: 模态感知容量缩放用于高效多模态MoE推理

Bo Li, Chuan Wu, Shaolin Zhu

机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。

Comments Accepted by ACL 2026

MidSteer: Optimal Affine Framework for Steering Generative Models

MidSteer：用于引导生成模型的最优仿射框架

Tatiana Gaintseva, Andrew Stepanov, Ziquan Liu, Martin Benning, Gregory Slabaugh, Jiankang Deng, Ismail Elezi

机构 * University of Basel（巴塞尔大学） ； University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MidSteer，一种基于仿射变换的最优概念引导框架，通过最小干扰实现生成模型中的概念切换，并在视觉扩散模型和大型语言模型上验证其有效性。

PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration

PolarQuant: 利用极坐标变换实现高效键缓存量化和解码加速

Songhao Wu, Ang Lv, Xiao Feng, Yufei Zhang, Xun Zhang, Guojun Yin, Wei Lin, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； ShanghaiTech University（上海科技大学） ； Meituan（美团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PolarQuant方法，通过将键向量分组为二维子向量并编码为量化半径和极角，解决键缓存量化中的异常值问题，同时通过查表加速解码，保持全精度模型性能。

Comments NeurIPS 2025 version with minor revisions to the methodology

Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization

教方法而非答案：用于多模态策略优化的特权辅导蒸馏

Shizhe Xiang, Ke An, Wenlong Yu, Yue Liu, Jian Luan, Pei Fu, Qilong Wang

机构 * Tianjin University（天津大学） ； Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Xiaomi Inc（小米公司） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出PTD-PO框架，通过构建特权提示提供密集的令牌级监督，避免暴露答案，并采用Top-K JS散度稳定蒸馏，显著提升多模态推理性能。

Bit-Exact AI Inference Verification Without Performance Tradeoffs

无性能权衡的位精确AI推理验证

Naci Cankaya

机构 * Naci Cankaya（纳西·卡纳亚） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对GPU浮点运算非确定性导致AI工作负载验证困难的问题，提出通过软件仿真实现位精确重计算，在不牺牲性能的前提下实现可审计的推理验证。

Comments Best paper award, ICML 2026 TAIGR workshop. Code can be found at https://github.com/NaciCankaya/hardware_rounding_error_predictor

Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines

在Google Cloud TPU上微调和服务Gemma 4 31B：与GPU基线的技术比较

Jatin Kishnani, Mayank Goel, Amit Singh, Pulkit Agrawal, Sairanjan Mishra

机构 * Google Cloud（谷歌云） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文首次端到端展示了在TPU硬件上微调和服务Google Gemma 4 31B模型，通过与GPU平台的实证比较，提供了代码级适配方案，并证明TPU在训练速度和成本上具有优势。