语言大模型 / LLM

PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning

PADD: 面向非路由器教师指导MoE学生学习的路径对齐解压缩蒸馏

Xinyue Peng, Yi Qian, Jiaojiao Lin, Wenjian Shao, Yanming Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出路径对齐解压缩蒸馏（PADD）框架，通过四阶段两阶段流程将密集教师知识蒸馏到混合专家（MoE）学生中，同时学习高质量路由策略，在数学推理任务上显著优于基线。

Comments published in ICML 2026

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE: 面向稀疏混合专家大语言模型的联盟感知专家剪枝

Yuhao Zhang

机构 * Beihang University（北航大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SHAPE框架，通过合作博弈论建模专家间协作，利用Shapley值识别高贡献专家，结合质量覆盖选择规则在剪枝预算下保留关键专家，实验表明在多种MoE模型上提升鲁棒性并降低显存。

Understanding Quantization-Aware Training: Gradients at Quantized Weights Bias to the Low-Loss Basin

理解量化感知训练：量化权重的梯度偏向低损失盆地

Hanyang Li, Jianhao Ma, Ying Cui

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出统一几何框架解释后训练量化失败与量化感知训练恢复机制，揭示量化感知训练通过梯度感知谷壁使量化点返回低损失盆地。

Comments 31 pages, 10 figures

WhiFlash: Accelerating Speculative Decoding with Token-Level Cross-Paradigm Routing

WhiFlash: 通过令牌级跨范式路由加速推测解码

Young D. Kwon, Miles Williams, Rui Li, Alexandros Kouris, Stylianos I. Venieris

机构 * Samsung AI Center, Cambridge, UK（三星AI中心，剑桥，英国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出WhiFlash，首个统一自回归与扩散并行草稿的跨范式推测解码方法，通过细粒度路由和缓存优化实现高达69.6%的吞吐量提升。

Comments Under review

SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating

SlimSearcher: 通过自适应奖励门控实现训练效率感知的Web代理

Zequn Xie, Junjie Wang, Dan Yang, Jie Feng, Yue Shen, Jian Wang, Jinjie Gu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SlimSearcher框架，通过帕累托高效过滤和自适应奖励门控，在保持或提升准确率的同时将工具调用轮次减少17%-58%。

Comments 17 pages, 8 figures,

HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

HybridCodec: 快速双流、语义增强的神经音频编解码器

Arjun Gangwar, S Umesh

机构 * Indian Institute of Technology, Madras（印度理工学院马德拉斯分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出HybridCodec，一种结合语义蒸馏与双流架构的统一神经音频编解码器，实现强解耦、跨语言鲁棒性及3倍速度提升。

Comments 5 pages, 5 tables, 1 figure, Accepted at Interspeech 2026

SEER: Long-Context Reasoning via Selective Visual-Text Compression

SEER：基于选择性视觉-文本压缩的长上下文推理

Jiawei Xu, Zhilin Zhai, Jinrui Fang, Ruohan Xu, Mingfei Lu, Yi Zhang, Guanchu Wang, Tianlong Chen, Ying Ding

机构 * The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Cambridge（剑桥大学） ； University of Technology Sydney（悉尼科技大学） ； The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：language model(abstract,comments)；large language model(abstract)；分类 cs.CL

AI总结 SEER是结合视觉压缩效率与文本推理精度的框架，经监督微调后在LongBench等长上下文基准测试中，准确率优于Glyph-9B、Qwen3-8B等基线模型，可提升提取精度并保留提示token节省量。

Comments COLM 2026, Third Conference on Language Modeling

SA-GEM: Scale-Adaptive and Geospatial Evidence-Modulated Token Pruning for Efficient Remote Sensing Large Vision-Language Models

SA-GEM：面向高效遥感大视觉语言模型的尺度自适应与地理空间证据调制型令牌剪枝

Kexin Ma, Jing Xiao, Bowen Xing, Liang Liao, Chia-Wen Lin

专题命中 效率与部署 ：language model(title)

AI总结 本文针对遥感大视觉语言模型高分辨率处理效率低的问题，提出SA-GEM即插即用剪枝框架，通过尺度自适应与地理空间证据调制实现效率与精度提升，在XLRS-Bench上超GeoLLaVA-8K 2.3%且推理提速2.4倍。

Zero-OVCD: Bridging Training-Free Foundation Models and Pseudo-Label Learning for Open-Vocabulary Change Detection

Zero-OVCD：连接无训练基础模型与伪标签学习的开放词汇变化检测方法

Daifeng Peng, Yuanke Peng, Haiyan Guan

机构 * School of Remote Sensing and Geomatics Engineering, Nanjing University of Information Science and Technology（南京信息工程大学遥感与测绘工程学院） 纠错

专题命中 效率与部署 ：foundation model(title)

AI总结 本文提出Zero-OVCD框架，结合无训练基础模型推理与感知噪声的伪标签学习，在多个遥感变化检测数据集上显著提升了开放词汇变化检测性能，且无需目标域像素级标注。

Comments 10 figures, 9 tables

Routing LLM Inference to the Cleanest Grid in Real Time

实时将大语言模型推理路由至清洁电网

Aleks Bernhard, Arif Baran Yardimci

专题命中 效率与部署 ：LLM(title)

AI总结 本研究提出基于边际运行排放率（MOER）信号的碳感知大语言模型推理路由方法，通过多区域GPU测试平台实时验证，可减少50.9%的GPU归因运行排放，优于轮询及静态年平均MOER策略。

Comments 18 pages, 4 figures. Live multi-region GPU validation plus a one-year historical marginal-emissions replay

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D：用于空间理解的通用三维视觉语言模型

Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title)

AI总结 本研究提出 Qwen-3D 三维视觉语言模型，通过多视角几何线索与三维旋转位置嵌入提升空间推理，在三维任务上超越现有 3D LMM，还保持二维任务性能。

Comments Project Page: https://qwen-3d.github.io/

Distill What RGB Can Recover: Privileged 3D Evidence for RGB-Only Vision-Language Models

蒸馏RGB可恢复的内容：面向仅RGB视觉-语言模型的特权3D证据

Yanbin Hu, Jin Cui, Jun Ye, Jiepeng Zhou, Jiangcheng Song, Boran Zhao, Pengju Ren

专题命中 效率与部署 ：language model(title)

AI总结 本研究提出特权3D证据蒸馏框架，将训练时的3D证据转化为仅RGB视觉-语言模型的空间推理能力，使仅RGB学生模型在11项指标上均优于基线，验证了该方法的有效性。

AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation

AudioCALM：面向通用音频生成的连续自回归语言建模

Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Bin Ma, Xiangang Li, Wei Xue

机构 * Hong Kong University of Science and Technology (HKUST)（香港科技大学） ； Tongyi Fun Team, Alibaba Group（阿里云团队，阿里巴巴集团） 纠错

专题命中 效率与部署 ：language model(title)

AI总结 提出AudioCALM框架，通过连续音频潜变量的自回归预测和不对称模态专家架构，统一语音、声音和音乐生成，在三个任务上达到或超越专用模型性能。

Comments Preprint

LAVA: Logic-Aware Validation and Augmentation Framework for Large-Scale Financial Document Auditing

LAVA：面向大规模财务文档审计的逻辑感知验证与增强框架

Ruoqi Shu, Xuhui Wang, Isaac Wang, Yanming Mai, Bo Wan

机构 * BMO Financial Group（蒙特利尔银行金融集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对财务文档验证的异构性与业务规则处理难题，提出基于多模态大语言模型的LAVA框架，通过四阶段设计提升幻觉控制与边缘案例处理能力，适用于高风险财务审计场景。

Journal ref Proceedings of The 10th Workshop on Financial Technology and Natural Language Processing (FinNLP 2025), Association for Computational Linguistics, pp. 75-92, 2025

RAGas: Retrieval-Augmented Gas Optimization for Smart Contracts with Continuous Knowledge Integration

RAGas：结合持续知识整合的智能合约检索增强型 Gas 优化

Yishun Wang, Wenjin Yi, Wenkai Li, Zongwei Li, Xiaoqi Li

机构 * School of Cyberspace Security, Hainan University（海南大学网络空间安全学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对智能合约 Gas 优化的需求，研究人员提出 RAGas 三阶段检索增强型生成框架，分析导致 Gas 过度使用的反模式，实验显示其可降低多达 11% 的 Gas 使用量，且检测精度和召回率较高。

Comments 14 pages, 3 figures

S2-MoE: Enabling Efficient Self-Speculative Decoding for Mixture-of-Experts on Edge Devices

S2-MoE：在边缘设备上实现混合专家模型的高效自推测解码

Haochen Huang, Shengxuan Qiu, Meng Li

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Integrated Circuits, Peking University（北京大学集成电路学院） ； School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 S2-MoE是面向边缘设备MoE推理的高效自推测解码框架，通过路由感知自适应扩展、复用感知门控等设计，使MoE推理在边缘设备上最高获5.3倍加速，平均约2.0倍。

Comments 13 pages, 10 figures

Evaluating Multimodal LLMs across Text and Audio Modalities for Accessible Disaster Assistance

评估面向无障碍灾害援助的跨文本与音频模态多模态大语言模型

Anuridhi Gupta, Samara Mansoor, Hemant Purohit

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文评估了开放权重多模态大语言模型在灾害援助场景下跨文本与音频模态的响应一致性，发现其存在模态依赖的不公平性，为构建公平的灾害沟通AI工具提供了设计建议。

Comments 8 pages, 3 figures

Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures

面向混合架构的视觉-语言-动作（VLA）高效块级并行推理

Haibo HU, Lianming Huang, Qiao Li, Nan Guan, Chun Jason Xue

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对VLA模型部署于车载平台的延迟与内存压力问题，提出混合CPU-GPU推理框架，通过块级划分实现资源调度，在Bench2Drive数据集及实车部署中均取得性能提升。

A Cloud-Edge System for Multimodal Clinical Screening in Resource-Constrained Rural Settings

面向资源受限农村地区多模态临床筛查的云边协同系统

Hei Ting, Chan, Chenwei Wu, Xueshen Liu, Zesen Zhao, Boyuan Zheng, Luis Filipe Nakayama, Michael G. Morley, Liyue Shen, Jiasi Chen, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究针对资源受限农村地区的多模态临床筛查问题，提出云边协同架构，经实验验证其诊断性能优异且成本更低，可适配部署约束。

Comments 31 pages, 3 figures. In Proceedings of Machine Learning Research, Volume 340, 2026 (Machine Learning for Healthcare Conference)

MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning

MAG：流形引导的半监督多模态上下文学习

Zirui Cheng, Xun Xu, Tiankai Chen, Fady Rezk, Bowen Zheng, Xiaodong Shi, Shijie Li, Kangkang Lu, Bharadwaj Veeravalli, Nancy F. Chen

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出MAG框架，通过将未标记多模态数据用于半监督传播的演示选择，提升多模态大语言模型的上下文学习性能，在8个基准的标签稀缺场景下优于强基线。

On the Structural Limits of Machine Learning Decision Systems: An Information-Theoretic, Interaction-Based, and Stochastic-Dynamical Perspective

机器学习决策系统的结构极限：基于信息论、交互与随机动力学的视角

Nestor R. Barraza, Gabriel Pena

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究从信息论等视角分析机器学习决策系统的结构极限，通过Fano型边界等方法推导分类与参数估计的性能极限，指出合适的数据模型是拓展预测能力的前提。

Journal ref JAIIO 2026

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

AWARe：基于激活加权的自适应保留缓解灾难性遗忘

Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院） ； Graduate School of Information Science, Hokkaido University（北海道大学信息科学研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型微调时的灾难性遗忘问题，提出无需修改架构的AWARe方法，通过激活加权控制参数更新，在保留上游能力的同时提升下游性能。

Learning from Online User Feedback for Shopping Agents

从在线用户反馈中学习购物智能体

Haobo Zhang, Kelong Mao, Sulong Xu, Simiu Gu, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LOFA框架，结合强化学习与反馈感知的策略内蒸馏，利用真实在线用户反馈改进购物智能体，在电商日志实验中提升了推荐质量、回复有用性及用户满意度对齐效果。

A Gateway Architecture for Enterprise MCP Authentication: Unifying Heterogeneous Auth, Identity Delegation, and the User / Non-User Persona Problem

企业MCP认证的网关架构：统一异构认证、身份委托与用户/非用户角色问题

Suraj Kumar, Amy Wang, Srinivasan Manoharan

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一种集中式MCP网关架构，通过双轴认证模型、多SSO授权与令牌供应模式、三类身份流及部署演进方案，解决企业MCP认证碎片化问题，已在数十个MCP服务器场景投入生产。

Mitigating Context Interference for Reliable and Efficient Search Agents

缓解可靠高效搜索智能体的上下文干扰

Boyang Xue, Bin Wu, Shuofei Qiao, Sheng Wang, Rui Wang, Yiming Du, Hongru Wang, Jeff Z. Pan, Emine Yilmaz, Kam-Fai Wong, Aldo Lipani

机构 * The Chinese University of Hong Kong（香港中文大学） ； University College London（伦敦大学学院） ； Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对多轮搜索智能体的上下文干扰问题，提出基于蒸馏的上下文优化器，将其纳入RL训练后可显著提升搜索智能体的可靠性与效率，开创了AI智能体“先优化上下文再生成”的新范式。

Motif 3: Technical Report

Motif 3：技术报告

Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh, Hyeyeon Cho, Dahye Choi, Jaeheui Her, Hanbin Jung, Changjin Kang, Minjae Kim, Youngrok Kim, Hyukjin Kweon, Hongjoo Lee, Yeongjae Park, Bokki Ryu

机构 * Motif Technologies（Motif科技公司） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本研究推出仅解码器的MoE语言模型Motif 3，采用GDLA等技术，经万亿token预训练及多阶段后训练，在长上下文、推理等任务上性能与领先开源模型相当。

Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs

面向全模态大语言模型（Omni-LLMs）的基于局部视听动态的延迟音频剪枝方法

Kyeongyoon Lee, Hongyeob Kim, Youngeun Kim, Sungeun Hong

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对全模态大语言模型的高开销问题，提出两阶段框架A-PACK，利用局部视听动态延迟音频剪枝，在Qwen2.5-Omni基准上实现性能最优，同时大幅降低预填充开销并提升解码吞吐量。

RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs

RoRA：面向角色的区域分配，用于多模态大语言模型中的视觉令牌剪枝

Qiyanhui Lu, Han Wu, Rongjian Xu, Tingzhang Luo, Cheng Fan, Xinghao Chen, Minjing Dong, Jufeng Yang, Jianyuan Guo

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对多模态大语言模型视觉令牌剪枝的高开销问题，提出无训练框架RoRA，通过角色导向的区域分配实现高效剪枝，在多个模型系列上优于基线，大幅降低推理时间且保留高准确率。

Comments 9 pages, 4 figures, 4 tables. Code is available at https://github.com/LukieLuu/RoRA

Characterizing the Quality Profile of AI-Generated C++ in Production

刻画生产环境中AI生成C++代码的质量特征

Michael Tran, Fred Lewis, Kun Yang, Saksham Thakur, Aditya Kini, Aditya Patil, Milad Hashemi, Parthasarathy Ranganathan

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过对大型企业2025-2026年352万次代码变更的分析，发现AI生成C++代码质量特征与人类代码不同，针对性反馈可降低其静态分析警告并提升效率。

Comments 21 pages, 5 figures, 6 tables

Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin

学习在多模态大语言模型（MLLMs）中预测中间层注意力以进行视觉token剪枝

Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对MLLMs视觉token剪枝的固定层非最优及计算成本高的问题，提出MAP方法，实现仅保留5.56%视觉token时维持97.5%性能，获3.09倍端到端加速。