语言大模型 / LLM

Gradient Under Microscope: Benchmarking Resource Utilization of Memory-Efficient Gradient Computation Methods

显微镜下的梯度：对内存高效梯度计算方法的资源利用基准测试

Sarthak Mahapatra, Zihan Zhou, Khatoon Khedri, Mehdi Hosseinzadeh, Reza Rawassizadeh

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 该研究针对四种Transformer架构，测试五种梯度优化器在三种内存策略下的资源利用，发现梯度累积效果最优，Adam并非普遍最优，梯度检查点效果依赖架构，为模型训练部署提供实用指南。

UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models

UniMoMo：基于专家合并的大推荐模型混合专家（MoE）加速方法

Lei Xin, Bin Gu, Peize Li, Zitong Wang, Jianbo Zhao, Changjiang Jiang, Yanyue Xie, Chao Huang, Xuyang Zhao, Zunhai Su, Fanhu Zeng, Zhenglun Kong

机构 * Kuaishou Technology（快手科技） ； Hohai University（河海大学） ； Wuhan University（武汉大学） ； ByteDance, Seed（字节跳动 Seed） ； Alibaba, Ant Group（阿里巴巴蚂蚁集团） ； ByteDance, Douyin（字节跳动抖音） ； The University of Hong Kong（香港大学） ； Harvard University（哈佛大学） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI

AI总结 UniMoMo是一种后训练压缩框架，通过功能相似性合并MoE专家并引入层自适应保护，在Amazon Beauty等三个数据集上实现推荐MoE的高效压缩与加速，且性能损失极小。

Comments Preprint

Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages

评价达罗毗荼语的专用单语与联合多语因果模型

Venkata Naga Sai Vishnu Rohit Pulipaka

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本文训练5个GPT-2架构模型对比达罗毗荼语的单语与多语模型，发现单语模型在情感分类等任务上优于mGPT，分词器效率也更高。

MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model

MiCoPro：面向硬件感知代理模型的端到端混合精度硬件/软件协同设计

Zijun Jiang, Yangdi Lyu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 MiCoPro是面向边缘AI的混合精度硬件/软件协同设计框架，通过硬件感知代理模型实现延迟约束下的最优量化配置，在两类硬件上达成最高40%延迟降低、精度下降不足3%的效果。

Comments 14 pages, 9 figures, under review

SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time

SkillAligner：在执行时将检索到的技能视为可调整的草稿

Qinfeng Li, Dalin He, Yuntai Bao, Ying Yang, Ruoxi Chen, Xinyan Yu, Lizhou Liang, Ge Su, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：language agent(abstract)；分类 cs.LG

AI总结 SkillAligner是无训练的执行时技能适配框架，将检索技能视为可调整草稿，经联合适配整合为执行指南，在多基准实验中提升任务性能、降低退化与推理成本。

Comments 21 pages, 5 figures

SLED: Scalable Location Encoding via Distillation

SLED：通过知识蒸馏实现可扩展位置编码

Kevin Lane, Zhongying Wang, Esther Rolf, Morteza Karimzadeh

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI

AI总结 针对现有位置编码器计算成本高、扩展性差等问题，提出基于蒸馏的SLED，可灵活融入多模态地理空间数据，在19项基准任务上性能优于或媲美现有模型，大幅降低预训练成本。

Threshold-Based Early Stopping of Accumulations in Neural Networks with Binary Activation

基于阈值的二值激活神经网络累积量早停机制

Quentin Luquet de Saint-Germain, Massil Ait Abdeslam, Jean Pierre David

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出一种训练后早停机制，通过预测二值神经网络累积量的最终符号，可减少VGG11在CIFAR-10上的运算量，仅造成小幅准确率下降。

Comments 9 pages, 3 figures, 1 table

When Do Prompt-Side Agent Playbooks Transfer? Accuracy, Cost, and Runtime Shift in Agent Deployment

提示侧智能体剧本何时可迁移？智能体部署中的准确性、成本与运行时偏移

Weihong Lin, Lin Sun, Xiangzheng Zhang

机构 * Beijing Qiyuan Technology Co., Ltd.（北京奇源科技有限公司） 纠错

专题命中 效率与部署 ：language agent(abstract)；分类 cs.AI

AI总结 该研究在蒸馏-验证-迁移协议下探究提示侧智能体剧本的可迁移性，在ALFWorld、TAU2-Bench、XBench-DeepSearch等基准上测试发现其为有条件的冷启动选项，需目标侧验证相关指标。

Kastor: An efficient fine-tuning strategy for generative emulation of PDE simulations

Kastor：一种用于生成式模拟偏微分方程（PDE）仿真的高效微调策略

Guillaume Couairon, Alexis Jacq, Yu-Han Wu, Renu Singh, Yana Hasson, Quentin Berthet, Romuald Elie

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 本研究提出Kastor微调策略，通过两阶段推理、均值预测正则化等方法改进物理基础模型，在The Well数据集上实现比Walrus更优的PDE仿真性能，降低预测误差并提升效率。

Comments 34 pages, 32 figures

AFD-Ledger: Deployment Provisioning for Attention--FFN Disaggregation

AFD-Ledger：注意力-前馈网络（FFN）拆分的部署配置

Chengyu Qiu, Xiao Fu, Fengcun Li, Yulei Qian, Yuchen Xie, Xunliang Cai, Yingdi Shan, Yongwei Wu, Mingxing Zhang

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 AFD-Ledger是离线分析配置系统，可优化AFD与同置部署的硬件分配，减少部署评估量，预测吞吐量偏差小，揭示同构/异构AFD及角色硬件改进的部署规律。

Comments 14 pages, 14 figures, 2 tables

Task-Oriented Candidate-Latent Feedback for Coarse-to-Fine Sensing in Distributed OFDM-ISAC Networks

面向任务的候选隐变量反馈：分布式OFDM-ISAC网络中的粗到细感知

Shiv Shankar, Radha Krishna Ganti, J Klutto Milleth

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 该研究针对分布式OFDM-ISAC网络的SE-SF接口，提出基于学习的粗到细感知流水线与候选隐变量反馈方法，实现高检测率与低传输速率，且跨场景泛化性能良好。

Equivariant Music Transformer

等变音乐Transformer

Zixun Guo, Simon Dixon

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对标准音乐Transformer等变性不足的问题，提出EMT模型，通过自蒸馏联合优化预测与等变正则化损失，在等变性和生成能力上优于现有方法。

Journal ref ISMIR 2026

When and Where to Look: Adaptive Visual Evidence Scheduling for Efficient Long Video Understanding

何时与何地查看：用于高效长视频理解的自适应视觉证据调度

Ke Li, Jiayu Chen, Maoliang Li, Zihao Zheng, Hailong Zou, Hengyi Zhang, Xuanzhe Liu, Xiang Chen

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 提出无需训练的EcoFrame框架，通过熵门控预算调度和注意力引导候选提议实现高效视觉证据调度，在多个长视频理解基准上实现精度与效率的更优权衡。

Moving the Safety Barrier: Dynamic Routing Adaptive Alignment Against White-Box Attacks

移动安全屏障：针对白盒攻击的动态路由自适应对齐

Shangze Li, Chuancheng Shi, Simiao Xie, Lingzhi He, Cheng Ji, Zifeng Cheng, Fei Shen, Chao Wu, Tat-Seng Chua

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 针对大型基础模型易受路由级白盒攻击的问题，提出动态路由自适应对齐框架，通过引入动态补偿路由提升模型安全稳健性且保留通用实用性。

KC-Agent: A Dual-Process Cognitive Architecture for Efficient ML Model Improvement

KC-Agent：用于高效机器学习模型改进的双进程认知架构

Gusseppe Bravo-Rocca, Jordi Guitart, Ajay Dholakia, David Ellison, Puneet Jain

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.AI

AI总结 KC-Agent是一种双进程认知架构，结合快速模式识别与审慎增量更新，在五组数据集评估中，以最优效率和领先性能优于现有认知架构，可高效应对真实世界数据漂移场景。

Comments Accepted at IEEE COMPSAC 2026

DART: Decoded Attention over Recurrent States for Efficient Long-Context Sequence Modeling

DART：用于高效长上下文序列建模的循环状态解码注意力

Yixiao Qian, Song Chen, Pengkai Wang, Jiaxu Liu, Shengze Cai, Chao Xu

机构 * College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） ； National University of Singapore（新加坡国立大学） ； Hong Kong Polytechnic University（香港理工大学） ； School of Science, Huzhou Normal University（湖州师范学院理学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 DART基于Mamba-2的状态空间对偶性，通过保留分块状态记忆并解码键值执行状态-记忆注意力，减少长上下文推理缓存，同时提升关联召回与检索性能。

TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving

TALSC：面向基础设施辅助自动驾驶的时效性感知大小视觉语言模型协作

Mengmeng Zhu, Yuxuan Sun, Wei Chen, Bo Ai

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对基础设施辅助自动驾驶中VLM协作的时效性问题，提出TALSC框架，通过李雅普诺夫漂移加估计惩罚算法优化调度，在nuScenes仿真中较最优基线实现Micro-F1最高12.6%的归一化提升。

Comments This paper has been accepted by IEEE GLOBECOM 2026

EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents

EviSD：面向搜索增强智能体的证据条件自蒸馏

Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

机构 * Ant Group（蚂蚁集团） ； NLPR, MAIS, CASIA（中国科学院自动化研究所模式识别国家重点实验室、多模态人工智能系统实验室） 纠错

专题命中 效率与部署 ：language agent(abstract)；分类 cs.CL

AI总结 该研究针对搜索增强智能体的轨迹级信用问题，提出EviSD证据条件自蒸馏框架，在7个问答基准及3种骨干模型上，其宏观平均精确匹配优于最强对比方法1.3-2.3个百分点。

Comments 12 pages

3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering

3DZip：面向3D视觉问答的空间感知特征多样性引导的Token压缩方法

Changwoo Baek, Kyeongbo Kong

机构 * Pusan National University（釜山国立大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 本文针对3D视觉问答中Token压缩忽略空间特性的问题，提出三阶段框架3DZip，在三个基准上以128个Token保留94.7%性能、提速1.92倍，优于现有方法。

Comments Accepted to ECCV 2026. Project page: https://cvsp-lab.github.io/3DZip

Coverage-Driven Adaptive Keyframe Selection for Video Understanding

面向视频理解的覆盖驱动型自适应关键帧选择

Junyang Zhang, Puhan Luo, Chen Tang, Yuxi Shi, Xiang-Yang Li

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 本文针对视频理解中LVLM处理大量帧计算开销大的问题，提出无需训练的CSES关键帧选择器，通过覆盖驱动的自适应策略减少需评分和选择的帧数量，同时保持准确率并提升选择速度。

ORCA: ORgan-Centroid Aggregation for Training-Free 3D CT Visual Token Compression

ORCA：面向无需训练的3D CT视觉令牌压缩的器官质心聚合方法

Renjie Liang, Zijian Xu, Jinqian Pan, Chengkun Sun, Zhengkang Fan, Shawn Li, You Qin, Mei Liu, Jie Xu

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对3D CT视觉令牌压缩的痛点，提出无需训练的即插即用ORCA方法，在多数据集、多任务上实现显著压缩比与速度提升，性能优于现有方法。

Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers

视觉Transformer中可解释性引导的注意力头软剪枝

Kamil Książek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

机构 * University of Warsaw（华沙大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 该研究针对视觉基础模型架构庞大的问题，提出可解释性引导的注意力头软剪枝框架SAPER，在ImageNet-1K上实现了优于RAPTOR的精度-效率权衡。

Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings

弥合检索增强生成中的问答差距：假设提示嵌入

Domen Vake, Jernej Vičič, Aleksandar Tošić

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 该研究提出假设提示嵌入（HyPE）框架，将假设内容生成移至索引阶段，提升RAG的检索对齐度与效率，在六个数据集上实现检索精度和召回率的显著提升且兼容多种RAG技术

Comments 10 pages, 8 figures, 5 tables. Published in IEEE Access

Journal ref IEEE Access, vol. 13, pp. 129952-129961, 2025

$β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation

β-OPSD：基于策略优化推导，采用自蒸馏训练

Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

机构 * University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 β-OPSD是将普通OPSD扩展为含可控正则化参数β的策略优化通用形式，通过蒸馏近似策略优化解，在数学推理基准上性能与稳定性均优于普通OPSD。

Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing

超越几何互补性：稀疏混合专家路由中的相干重叠

Huiyuan Tian, Bonan Xu, Shijian Li

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 该研究区分了MoE路由的相干性等量，提出相干重叠概念，发现所选专家子空间重叠显著但实际路由更优，且添加后续专家多能提升预测，说明几何相似性无法决定冗余或剪枝价值。

Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning

超越二元奖励：强化遗忘的奖励设计比较研究

Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

机构 * Technical University of Munich（慕尼黑工业大学） ； Sapienza University of Rome（罗马大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 该研究在RUL框架下提出两种新型奖励函数，经RWKU基准实验，其遗忘效率较二元奖励提升，速度快达3倍且保留模型效用，表明奖励设计是机器遗忘效率的关键驱动因素。

Comments Accepted to WIPE-OUT 2 @ ECML-PKDD 2026

LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference

LAST：最后一个查询令牌指导视觉令牌剪枝用于边缘-云协作多模态大语言模型（MLLM）推理

Feng Yang, Xinrui Ju, Keyang Zhang, Xiandong Meng, Rongqun Lin, Howard Leung, Shiqi Wang, Haoliang Li, Chris Xing Tian

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 该研究提出无训练框架LAST，利用边缘侧VLM的最后查询令牌注意力实现查询感知视觉令牌剪枝，在11个多模态基准上以12.5%视觉令牌保留率维持95.4%全令牌准确率，降低边缘和云侧开销。

The Sparsity Ceiling: Where Spiking Networks Can and Cannot Trade Activity for Energy

稀疏上限：脉冲网络可在何处及为何用活动换能量

Zeyu Wang

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 该研究揭示脉冲网络稀疏上限由任务类型决定，前馈感知可低至5%放电率，循环语言模型约50%，脉冲Transformer可至2%，并提出信息论边界解释该现象，明确神经形态硬件在事件驱动感知的优势。

Comments 5 pages, 6 figures. Code: https://github.com/zeyuyuyu/sparsity-ceiling

VetClaw: An Edge-Cloud Multimodal Agentic System for Veterinary Disease Screening

VetClaw：一种用于兽医疾病筛查的边缘云多模态智能系统

Syed Mhamudul Hasan, Anas AlSobeh, Hussein Zangoti, Abdur R. Shahid

机构 * Southern Illinois University（南伊利诺伊大学） ； Utah Valley University（犹他谷大学） ； Jazan University（吉赞大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 VetClaw是用于兽医疾病筛查的边缘云多模态智能系统，用相机模块采集图像等并发送至视觉语言模型分类。它分离智能体交互与工作流编排，超越静态图像分类，症状引导和多模态输入提升性能，将静态模型转变为多功能安全感知系统。

Penelope: Localized Latent Recurrence for Efficient Structured Reasoning

佩内洛普：用于高效结构化推理的局部潜在循环

Yutong Chen, Shouqian Shi, Xinran Liu, Haochen Wang, Jiaying Wang, Tianxing Xu, Yuanxi Wang, Zirui Ding

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 研究复杂结构化推理任务计算问题，提出佩内洛普框架，通过局部潜在循环实现高效推理，将可见推理转移到内部循环路径，在开源基准实验中降低推理延迟，实现准确性-效率权衡。

Comments 8 pages, 2 figures