AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
匹配监督与学生学习能力：一种用于在线自蒸馏的统一框架
机构 * Tencent（腾讯）
专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.AI、cs.LG
AI总结 本文针对在线自蒸馏的次优问题，提出统一在线自蒸馏（USD）框架，该框架通过耦合学习难度预算与师生 divergence，在多模型规模及推理基准上均优于基线方法。
TEMPER：用于表达性残差路由的张量化高效流形约束参数化
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 该研究针对残差路由方法参数随流增长过快的问题，提出TEMPER方法，用张量网络参数化生成器，在语言建模等任务上性能相当或更优，参数效率显著提升。
形状变异专家压缩：LorExperts与BTExperts
机构 * Advanced Micro Devices（超威半导体公司）
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文针对混合专家（MoE）语言模型的专家权重压缩问题，提出LorExperts与BTExperts方法，在保留所有专家与原始路由的前提下实现约50%专家压缩，性能优于基线且随专家数量增长优势更显著。
FedVAR：用于视频异常识别的原型对齐联邦框架
机构 * Chungbuk National University（忠北国立大学） ； Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院） ； University of Central Florida（中佛罗里达大学）
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对联邦视频异常识别中的语义错位问题，本文提出FedVAR框架，通过视觉语言模型的原型对齐机制缓解错位，实验显示其性能优于现有联邦基线。
Faster-WAM：世界动作模型需要深度动作模块吗？
机构 * Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； Huawei Celia Team（华为Celia团队） ； Labs（2012实验室）
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 针对现有WAMs动作模块深度绑定视频骨干网络导致延迟高的问题，提出以视频为中心的DoT架构，构建Faster-WAM，实现低延迟、高性能与强泛化，较Fast-WAM提速3.2倍。
QR-Erase：基于子空间的高效机器遗忘方法，结合层定位技术
专题命中 效率与部署 ：foundation model(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出QR-Erase框架，结合层定位技术实现高效机器遗忘，在多类遗忘任务中取得优于优化方法的权衡效果，为基础模型提供了SVD的高效替代方案。
硬约束循环物理信息模型中柯尔莫哥洛夫-阿诺德网络的嵌入式RISC-V评估
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 本文在RISC-V嵌入式平台上评估硬约束循环物理信息模型的KAN残差分支，发现其部署时延迟和能耗高于MLP，量化后可靠性更差，不适合作为默认选择。
Comments 6 pages, submitted to SBESC 2026 as an extension to the ICLR Workshop Paper https://openreview.net/forum?id=iHpbQn99RB
弃权作为一种动作会同时破坏奖励梯度和KL锚点：错误惩罚强化学习的崩溃规律与修复方案
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG
AI总结 该研究针对错误惩罚强化学习中弃权动作导致的奖励梯度与KL锚点同时失效的问题，提出通过训练强制置信度报告的结构性修复方案，实验验证了机制并提升了语言模型的相关性能。
基于值函数的模仿学习中，何时在线交互是有帮助的？表示权衡研究
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文针对基于值函数的模仿学习，提出交互式在线算法OVI，发现专家交互可降低学习者的表示要求，且OVI在多数场景下性能优于现有方法。
PARALLEL：显式约束下语言模型学习的前额叶对齐强化启发式方法
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 PARALLEL是一种前额叶对齐的强化启发式语言模型学习方法，通过分配样本相关更新强度提升适配效率，在多任务上保留高性能且适配轨迹更稳定，支持高效稳定的部署后流式适配。
Comments 8 pages, 3 figures, and 5 tables
DraftExpert：用于终端设备混合专家推理的扩展感知自推测解码
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对终端设备MoE推理中自推测解码的新瓶颈，提出DraftExpert框架，通过自蒸馏训练轻量级草稿专家，在不同卸载场景下，该框架有效提高了解码吞吐量、草稿接受率和预取命中率。
Comments 9 pages, 6 figures
MXAttention：用于MXFP4注意力的数据无关最优缩放和预归一化量化
机构 * Huawei Technologies Co., Ltd.（华为技术有限公司）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 针对基于扩散的视频生成模型中注意力二次成本的瓶颈，提出MXAttention框架，通过引入通用最优缩放和预归一化量化组件，缩小了MXFP4与FP16的成像质量差距，提升了帧级相似度，且性能与强大基线竞争。
测试时覆盖：用于部署感知学习的测试条件数据管理
机构 * NVIDIA（英伟达） ； University of Ottawa（渥太华大学）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对部署的AI系统训练需数据管理的问题，提出TTCov方法，通过构建任务图谱和知识图谱分别表示覆盖与分布，选择预算训练集，应用于自动驾驶时能提升数据质量及性能，实现对新领域的无缝适应。
用于视觉运动策略学习的有序动作令牌
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对动作令牌化存在的问题，提出有序动作令牌化（OAT）方法，利用带特定机制的变换器将动作块离散化，满足高压缩率等三个需求，在多种策略和任务中验证，能提升策略性能并增强推理灵活性。
硬决策层：Transformer中确定推理的证据
机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所）
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究基于Transformer的语言模型在多选型问答中做预测的位置与方式，识别出硬决策层，经多模型和数据集验证其在无学习路由策略时一致出现且对微调不变，HDL处准确率显著提升，为Transformer推理提供见解与机会。
HiMe：用于健康洞察的实时自托管个人代理平台与可穿戴设备
机构 * King’s College London（伦敦国王学院） ； The Alan Turing Institute（艾伦·图灵研究所）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI
AI总结 针对传统可穿戴健康信号分析的局限，HiMe提出本地可部署、隐私至上的代理平台，遵循数据库为一等组件等原则，能与多种可穿戴设备实时健康数据生态系统兼容，实现个人持续、个性化健康监测以提升幸福感。
编解码器规范：为Transformer KV缓存学习压缩友好型规范
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对Transformer KV缓存压缩问题，提出Codec-Gauge方法，通过训练后缓存坐标层学习正交通道变换，结合频率分布目标优化。实验表明该方法能有效降低散度、提升量化质量，确立缓存坐标几何为提高压缩保真度的实用训练后变量。
谱局部敏感哈希：通过Krylov投影局部敏感哈希实现次二次方的提示压缩
机构 * Islamic Azad University（伊斯兰阿扎德大学） ； Iran University of Science and Technology（伊朗科技大学） ； Meta
专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对长提示推理成本高的问题，提出谱局部敏感哈希方法，通过Krylov子空间方法等近似注意力核算子，应用SimHash分组聚合令牌，实验揭示压缩率相变及不同压缩率下方法优势，自适应后端可兼顾不同情况。
ABOPD：通过策略蒸馏进行抗体CDR设计
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对抗体CDR设计，提出基于策略蒸馏的ABOPD框架，利用天然几何结构监督模型去噪轨迹，提升了RAbD CDR-H3生成的结构恢复，降低均方根偏差，优于其他控制方法，为高保真蛋白质设计开辟道路。
TurboVec：通过码本无关量化实现企业RAG成本高效私有检索的案例研究
专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究RAG系统向量检索层挑战，介绍基于TurboQuant的TurboVec开源向量索引。通过实验对比，表明TurboQuant在内存和召回率上有优势，TurboVec部署效果好，码本无关设计提升隐私性，不过存在单一数据集评估等局限。
多智能体系统何时发挥作用？信息瓶颈视角
机构 * Texas A&M University（德克萨斯A&M大学） ； Brookhaven National Laboratory（布鲁克海文国家实验室）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究从信息瓶颈视角探讨多智能体系统（MAS）与单智能体系统（SAS）差异，指出MAS优势在有限中继时因压缩权衡产生，由参数β控制，通过实验验证，解释了有限智能体间通信何时有利有害。
STEC：开放域多跳问答中深度搜索的证据压缩
机构 * National University of Defense Technology（国防科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI
AI总结 研究开放域多跳问答中最终答案选择难题，提出STEC证据压缩框架从候选集选答案。通过答案级证据压缩和证据引导的答案验证机制，将选择从原始轨迹比较转为候选级证据比较，实验显示其性能最佳。
用于人工智能原生6G的联合嵌入预测架构：预测表示与开放挑战
机构 * IDCoM, University of Edinburgh（爱丁堡大学IDCoM研究所） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； SnT, University of Luxembourg（卢森堡大学SnT） ； Department of Electronic Systems, Aalborg University（奥尔堡大学电子系统系） ； School of Computer Science and Informatics, University of Liverpool（利物浦大学计算机科学与信息学院） ； Division of Electronics and Electrical Engineering, Dongguk University（东国大学电子与电气工程系） ； School of Engineering and Physical Sciences, Heriot-Watt University（赫瑞瓦特大学工程与物理科学学院） ； Department of Electrical Engineering, Chalmers University of Technology（查尔姆斯理工大学电气工程系） ； Department of Electrical and Computer Engineering, San Diego State University（圣地亚哥州立大学电气与计算机工程系）
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 本文围绕用于6G智能的联合嵌入预测架构（JEPA）展开。介绍其训练机制等，通过波束管理案例说明能提升标签效率与鲁棒性，还指出在多时间尺度预测等方面存在开放挑战。
Comments 14 pages, 4 figures, 3 tables. Tutorial and review on Joint-Embedding Predictive Architecture (JEPA) for AI-native 6G. Submitted to IEEE Communications Magazine
马赫思维-4-闪技术报告
机构 * Li Auto Inc（理想汽车公司）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.LG
AI总结 马赫思维-4-闪是含3B激活参数的35B参数专家混合智能体模型，通过训练后优化及可扩展交互环境提升性能。其流程含三个阶段，在多个基准测试中成绩优异，以低推理成本领先或匹配数倍激活规模模型。
分布转移下可靠长时代理上下文演化的范围验证
机构 * RedMind Research（红芯研究公司） ； National Taiwan University（国立台湾大学）
专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI
AI总结 研究长时代理上下文演化在分布转移下的验证问题，提出图正则化代理上下文演化方法（GRACE），通过维护指令为类型化语义图并在局部验证更新，实验表明该方法显著提升了严格可靠性。
Comments 18 pages, 3 figs
Jet-Long：使用动态双焦点旋转位置编码的高效长上下文扩展
机构 * NVIDIA（英伟达）
专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对现代语言模型长上下文应用中零样本上下文扩展问题，提出Jet-Long方法，通过动态双焦点RoPE及相关技术，在推理时开销小，在多种模型和基准测试中表现优异，还能推广到其他架构且超参数弹性强。
Comments added discussion of AdaGroPE and LaMPE (Findings of ACL 2026) with clarified contribution
用于无人机机器人和双手操作的视觉语言动作（VLA）模型综述
机构 * Chef Robotics ； RovifyLab ； IT Application Research Center, Jeonbuk Regional Branch ； Department of Electrical, Computer and Software Engineering（电气与计算机软件工程系）
专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 综述2017 - 2026年183篇文献，围绕视觉语言动作模型在无人机机器人和双手操作方面的应用，涵盖多维度，表明双手VLA相关策略可转移至无人机系统，还确定了两领域的14个研究方向。
Comments 56 pages, 11 figures, 16 tables
动态少步长：统一动态计算与少步长蒸馏以实现高效视频生成
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； BlueImage, vivo（蓝城图像，维沃） ； Xian Jiaotong-Liverpool University（西交利物浦大学）
专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG
AI总结 针对视频扩散模型计算成本高问题，提出将动态结构稀疏化融入蒸馏过程的加速框架，联合优化去噪步骤与模型稀疏性，引入相关策略和机制确保训练稳定，开发推理引擎，有效提升效率且保持生成质量。
TriRoute：用于联合自适应注意力、专家和KV缓存分配的统一学习路由
机构 * Ukrainian State University of Science and Technologies（乌克兰国立科技大学）
专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究提出TriRoute，通过一个跨轴共享的轻量级控制器联合做出注意力分辨率、专家选择和缓存位宽决策，在拉格朗日预算约束下训练，解决了朴素联合训练的问题，在计算和内存匹配时优于独立方法组合，还保留了尾部情况鲁棒性。
Comments 22 pages, 5 figures, 6 tables; preprint
ELSA3D：用于统一3D理解与生成的弹性语义锚定
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 研究统一3D基础模型文本-3D交互隐式问题，提出ELSA3D模型，通过弹性语义锚定联合构建语言和几何推理，用尺度感知八叉树令牌化器和锚定令牌表示几何，轻量级路由器使计算和推理弹性化，性能领先且减少计算量和延迟。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈