DiffuMask: Diffusion Language Model for Token-level Prompt Pruning
DiffuMask: 用于令牌级提示压缩的扩散语言模型
机构 * University of Washington(华盛顿大学) ; Oracle AI(甲骨文人工智能)
AI总结 DiffuMask通过迭代掩码预测实现快速并行提示压缩,保留关键推理上下文,实现80%的提示长度缩减,同时保持或提升准确性。
大厂专区
DiffuMask: 用于令牌级提示压缩的扩散语言模型
机构 * University of Washington(华盛顿大学) ; Oracle AI(甲骨文人工智能)
AI总结 DiffuMask通过迭代掩码预测实现快速并行提示压缩,保留关键推理上下文,实现80%的提示长度缩减,同时保持或提升准确性。