State-of-the-Art Arabic Language Modeling with Sparse MoE Fine-Tuning and Chain-of-Thought Distillation
最先进的阿拉伯语言建模:基于稀疏MoE微调和链式思维蒸馏
机构 * Incept Labs(因塞普特实验室)
专题命中 推理评测 :chain-of-thought(title);reasoning(abstract);CoT(abstract);分类 cs.CL
AI总结 本文提出阿拉伯-DeepSeek-R1,通过稀疏MoE架构和链式思维蒸馏,在开放阿拉伯LLM排行榜上实现SOTA,展示了稀疏MoE与文化导向的蒸馏方法在阿拉伯语言任务中的优势。