TEXAS: Task-Expert-Aware Supervision for Downstream Mixture-of-Experts LLM Adaptation
TEXAS:面向下游混合专家大语言模型适配的任务专家感知监督方法
专题命中 指令微调 :LLM(title);language model(abstract);分类 cs.CL、cs.AI
AI总结 TEXAS 是一种 MoE 大语言模型适配方法,通过对比模型成功与失败实例的专家激活发现任务专家,在微调时提升对应答案 token 权重,在多数基准测试中性能优于基线。