Multi-Task Instruction Tuning via Data Scheduling for Low-Resource Arabic SpeechLLMs
通过数据调度实现低资源阿拉伯语音频LLM的多任务指令微调
机构 * Qatar Computing Research Institute(卡塔尔计算研究院)
专题命中 指令微调 :LLM(title_cn,summary_cn);instruction tuning(title,abstract);large language model(abstract,comments);language model(abstract,comments)
AI总结 本文研究了在资源受限环境下,通过数据调度优化多任务指令微调方法,提出AraMega-SSum用于训练和评估阿拉伯语中心的音频LLM,并比较了四种训练策略,发现两阶段TPC→ADS策略在任务平衡上表现最佳。
Comments Foundation Models, Large Language Models, Native, Speech Models, Arabic