MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation
MAIGO: 通过历史清理的在线策略自蒸馏缓解对话丢失
机构 * Zhejiang University(浙江大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; Huazhong University of Science and Technology(华中科技大学) ; Fuzhou University(福州大学) ; Tencent(腾讯)
AI总结 针对大语言模型在多轮对话中性能下降(对话丢失)的问题,提出MAIGO方法,通过在线策略自蒸馏和清理历史助手回复来减少自污染,无需验证器或推理时辅助,显著提升多轮对话准确性。