A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't)
对目标指令选择的批判性审视:厘清什么重要(以及什么不重要)
机构 * Harvard University(哈佛大学) ; MIT(麻省理工学院) ; Kempner Institute(凯门研究所)
AI总结 本文系统解构指令微调中目标指令选择的两大核心要素——数据表示与选择算法,发现基于梯度的表示结合贪心轮询选择在低预算下表现最佳,但收益随预算增加而减弱,并统一了多种算法为近似距离最小化。
Comments ICML 2026