When Top-1 Fails: Calibrating LoRA Monitors for Masked Diffusion LMs
当Top-1失败时:为掩蔽扩散LM校准LoRA监控器
机构 * Independent Researcher(独立研究员) ; University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
专题命中 个性化与一致性 :diffusion(title,abstract)
AI总结 针对离散扩散语言模型微调中top-1 argmax作为崩溃预警的零精度问题,提出使用最大LoRA梯度范数作为参数侧信号,在LLaDA族上实现0.68精度和0.79 F1分数,并建议每族DLM校准阈值。
Comments 14 pages, 3 figures. Code and result artifacts: https://github.com/lucky-verma/top1-fails-dlm-lora-monitors