From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models
从 RGB 生成到密集场读出:使用文本到图像模型进行像素空间密集预测
机构 * UCSD(加州大学圣地亚哥分校) ; HKUST(香港科技大学)
AI总结 研究利用文本到图像模型进行像素空间密集预测,提出ReChannel方法,保留DiT输入分布的VAE编码器,去掉目标侧解码器,用任务LoRA调整,通过线性头映射令牌到像素空间补丁,在多个密集预测任务上表现出色,比对比方法更准确快速。