Ultra Flash: Scaling Real-Time Streaming Video Generation to High Resolutions
Ultra Flash: 将实时流式视频生成扩展到高分辨率
机构 * JD Explore Academy(京东探索研究院) ; USTC(中国科学技术大学) ; PKU(北京大学) ; THU(清华大学) ; BUAA(北京航空航天大学) ; FDU(复旦大学) ; HKUST(香港科技大学) ; HKU(香港大学) ; CUHK(香港中文大学)
专题命中 视频生成 :video generation(title,abstract);video diffusion(abstract);分类 cs.CV
AI总结 提出Ultra Flash级联框架,通过架构保持的超分辨率训练、因果流式潜在上采样器和高分辨率解码器、以及级联优化方案,在单GPU上实现1K分辨率约30 FPS和2K分辨率约18 FPS的实时高分辨率流式视频生成。