视频大模型

DiT as Real-Time Rerenderer: Streaming Video Stylization with Autoregressive Diffusion Transformer

DiT作为实时重绘器：基于自回归扩散变换器的流式视频风格化

Hengye Lyu, Zisu Li, Yue Hong, Yueting Weng, Jiaxin Shi, Hanwang Zhang, Chen Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； XMax.AI Ltd.（XMax人工智能有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出RTR-DiT框架，通过微调双向教师模型和知识蒸馏实现高效视频风格化，支持文本和参考图像引导，实现实时稳定处理长视频和风格切换。