视频大模型

LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting

LightCrafter：用于可控且一致的重光照的PBR条件视频扩散细化

Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Toronto（多伦多大学） ； Bosch Research（博世研究） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 研究视频重光照问题，提出LightCrafter混合管道，将其重表述为代理视频转换，利用PBR渲染并结合光度先验，在真实世界重光照基准上优于现有技术，还贡献合成基准及相关资源。

Comments Project page: https://www.zixinguo.me/lightcrafter

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido：通过利用潜在空间相关性对视频扩散变压器进行算法-硬件协同设计

Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Jiao Tong University, Shanghai Qi Zhi Institute（上海交通大学、上海颀智研究所） ； Huawei Technologies（华为技术有限公司） ； ICT, Chinese Academy of Sciences（信息科技研究所、中国科学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 针对视频扩散变压器计算成本高的问题，提出Kaleido算法-硬件协同设计，利用潜在空间通道级时空相关性加速操作，有轻量级重用算法，设计了加速器，实验表明其相比现有加速器有显著加速和节能效果。

Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data

Cyclone：基于未配对驱动数据的循环一致天气编辑扩散模型

Thang-Anh-Quan Nguyen, Moussab Bennehar, Luis Guillermo Roldao Jimenez, Nathan Piasco, Dzmitry Tsishkou, Laurent Caraffa, Jean-Philippe Tarel, Roland Brémond

机构 * Huawei Paris Research Center（华为巴黎研究中心） ； Gustave Eiffel University（古斯塔夫·埃菲尔大学） ； IGN-ENSG（法国国家地理信息与森林和环境信息研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对自动驾驶系统在不同天气条件下可靠感知的挑战，提出Cyclone框架，基于潜在扩散，利用循环一致约束和图像-文本模型知识，无需配对数据生成多种天气条件，实验表明其输出更优，还可提炼为视频扩散模型。

Comments Project page: https://ntaquan0125.github.io/weather-cyclone/