Omni-Flow: A Unified Workflow Orchestration and Distributed KV Cache Sharing Framework for Multimodal Inference
Omni-Flow:面向多模态推理的统一工作流编排与分布式KV缓存共享框架
专题命中 工作流自动化 :workflow(title)
AI总结 提出Omni-Flow框架,通过三层抽象(控制流、数据流、计算流)统一编排多模态推理工作流,实现异构单元协同、分布式KV缓存共享与高效传输,支持多种多模态场景。
Comments 19 pages