Do Unified Multimodal Models Think in One Space? A Lens Through Cross-Branch Steering
统一多模态模型是否在同一空间中思考?通过跨分支引导的视角
机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
AI总结 本研究针对统一多模态模型是否共享统一可迁移语义空间的问题,提出跨分支语义引导框架,发现理解分支的引导向量可迁移至生成分支,揭示架构统一不保证语义对齐,该框架可用于探测多模态表示。