Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process
将交错多模态推理作为统一决策过程进行衔接
机构 * Nanjing University(南京大学) ; Tencent Youtu Lab(腾讯优图实验室) ; Shanghai AI Laboratory(上海人工智能实验室) ; Tsinghua University(清华大学) ; Zhejiang University(浙江大学) ; University of Washington(华盛顿大学) ; The Chinese University of Hong Kong(香港中文大学) ; Australian National University(澳大利亚国立大学)
专题命中 规划推理 :reasoning(title,abstract);分类 cs.AI
AI总结 研究统一多模态模型中强化学习优化多轮生成的问题,提出BRAID框架,将文本-图像-文本推理视为统一马尔可夫决策过程,通过单一强化学习目标联合优化文本和视觉生成,实验表明该框架性能优于基线。
Comments 22 pages, 8 figures