Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools
超越视觉:通过自我调节的隐式视觉工具实现高效多模态推理
机构 * Sun Yat-sen University(中山大学) ; The Hong Kong Polytechnic University(香港理工大学) ; Yinwang Intelligent Technology Co., Ltd.(银望智能科技有限公司)
专题命中 其他安全 :alignment(abstract)
AI总结 研究针对多模态大语言模型推理效率问题,提出超越视觉(BEE)的隐式视觉工具范式,通过将视觉工具调用行为纳入训练目标,经两阶段训练,包括形式化思维链监督微调与自我调节奖励驱动对齐,提升了模型在细粒度视觉感知任务中的性能和推理效率。