视觉大模型 / VLM

ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning

ToolSciVer：基于视觉工具增强强化学习的多模态科学声明验证

Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 文档图表理解 ：VLM(abstract)；InternVL(abstract)；分类 cs.AI

AI总结 研究多模态科学声明验证问题，提出ToolSciVer框架，为视觉语言模型配备三种类型感知视觉工具，用组相对策略优化训练策略，实验证明该方法在多模型上性能优于竞争基线。