RAG / 检索增强生成

Image Captioning via Compact Bidirectional Architecture

通过紧凑双向架构实现图像描述

Zijie Song, Yuanen Zhou, Zhenzhen Hu, Daqing Liu, Huixia Ben, Richang Hong, Meng Wang

机构 * School of Big Data and Statistics, Anhui University（安徽大学大数据与统计学院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Intelligent Interconnected Systems Laboratory of Anhui Province (Hefei University of Technology)（安徽省智能互联系统实验室（合肥工业大学）） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息学院） ； JD Explore Academy, JD.com Inc（京东探索研究院） ； State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining, Anhui University of Science and Technology（安徽理工大学深部煤矿采动响应与灾害防控国家重点实验室） 纠错

专题命中 多模态RAG ：retriever(abstract)；分类 cs.CL

AI总结 本文提出紧凑双向Transformer模型，通过并行解码器隐式和显式利用双向上下文，经消融研究发现其比显式交互机制更重要，结合词级融合进一步提升效果，并扩展至LSTM基座实现新SOTA结果。