计算机应用

作者：李康康, 张静

单位：华东理工大学 信息科学与工程学院, 上海 200237

关键词：图像描述,卷积神经网络,长短期记忆网络,多层次编码,多层次解码,注意力机制

基金：国家自然科学基金资助项目（61402174）。

图像描述任务是图像理解的一个重要分支，它不仅要求能够正确识别图像的内容，还要求能够生成在语法和语义上正确的句子。传统的基于编码器-解码器的模型不能充分利用图像特征并且解码方式单一。针对这些问题，提出一种基于注意力机制的多层次编码和解码的图像描述模型。首先使用Faster R-CNN（Faster Region-based Convolutional Neural Network）提取图像特征，然后采用Transformer提取图像的3种高层次特征，并利用金字塔型的融合方式对特征进行有效融合，最后构建3个长短期记忆（LSTM）网络对不同层次特征进行层次化解码。在解码部分，利用软注意力机制使得模型能够关注当前步骤所需要的重要信息。在MSCOCO大型数据集上进行实验，利用多种指标（BLEU、METEOR、ROUGE-L、CIDEr）对模型进行评价，该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall（Recall what you see）模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点；相较于HAF（Hierarchical Attention-based Fusion）模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点。此外，通过可视化生成的描述语句可以看出，所提出模型所生成的描述语句能够准确反映图像内容。

来源：2021年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第9期