计算机应用

作者：李文惠, 曾上游, 王金金

单位：广西师范大学 电子工程学院, 广西 桂林 541004

关键词：图像描述,自然语言处理,卷积神经网络,长短期记忆网络,注意力机制

基金：国家自然科学基金资助项目（11465004）。

图像描述是将图像所包含的全局信息用语句来表示。它要求图像描述生成模型既能提取出图像信息，又能将提取出来的图像信息用语句表达出来。传统的模型是基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的，在一定程度上可以实现图像转语句的功能，但该模型在提取图像关键信息时精度不高且训练速度缓慢。针对这一问题，提出了一种基于CNN和长短期记忆（LSTM）网络改进的注意力机制图像描述生成模型。采用VGG19和ResNet101作为特征提取网络，在注意力机制中引入分组卷积替代传统的全连接操作，从而提高评价值指标。使用了公共数据集Flickr8K、Flickr30K对该模型进行训练，采用多种评价指标（BLEU、ROUGE_L、CIDEr、METEOR）对模型进行验证。实验结果表明，与引入传统的注意力机制模型相比，提出的改进注意力机制图像描述生成模型对图像描述任务的准确性有所提升，并且该模型在5种评价指标上均优于传统的模型。

来源：2021年第5期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第5期