计算机应用

作者：林贤早, 刘俊, 田胜, 徐小康, 姜涛

单位：杭州电子科技大学 通信信息传输与融合技术国防重点学科实验室, 杭州 310018

关键词：图像描述,深度学习,注意力机制,情报生成,多空间混合注意力

基金：国家自然科学基金资助项目（61673146）；国家自然科学基金重大仪器专项（61427808）；浙江省重点研发计划项目（2019C05005）。

针对近海船舶监测系统中自动化情报生成的空缺，为了构建智能化船舶监测系统，提出基于多空间混合注意力的图像描述生成方法，对近海船舶图像进行描述。图像描述生成方法就是让计算机通过符合语言学的文字描述出图像中的内容。首先使用图像的感兴趣区域的编码特征预训练出多空间混合注意力模型，然后加入策略梯度改造损失函数对预训练好的解码模型继续进行微调，得到最终的模型。在MSCOCO（MicroSoft Common Objects in COntext）图像描述数据集上的实验结果表明，所提模型较以往的注意力模型提升了图像描述生成的评价指标，比如CIDEr分数。使用该模型在自建船舶描述数据集中能够自动描述出船舶图像的主要内容，说明所提方法能为自动化情报生成提供数据支持。

来源：2020年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第4期