计算机应用

作者：杨文霞, 王萌, 张亮

单位：1. 武汉理工大学 理学院, 武汉 430070;2. 广西科技大学 启迪数字学院, 广西 柳州 545006

关键词：语义图像修复,生成对抗网络,密集连接块,损失函数,局部总变分,编码器-解码器

基金：国家自然科学基金资助项目（61573012）；国家留学基金资助项目（201906955038）；柳州科技计划项目（2018DH10503）。

针对人脸图像在待修复缺损面积较大时，现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题，提出基于密集连接块的U-Net结构的端到端图像修复模型，以实现对任意模板的语义人脸图像的修复。首先，采用生成对抗网络思想，生成器采用密集连接块代替U-Net中的普通卷积模块，以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用；然后，使用跳连接以减少通过下采样而造成的信息损失，从而提取图像缺损区域的语义；最后，通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器，确保了修复边界和周围真实图像的视觉一致，并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明，所提模型能有效提取人脸图像语义信息，修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC，所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%，Frechet Inception距离（FID）降低了7.86%；对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%，FID降低了6.85%。

来源：2020年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第12期