国内刊号:51-1307/TP
国际刊号:1001-9081
发布日期:
作者:毛文涛, 吴桂芳, 吴超, 窦智
单位:1.河南师范大学 计算机与信息工程学院, 河南 新乡 453007;2.智慧商务与物联网技术河南省工程实验室(河南师范大学), 河南 新乡 453007
关键词:生成式对抗网络,中国风动漫,风格迁移,卡通,深度神经网络
基金:国家自然科学基金资助项目(U1904123);河南省科技攻关计划项目(212102210103)
目前生成式对抗网络(GAN)已经被用于图像的动漫风格转换。然而,现有基于GAN的动漫生成模型主要以日本动漫和美国动漫为对象,集中在写实风格的提取与生成,很少关注到中国风动漫中写意风格的迁移,因此限制了GAN在国内广大动漫制作市场中的应用。针对这一问题,通过将中国写意风格融入到GAN模型,提出了一种新的中国风动漫生成式对抗网络模型CCGAN,用以自动生成具有中国写意风格的动漫视频。首先,通过在生成器中增加反向残差块,构造了一个轻量级的深度神经网络模型,以降低视频生成的计算代价。其次,为了提取并迁移中国写意风格中图像边缘锐利、内容构造抽象、描边线条具有水墨质感等性质,在生成器中构造了灰度样式损失和颜色重建损失,以约束真实图像和中国风样例图像在风格上的高层语义一致性,并且在判别器中构造了灰度对抗损失和边缘促进对抗损失,以约束重构图像与样例图像保持相同的边缘特性。最终,采用Adam算法最小化上述损失函数,从而实现风格迁移,并将重构图像组合为视频。实验结果表明,与目前最具代表性的风格迁移模型CycleGAN与CartoonGAN相比,所提CCGAN可从以《中国唱诗班》为例的中国风动漫中有效地学习到中国写意风格,同时显著降低了计算代价,适合于大批量动漫视频的快速生成。
来源:2022年第7期
《计算机应用》期刊编辑部