计算机应用

作者：黄荣, 宋俊杰, 周树波, 刘浩

单位：1.东华大学 信息科学与技术学院，上海 201620；2.数字化纺织服装技术教育部工程研究中心（东华大学），上海 201620

关键词：图像美学质量评价,视觉Transformer,自监督学习,全局特征,自注意力机制

基金：国家自然科学基金资助项目(62001099);中央高校基本科研业务费专项资金资助项目(2232023D?30)

现有的图像美学质量评价方法普遍使用卷积神经网络（CNN）提取图像特征，但受局部感受野机制的限制，CNN较难提取图像的全局特征，导致全局构图关系、全局色彩搭配等美学属性缺失。为解决该问题，提出基于自监督视觉Transformer（SSViT）模型的图像美学质量评价方法。利用自注意力机制建立图像局部块之间的长距离依赖关系，自适应地学习图像不同局部块之间的相关性，提取图像的全局特征，从而刻画图像的美学属性；同时，设计图像降质分类、图像美学质量排序和图像语义重构这3项美学质量感知任务，利用无标注的图像数据对视觉Transformer（ViT）进行自监督预训练，增强全局特征的表达能力。在AVA（Aesthetic Visual Assessment）数据集上的实验结果显示，SSViT模型在美学质量分类准确率、皮尔森线性相关系数（PLCC）和斯皮尔曼等级相关系数（SRCC）指标上分别达到83.28%、0.763 4和0.746 2。以上实验结果表明，SSViT模型具有较高的图像美学质量评价准确性。

来源：2024年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第4期