计算机应用

作者：陈维, 施昌勇, 马传香

单位：1.湖北大学 计算机与信息工程学院，武汉 430062；2.大数据智能分析与行业应用湖北省重点实验室（湖北大学），武汉 430062

关键词：数据融合,多模态,大语言模型,农作物病害识别,对比学习

基金：国家自然科学基金资助项目(62102136);湖北省技术创新计划重点项目(2024BAB034);湖北省技术创新计划重大项目(2024BAA008)

现有的基于深度学习模型的农作物病害识别方法依赖特定农作物病害图像数据集进行图像特征学习，而忽视了文本特征在辅助图像特征学习中的重要性。为了更有效地提高模型对农作物病害图像的特征提取能力及病害识别能力，提出一种基于对比语言-图像预训练和多模态数据融合的农作物病害识别方法（CDR-CLIP）。首先，构建高质量的病害识别图像-文本对数据集，利用文本信息增强农作物病害图像的特征表示；其次，利用多模态融合策略有效结合文本特征与图像特征，以加强模型对病害的判别能力；最后，针对性地设计预训练和微调策略，从而优化模型在特定农作物病害识别任务中的表现。实验结果表明，在PlantVillage和AI Challenger 2018农作物病害数据集上，CDR-CLIP的病害识别准确率分别达到99.31%和87.66%，F1值分别达到99.04%和87.56%；在PlantDoc农作物病害数据集上，CDR-CLIP的平均精度均值mAP@0.5达到51.10%，展现出CDR-CLIP强大的性能优势。

来源：2025年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第3期