计算机应用

作者：郭方方, 潮洛蒙, 朱建文

单位：哈尔滨工程大学 计算机科学与技术学院, 哈尔滨 150001

关键词：网络安全,多源数据,数据预处理,相似连接,MapReduce

基金：国家科技重大专项（2016ZX03001023-005）；国家级产学研合作项目（2016ZTE01-03-06）；中央高校基本科研业务费专项（HEUCF100601）。

大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战。针对目前多源数据融合分析过程灵活性差、处理效率低的问题，提出了一种基于相似连接的多源数据并行预处理方法，该方法采用了分治和并行的思想。首先，通过对多源数据中的相似语义进行统一、对个性语义进行保留的预处理方法提高了灵活性；其次，提出了一种改进的并行MapReduce框架，提高了相似连接的效率。实验结果表明，所提方法在保证数据完整性的基础上，使总的数据量减小了32%。与传统的MapReduce框架相比，改进后的框架在耗费时间方面减小了43.91%，因此该方法可以有效提高多源数据融合分析的效率。

来源：2019年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第1期