计算机应用

作者：黄永鑫, 唐雪飞

单位：电子科技大学 信息与软件工程学院, 成都 610054

关键词：高校信息化,数据质量,近邻传播聚类算法,函数依赖,TANE

基金：国家重点研发计划项目（2017YFB1401303）；四川省科技计划项目（2017GZ0192）。

针对高校实际数据质量检测过程中数据集存在缺失值以及发现的函数依赖个数较少且不准确的问题，提出了一种结合近邻传播（AP）聚类算法和TANE算法的高校函数依赖发现方法（APTANE）。首先，对数据集中的中文字段进行列剖析，将中文字段值用对应的数值来表示；其次，使用AP聚类算法对数据集中的缺失值进行填补；最后，使用TANE算法从处理好的数据集中自动发现出满足非平凡、最小要求的函数依赖。实验结果表明，在使用AP聚类算法对真实的高校数据集进行修复之后，相比于直接使用函数依赖自动发现算法，发现的函数依赖个数增加到了80个，经过缺失值填补后所发现的函数依赖在表示字段间关联关系时也更加准确，减少了领域专家的工作量，提升了高校数据所拥有数据的质量。

来源：2020年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第1期