计算机应用

作者：董聪, 张晓, 程文迪, 石佳

单位：1. 西北工业大学 软件学院, 西安 710129;2. 大数据存储与管理工业和信息化部重点实验室(西北工业大学), 西安 710129;3. 西北工业大学 计算机学院, 西安 710129

关键词：分布式文件系统,Hadoop分布式文件系统,非易失性存储器,性能优化,异步写入

基金：国家重点研发计划项目（2018YFB1004400）；北京市自然科学基金-海淀原始创新联合基金资助项目（L192027）。

新型存储器件的I/O性能通常比传统固态驱动器（SSD）高一个数量级，然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高，这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题，对Hadoop分布式文件系统（HDFS）的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销，发现在写入数据的各个阶段中，节点间数据传输的时间占比较大。因此提出了对应的优化方案，通过异步写入的方式并行化数据传输与处理过程，使得不同数据包的处理阶段叠加起来，减少了数据包整体的处理时间，从而提升了HDFS的写入性能。实验结果表明，所提方案将HDFS的写入吞吐量提升了15%~24%，总体的写入执行时间降低了28%~36%。

来源：2020年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第12期