计算机应用

作者：李耘书, 滕飞, 李天瑞

单位：1. 西南交通大学 信息科学与技术学院, 成都 611756;2. 四川省云计算与智能技术高校重点实验室(西南交通大学), 成都 611756

关键词：Hadoop,参数调优,微操作,重构,搜索算法

基金：国家自然科学基金资助项目（61573292）；四川省科技计划项目（2019YJ0214）。

Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用，针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题，提出了一种Hadoop参数自动优化的方法和分析框架。首先，对作业运行流程进行解耦，从可变参数直接影响的更细粒度的角度定义微操作，从而分析参数和单次微操作执行时间的关系；然后，利用微操作对作业运行流程进行重构，建立参数和作业运行时间关系的模型；最后，在此模型上应用各类搜索优化算法高效快速得出优化后的系统参数。在terasort和wordcount两个作业类型上进行了实验，实验结果表明，相对于默认参数情况，该方法使作业执行时间分别缩短了至少41%和30%。该方法能够有效提高Hadoop作业执行效率，缩短作业执行时间。

来源：2019年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第6期