计算机应用

作者：李叶飞, 徐超, 许道强, 邹云峰, 张晓达, 钱柱中

单位：1. 南京大学 计算机科学与技术系, 南京 210023;2. 国网江苏省电力有限公司 电力科学研究院, 南京 210000;3. 国网江苏省电力有限公司, 南京 210000

关键词：数据分析系统,作业流时间,公平性,饥饿避免

基金：国家自然科学基金项目（61472181）；江苏省自然科学基金项目（BK20151392）。

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题，设计了基于累计工作量（CRW）的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换；在为作业分配资源时，同时考虑到作业所在的队列和其瞬时占用资源量，无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型，在28个节点的基准测试集群上的实验表明，与YARN的公平调度机制相比，作业流时间（JFT）平均降低21%，其中95百分位的作业流时间（JFT）最多降低了35%，并且在与任务级调度程序协作时可获得进一步的性能提升。

来源：2019年第8期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第8期