计算机应用

作者：张译天, 于炯, 鲁亮, 李梓杨

单位：1. 新疆大学 软件学院, 乌鲁木齐 830008;2. 新疆大学 信息科学与工程学院, 乌鲁木齐 830046;3. 中国民航大学 计算机科学与技术学院, 天津 300300

关键词：大数据,流式计算,Apache Heron,任务调度,数据流分类,通信开销

基金：国家自然科学基金资助项目（61462079，61562078，61562086）；国家科技支撑计划项目（2015BAH02F01）；新疆维吾尔自治区自然科学基金资助项目（2017D01A20）；新疆维吾尔自治区高校科研计划项目（XJEDU2016S106）。

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。

来源：2019年第4期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第4期