计算机应用

作者：程文亮, 王志宏, 周虞, 过弋, 赵俊锋

单位：1. 中汇信息技术(上海)有限公司 开发二部, 上海 201203;2. 华东理工大学 信息科学与工程学院, 上海 200237;3. 大数据流通与交易技术国家工程实验室(商业智能与可视化研究中心), 上海 200237;4. 上海大数据与互联网受众工程技术研究中心, 上海 200072

关键词：外汇市场,市场监测,Spark,有限无环图,资源分配

基金：国家重点研发计划项目（2018YFC0807105）；上海市科学技术委员会科研计划项目（17DZ1101003，18511106602，18DZ2252300）。

针对金融外汇市场监测指标计算复杂度高、完备性强、效率低等问题，基于Spark大数据架构提出了一种新的面向外汇市场监测的分布式计算框架。首先，对外汇市场监测的业务特性和现有技术框架进行了分析总结；然后，综合考虑了外汇单市场多指标和多市场多指标并行计算的业务特性；最后，基于Spark的有向无环图（DAG）作业调度机制和YARN的资源调度池隔离机制，分别提出了外汇市场级的有向无环图（M-DAG）模型和市场级资源分配策略——M-YARN。实验结果表明，所提面向外汇市场监测的分布式计算框架相对于传统技术框架在性能上提高了80%以上，可以有效保证大数据背景下外汇市场监测指标计算的完备性、精准性和时效性。

来源：2020年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第1期