计算机应用

作者：孙小涓, 石涛, 胡玉新, 佟继周, 李冰, 宋峣

单位：1. 中国科学院 电子学研究所, 北京 100190;2. 中国科学院 空间信息处理与应用系统技术重点实验室, 北京 100190;3. 中国科学院大学, 北京 100049;4. 中国科学院 国家空间科学中心, 北京 100190

关键词：流式计算,数据流,Storm,空间科学卫星,数据处理

基金：中国科学院十三五信息化专项（XXH13505-04）；北京市科技计划项目（Z181100002918002）。

针对空间科学卫星探测数据的实时处理要求越来越高的问题，提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先，根据空间科学卫星数据处理特点对数据流进行抽象分析；然后，对各处理单元的输入输出数据结构进行重新定义；最后，基于流计算框架Storm设计数据流处理并行结构，以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析，测试结果显示，在相同条件下数据处理时间比原有系统缩短了一半；数据局部性策略比轮询策略具有更高的吞吐率，数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟，提高空间科学卫星数据处理系统的实时性。

来源：2019年第6期

《计算机应用》期刊编辑部

查看计算机应用杂志2019年第6期