基于Hadoop的气象云存储与数据处理平台的研究

基金项目类型：

国家自然科学基金

基金项目编号：

41275116

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

薛胜军

完成单位：

南京信息工程大学

中文关键词：

云存储; HA; 气象数据; Hadoop; 调度;

其他语种关键词：

Cloud Storage; HA; Meteorological data; Hadoop; Scheduling

项目类型：

面上项目

语种：

中文

开始日期：

2013-01-01

结束日期：

2016-12-31

中文摘要：

为气象行业建立"气象云"是实现海量气象资料共享、智能存储、备份以及数据处理的高效手段。然而，当前云存储架构存在的各种不稳定因素以及气象资料的不同分类、分级方法将会影响云平台的可靠性和管理性能。本项目重点研究基于Hadoop的气象云存储管理与数据处理方法与技术。主要研究内容有：气象云存储平台底层架构中元数据节点单点故障处理方法，数据节点智能管理的解决方法以及融合"异地容灾"机制的数据备份存储方案；结合观测气象资料的种类以及使用级别，研究气象云平台上气象资料分类存储、数据分级备份方法；研究具有"松耦合"特性的"通用计算"类气象作业的任务调度处理模型以及启发式算法求解该类模型的过程。本项目最终将完善当前气象云平台Hadoop集群的底层架构，从而为气象行业建立"专有气象云"服务奠定坚实的理论和技术基础。