面向实时水环境监测大数据分析的分布式处理框架研究

• 全文链接
• 请求原文

作   者：

陈江龙;  宋炜炜;  李嘉豪;  韦群兰;  王金霞;  代博兰; 

作者机构：

中国船舶集团有限公司第七二二研究所;  昆明理工大学国土资源工程学院; 

关键词：

水质指数;  分布式处理框架;  云南省九大高原湖泊;  水质监测; 

期刊名称：

测绘通报

i s s n：

0494-0911

年卷期：

2024 年 010 期

页   码：

25-31

摘   要：

水质监测数据的迅速积累和增长，给水质研究带来了新的机遇和挑战。针对目前水质监测与分析面临的实时性差、数据显示不直观、数据处理效率低等问题，本文基于大数据技术和数据可视化技术，构建了用于实时水环境监测与大数据分析的分布式处理框架WaterSpark。使用改进的加拿大环境部长理事会水质指数(CCME-WQI)和Spark机器学习库(MLlib),进行云南省九大高原湖泊水质监测数据。结果表明，WaterSpark在实时水质传输、清洗归档、高效计算分析等方面表现出色，能够及时准确地捕获和分析大规模水质数据，分布式数据集和集群能够应对不断增长的水质数据，保证性能的可扩展性，支持更多的水质指标和更大规模的水质监测。