集群环境下基于内存的高性能数据管理与分析

基金项目类型：

国家自然科学基金

基金项目编号：

61332006

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

周傲英

完成单位：

华东师范大学

中文关键词：

数据管理; 内存数据容错; 大规模并行处理; 非一致内存访问; 商务智能;

项目类型：

重点项目

语种：

中文

开始日期：

2014-01-01

结束日期：

2018-12-31

中文摘要：

随着市场竞争的加剧和企业信息化程度的提高，传统商务智能系统难以满足当前决策时效性的要求，实时商务智能已成为许多企业追求的目标，硬件和体系结构的发展为之提供了技术条件。本项目旨在研究集群环境下基于内存的高性能数据管理与分析技术，探索符合应用需求、充分发挥硬件效能的决策类大数据处理技术，为实现实时商务智能奠定基础。重点研究：1）非一致访问内存环境下的数据高效存储，包括列式密集存储、内存感知布局和压缩感知处理；2）大规模异构计算资源的充分利用，包括函数至核有向无环工作流式和处理器结合迭代式并行处理，以及会话调度策略和计算优先负载平衡；3）内存系统可靠性保障，包括基于世系的内存数据集容错、热备进程的任务快速恢复等；4）针对特定应用的基本算子和执行计划优化。本项目的研究符合现实应用需求和技术发展趋势，具有广阔的应用前景和学术价值。申请人在数据管理方面积累充分，研究方案可行，能保证本项目顺利完成。