大数据环境下高维数据流挖掘算法及应用研究

基金项目类型：

国家自然科学基金

基金项目编号：

61370200

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

冯林

完成单位：

大连理工大学

中文关键词：

大数据; 高维数据流; 分布式处理; 实时分类; 关联规则;

项目类型：

面上项目

语种：

中文

开始日期：

2014-01-01

结束日期：

2017-12-31

中文摘要：

大数据环境下的高维数据流在无线传感网络、移动通信、社交网络以及生物信息等领域有广泛的应用前景，是当前数据挖掘领域的重要研究方向。由于大数据环境下高维数据流存在\"维数灾难\"及数据分布不稳定等问题，传统方法尚难以对如此复杂的数据进行深入的处理和挖掘。本项目研究大数据环境下高维数据流的降维、概念漂移检测、分类及关联规则挖掘问题，重点研究其分类及关联规则挖掘。在大数据环境下，首先通过矩阵分解技术实现任务分解，利用平衡离散度思想对高维数据流进行线性监督降维，得到适合分类的最优低维子空间及低维数据；建立稳定的增量极端学习机分类器。同时，利用子空间投影技术对新数据块进行概念漂移检测，以便及时调整分类器实现实时分类。根据类别信息及原始高维数据块进行有针对性的高效益关联规则挖掘。本项目旨在为大数据环境下高维数据流的分类及关联规则问题提供可行的方法，期望有助于大数据环境下高维数据流在更广范围内应用。