您的位置：
首页
>
农业专利
>
详情页
基于键值分布的跨数据中心大数据处理
- 专利权人:
- 哈尔滨工业大学深圳研究生院
- 发明人:
- 张江涛,王轩,黄荷姣
- 申请号：
- CN201610100798.6
- 公开号：
- CN105589752A
- 申请日:
- 2016.02.24
- 申请国别(地区):
- 中国
- 年份:
- 2016
- 代理人:
- 孙伟
- 摘要：
- 本发明提出了一种基于键值分布的跨数据中心（DC）大数据处理系统和方法，首先基于G-Hadoop和G-MR提出了一种新的架构，新增了一个用于收集DC相关信息以及key的分布信息的ResourceManager模块，该系统能对每个DC的输出进行抽样，从而得到近似的key分布并估算每个Reducer分配到的数据量，存储到ResourceManager模块；然后利用ResourceManager模块中存储的信息，本发明提出的二层分组遗传算法TLGGA，为每个reducer寻找目标DC。其中，TLGGA中初始种群的生成分别针对三个目标，即电价，物力资源和传输代价；TLGGA采用了局部优化的技巧，加快了算法的收敛。
- 来源网站：
- 中国工程科技知识中心
- 来源网址：
- http://www.ckcest.cn/home/
