基于资源签名与遗传算法的Hadoop参数自动调优系统

• 全文链接
• 请求原文

作   者：

马跃;  余骋远;  于碧辉; 

作者机构：

中国科学院沈阳计算技术研究所有限公司; 

关键词：

遗传算法;  自动调优;  Hadoop集群;  资源签名;  参数配置; 

期刊名称：

计算机应用研究

基金项目：

i s s n：

1001-3695

年卷期：

2017 年 34 卷 11 期

页   码：

3219-3222+3228

摘   要：

在Hadoop集群的优化配置中,配置参数存在种类繁多、含义复杂、相互关联影响的特性,导致难以实现快速准确寻优。针对以上问题,构建了Hadoop集群自动调优系统,其中在系统中设计了资源获取器与参数配置库,分别用于获取各作业的资源消耗与存储分发配置方案。该系统利用MapReduce作业的小规模数据集资源签名将任务分类,在遗传算法框架中通过任务的测试评估对配置方案进行自动迭代优化。实验结果表明,调优后集群的任务完成时间明显缩减,集群的资源利用率有了明显提升。