一种基于LRFU缓存替换策略的HDFS客户端本地缓存设计与实现

• 全文链接
• 请求原文

作   者：

谢磊;  吴建华;  廖卓凡;  罗可; 

作者机构：

长沙理工大学计算机与通信工程学院; 

关键词：

主从架构;  LRFU;  HDFS;  缓存;  客户端; 

期刊名称：

计算机应用与软件

基金项目：

移动互联网中继部署建模与算法研究

i s s n：

1000-386X

年卷期：

2018 年 05 期

页   码：

15-20+94

摘   要：

Hadoop底层基础存储框架Hadoop分布式文件系统HDFS(Hadoop Distributed File System)是采用基于Master/Slave主从构架设计的分布式文件系统。Name Node负责管理所有文件的元数据和处理客户端对文件的访问。随着应用数据的不断增加,Data Node的不断加入,Name Node维护文件元数据、处理Hadoop应用的读取和删除等文件操作的工作量就会随之增加。Name Node的性能成为整个HDFS的瓶颈。提出一种思想,即将Name Node部分任务交与HDFS客户端完成,使每个HDFS客户端在某些功能上成为Name Node。用LRFU(Least Recently Used and Least Frequently Used)缓存替换策略提出一种在HDFS客户端建立本地缓存的解决方案,从而降低Name Node负载。通过实验证明Hadoop应用可以从缓存中读取文件块信息,而不必请求Name Node,提高了数据访问效率,降低了Name Node负载。