适应节能与异构环境的MapReduce数据布局策略

编号 zgly0001001270

文献类型 期刊论文

文献题名 适应节能与异构环境的MapReduce数据布局策略

作者 廖彬  张陶  于炯  刘继  钟磊  刘炎 

作者单位 新疆财经大学统计与信息学院  新疆大学软件学院  新疆医科大学医学工程技术学院  清华大学软件学院 

母体文献 中山大学学报;自然科学版 

年卷期 2015(6)

页码 55-66

年份 2015 

关键词 绿色计算  MapReduce  异构环境  数据布局 

文摘内容 大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储策略增加了对异构集群环境的适应能力,并能根据不同的作业类型进行存储节点的选择。