支持云计算环境的MapReduce模拟器设计

编号 zgly0000987616

文献类型 期刊论文

文献题名 支持云计算环境的MapReduce模拟器设计

作者 张国平  黄淼  马丽 

作者单位 平顶山学院软件学院 

母体文献 信阳师范学院学报;自然科学版 

年卷期 2015(3)

页码 428-432

年份 2015 

关键词 MapReduce  Hadoop框架  云计算  模拟器  集群参数 

文摘内容 针对云计算环境下很难确定出有助于实现良好性能的Hadoop参数集的问题,设计了一种MapReduce模拟器.首先,对Hadoop的各种参数进行建模;然后,集群读取元件从集群中读取参数,从而创建模拟的Hadoop集群环境;最后,利用作业跟踪器跟踪模拟的作业,并利用任务跟踪器运行单个任务.所设计的模拟器从多角度研究Hadoop应用的性能,集中模拟Hadoop的映射和化简行为,弥补了MRPerf设计的不足.在基准测试结果和用户自定义MapReduce应用中验证了模拟器的有效性。