基于Spark的分布式青藏高原MODIS LST插值方法实现研究

编号 zgly0001660665

文献类型 期刊论文

文献题名 基于Spark的分布式青藏高原MODIS LST插值方法实现研究

作者 张博  吴立宗  王维真  孙雪卉 

作者单位 中国科学院西北生态环境资源研究院中国科学院黑河遥感试验研究站甘肃省遥感重点实验室  中国科学院大学  中国极地研究中心  南京师范大学地理科学学院 

母体文献 遥感技术与应用 

年卷期 2018年06期

年份 2018 

分类号 P237 

关键词 Spark  分布式  地表温度  插值方法  青藏高原 

文摘内容 受云等诸多因素的影响,青藏高原的MODIS LST数据通常存在大面积数据缺失,传统的插值方法很难达到理想效果,因此学者们研究了许多新方法,其中较好的一种是利用和缺失像元具有相似的LST变化特征的已知像元集估算缺失像元的LST,能够能实现高精度插值,但计算花费巨大,通常需要借助高性能计算机完成。将分布式计算引擎Spark应用于该方法,用一个普通计算机群来代替高性能计算机实现对青藏高原MODIS LST数据快速有效的插值,并对比分析了不同硬件条件、不同数据尺度下原方法和基于Spark实现的该方法两者的性能。结果表明:基于Spark的实现方案有效可行;当节点数和数据量较少时,后者的性能低于前者;随着硬件资源和数据量的增加,后者的性能表现更好并逐渐超过前者;使用新版的Spark编写代码或着将插值方法的代码编译成.so动态库再通过Spark调用,可以进一步提高该方案的插值性能。