中科星图geovis icenter遥感影像分布式高性能切片技术深度解析-欧洲杯手机投注

geovis icenter空天大数据共享服务云平台作为中科星图数字地球的基础后端服务平台，是如何让其管理的海量大规模遥感影像能被各行业应用高效的访问？面对应用对影像时效性越来越高的需求，如何保证影像服务背后数据更新的效率，本篇带您一起探索geovis icenter遥感影像分布式高性能切片技术，揭开这些问题的答案。

应用需求

卫星遥感影像因兼具采集范围广、时效性强等特点，在实际应用中已逐步成为最重要的空间数据来源之一。把遥感影像发布成服务是将其进行共享应用的常见方式，为了让遥感影像服务能在应用中被流畅的访问，通常需要把服务背后的影像数据转换成金字塔结构组织的影像瓦片（简称为“切片”），而按照传统方式进行切片通常需要少则数天、多则数周甚至数月的时间，随着应用对影像时效性的要求越来越高，还会需要对影像服务背后的数据进行更加频繁的更新和切片，因此提升影像切片的效率已成为遥感影像共享和应用的关键技术之一。

技术解析

geovis icenter遥感影像分布式高性能切片技术主要通过如下两个层面的技术创新来实现整体切片效率的大幅提升。

（1）基于内存的深度优先切片算法

影像金字塔是一种多分辨率层次模型，其基本组成单元是瓦片，从金字塔的顶层到底层，分辨率越来越高，但表示的地理范围不变。传统的切片方式，每层瓦片切割均从原始tif中读取数据，造成大量的io，特别是切割上层瓦片时，由于单瓦片的覆盖面积广，耗时尤其严重。

金字塔结构组织的影像瓦片

geovis icenter中通过采用深度优先切片算法，并充分利用内存进行缓存来大幅提升切片算法的效率。具体如下：

1. 选定瓦片特定层级作为根瓦片，根瓦片所有子瓦片的切割作为一个任务单元；

2. 一个线程对应一个任务单元，从四叉树叶节点开始切割，四个子瓦片拼接成父瓦片，任务间并行；

3. 任务单元根瓦片生成输出后，将结果缓存至内存，该层作为缓存层；

4. 所有任务单元切割完成后，以缓存数据作为基础，拼接缓存层以上的瓦片。

icenter深度优先切片算法原理

（2）基于spark的多机分布式切片

影像金字塔切片过程分为两个阶段：影像金字塔构建阶段和图像切片阶段。金字塔构建是指根据影像覆盖范围、图像分辨率计算出影像金字塔层数和每层切片的行列范围，形成一个切片任务列表；图像切片是指根据切片任务列表，执行图像处理层面的重采样和切割，输出尺寸大小一致的瓦片文件。传统做法较多采用单机多线程切片方案，但是在海量遥感数据面前，单机有限的存储和计算资源成为了瓶颈。在整个过程中，第二阶段由于计算量较大，占用了绝大部分时间消耗。

spark是一个快速，通用，可扩展的分布式计算引擎，核心是图计算和数据流的快速处理。在spark集群中，driver完成context创建、任务提交、任务调度以及与executor进行协调；executor是spark任务的执行单元，是运行在worker主机上的一个进程，它是一组计算资源(cpu、memory)的集合；rdd是spark的核心数据模型，即弹性分布式数据集，一个rdd被分为多个分区，每个分区在集群中的不同节点（executor）上，从而让rdd中的数据可以被不同节点并行操作。

 

icenter中基于spark的分布式切片架构图

spark切片架构如图所示。在sparkdriver中完成影像金字塔构建、切片任务列表生成、taskrdd的构建与重分区。taskrdd的成员是一个切片任务单元的描述，并不包含任务数据；通过driver调度，分布在不同主机上的executor读取taskrdd分区上的任务描述，通过调用各个executor所在节点上的gdal库执行分布式切片任务。整个流程如下：

1.spark切片任务启动；

2.spark driver读取moosefs中的geotiff文件的描述信息；

3.spark driver根据geotiff描述信息构建影像金字塔以及切片子任务列表list；

4.spark driver将切片子任务列表并行化成rdd[xyz]，taskscheduler根据rdd的partition将各个task分派给各个不同的worker；

5.spark worker根据driver分配的切片task（xyz对象），根据子任务描述信息对图像进行重采样和切割，生成瓦片文件；

6.spark worker将切割生成的瓦片文件存储至mfs中或hbase中。

 

geovis icenter中基于spark的分布式切片流程图

性能测试

为了验证算法优化以及分布式加速带来的性能提升，我们以长江入海口影像为例进行了测试。测试数据情况如下表所示：

（1）geovis icenter单节点与传统单机切片程序对比

我们在单机（cpu核心数48个）环境下，对以上数据分别使用传统单机切片程序和icenter进行了对比测试，测试结果如下图：

                                                   icenter单节点与传统单机切片程序性能对比

经测试验证，通过icenter中基于内存的深度优先切片算法，可以比传统单机切片程序带来10倍以上的性能提升。

（2）geovis icenter多机分布式切片性能提升效果

我们在分布式集群环境下，使用不同的cpu核心数资源对icenter多机分布式切片随计算资源增加带来的性能提升效果进行了验证，仍然使用上述测试数据，测试结果如下：

                                                   icenter多机分布式切片性能测试结果

经测试验证，geovis icenter的多机分布式切片能力随着计算资源的增加有明显提升，分布式切片能力在更大规模的影像数据切片中作用更加明显，我们在生产环境实践中，使用geovis icenter对全球1-16米影像（不同地区不同分辨率）进行了重投影和切片，总数据量大约53t，瓦片数量为777656250张，为分布式集群分配了360个cpu核心数， 切片任务在55小时内完成，传统方案大约需要1-3个月不等。

结语

geovis icenter遥感影像分布式高性能切片技术为中科星图数字地球基础平台用户提供了高效的影像切片方案，为海量大规模遥感影像的服务共享和应用奠定了坚实的基础，极大的保障了基于geovis数字地球的各行业应用对高分辨率影像流畅访问的体验需求。