分布式环境下遥感影像数据存储方法.docx

该【分布式环境下遥感影像数据存储方法 】是由【科技星球】上传分享，文档一共【24】页，该文档可以免费在线阅读，需要了解更多关于【分布式环境下遥感影像数据存储方法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。分布式环境下遥感影像数据存储方法
 
 
王卓琳, 高心丹
(东北林业大学 信息与计算机工程学院, 哈尔滨 150000)
0 引 言
随着遥感技术的发展，遥感数据逐步呈现多源，多尺度，多时相，全球覆盖和高分辨率特征，数据量爆炸性增长[1]。遥感以其能够表达大容量数据的特点广泛应用在对地、军事、勘探、水污染防治、林火防治以及庄稼病虫害监测等有空间大范围数据量需求的领域。如何能高效地存储和查询遥感影像数据，在海量的信息中有效提取所需信息，已成为地理信息科学领域日益关注的热点问题[2-3]。
传统的数据管理方式为文件系统方式，存在读写速率低，传输速率慢等缺点。随着数据库技术的发展，逐渐提高了数据的共享性，减小了数据的冗余，提高了数据的一致性和完整性。在此基础上，文献[4]中提出了一种线性四叉树技术的影像金字塔模型快速索引机制，该机制可以根据用户需要以不同分辨率进行存储与显示，但是海量影像数据的存储性能低下。文献[5]中提出了一种基于影
像块组织的遥感数据分布Key-Value存储模型，结合开源分布式文件系统HDFS[6]，实现了影像数据的分布式高效存储与空间区域检索，有效地解决了传统的关系型数据库技术不能满足存储和管理海量数据的性能需求和海量数据在单节点存储的效率和可扩展性不足等缺点。但是这种方法无法实现快速随机访问数据，因此文献[7]中研究基于HBase的分布式存储,釆用网格法对地理空间进行划分，构建索引表，计算出每个网格单元对应的ID，设计行键和列族方案，提高了存储和查询效率。在金字塔构建部分，文献[4,8]中都采用降采样方法来构建金字塔，但在金字塔构建中却耗费了很长时间，因此文献[9] 在文献[4,8]的基础上采用分布式网格金字塔生成算法(Distributed Grid Pyramid Generation Algorithm，DGPG)并行构建金字塔，节约了金字塔构建时间，提高了效率，但同样存在金字塔构建中上层分辨率降低，导致金字塔上层影像重要内容的清晰度和存储性能降低的问题。
为在构建影像金字塔过程中降低分辨率的损失，作者采用寻优算法替代降采样。在经典寻优算法中，遗传算法[10]搜索速度较为缓慢，不能很好进行局部搜索；粒子群算法[11]在算法后期不能很好的跳出局部最优；蚁群算法[12]引入了信息素，加大了算法的时间复杂度，降低了算法效率(尤其是在样品较多的情况下)。为解决上述问题，本文实验中引入了一种新型的用于解决图像问题的群体智能算法—猫群算法[13-14]，并结合MapReduce[15]并行框架构建金字塔；然后使用HBase[16]存储影像数据，设计了一种结合地物标识码和四叉树索引ID两种信息的行键方案进行索引查询，大幅提高查询的处理速度。
猫群算法是建立在猫的行为模式和群体智能基础上的一种非数值优化计算方法。该算法将猫群分为两种工作模式，在搜寻模式下，通过对自身位置的复
制，之后再对复制副本应用变异算子，加深了对自身位置周围的搜索，有效地提高了问题的求解性能; 在跟踪模式下，利用最优解的位置来不断的更新猫的当前位置，使得解不断地向着最优解的方向逼近，最终达到全局最优解。影像金字塔结合了分块和细节层次模型LOD两者的特点，以原始图像作为底层，通过对原始图像采用重采样的方法，建立一系列地理覆盖范围相同但详尽程度和分辨率不同的多个影像。为了提高影像金字塔各层的分辨率，本文采用猫群算法对金字塔下层寻优来获得上一层，进而构建金字塔。
1 高分辨率影像金字塔的并行构建
影像金字塔最初用于机器视觉和图像压缩。一幅影像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始影像的影像集合[17-18]。其通过猫群算法寻优获得，直到达到某个终止条件停止。金字塔的底部是待处理影像的高分辨率表示，而顶部是低分辨率的近似。将一层一层的影像比喻成金字塔，层级越高，则影像越小，分辨率越低。
在浏览影像数据时，需要根据当前显示的影像数据的分辨率来抽取金字塔相应层的数据。设原始影像数据的分辨率为R0，倍率为2，则第I层栅格数据的分辨率为：
RI=R0×2-I
(1)
设影像分块为X×Y个像素，影像数据的像素为宽×高，则金字塔等级层数I的计算式为：
I=[log2max(Width/X,Height/Y)+1]
(2)
I级金字塔水平方向总块数H和垂直方向总块数V的计算式分别为：
(3)
(4)
式中：[]表示取整；| |表示向下取整。
本文釆用线性四叉树对地理空间进行划分，将划分好的每个网格单元进行编码，然后利用MapReduce并行计算框架结合猫群算法构建金字塔。
线性四叉树编码
影像金字塔的线性四叉树编码实质就是用线性四叉树的数据结构来表示多分辨率遥感影像的索引[19]，影像金字塔与线性四叉树的映射关系如图1所示。
图1 影像金字塔与线性四叉树的映射关系
由图1可以看出，I-2层第1行第2列的编码可以表示为：000001；I-2层第1行第3列的编码可以表示为：000100；I-2层第2行第2列的编码可以表示为：000011；I-2层第2行第3列的编码可以表示为：000110，以此类推。
猫群算法寻优构建金字塔
因以2倍率构建金字塔，所以金字塔上层的每一块影像只需在其下一层中找到该层每4个相邻的影像块及其附近的一块能代替该4个影像块即可。假设原始影像可以分成4类，分别用C1、C2、C3、C4来表示。构建中可能出现4种情况，现将它们分为2组来讨论，4种情况的示意简图如图2所示。
(a)(b)(c)(d)
图2 金字塔下层每4个相邻的影像块情况
若每相邻的4个影像块中有3块或4块的影像属于同一类，上一层的影像就用该类中的一个影像块代替，该影像块根据特征相似度在4个影像块同类中最大，不同类中最小的原则选取。如图2中的(a)和(b)所示，则用C1类代替，具体用C1类中的哪个块代替，则根据计算的相似度决定。如果是图2中(c)和(d)的情况，则运用猫群算法进行搜索寻优，找到能代替该4个相邻影像块数据的那个影像块，用其构建金字塔上一层。设f为找出搜索范围内影像块特征相似度在该类中较大的，在不同类中较小的影像块且影像块数最多的目标影像块，
x为目标影像块。搜索范围以C1影像块为例如图3所示，其余3个影像块的搜索范围同C1。
图3 猫群算法搜索范围
图3中C1影像块的搜索范围为以C1为中心的八个方位上搜索。图中红色+蓝色区域为搜寻一次的搜索范围，若该区域不能找出最优解，则搜寻范围扩充为红色+蓝色+黄色区域，以此类推。
猫群算法中各术语代表如下：
猫算法中的一个解,对应金字塔构建问题中的一个影像块解。
猫群金字塔构建问题中的所有影像块解。
适应度猫所处位置的适应度,在算法中表现为猫所处位置的优劣，在金字塔构建问题中代表影像块解的特征相似度和影像块数。
记忆池(smp) 在搜寻模式下，记忆池的大小代表猫能够搜索的地点数量，通过变异算子，改变原值，使记忆池储存了猫自身的邻域内能够搜索的新地点。猫将依据适应度的大小从记忆池中选择一个最好的位置点。
个体上每个基因的改变范围(srd)：在算法开始之前设定，在本文算法中代表影像块解每一特征的变异概率。
每个个体上需要改变的基因的个数(cdc)：在算法开始之前设定，在本算法中代表影像块解可变异的特征数。
分组率(mr)：分组率将猫群随机分为跟踪模式和搜寻模式2组，指的是跟踪模式的猫在猫群中所占的比例，通常为较小的数。
跟踪模式是来模拟猫处于跟踪状态下建立的模型。在该模式下，通过改变猫的每一个特征的速度来改变猫的位置。跟踪模式可以通过以下2步来描述。
(1) 速度更新。.每只猫都有自己的一个当前速度，记为Vi={Vi1,Vi2,…,Vil}，每只猫根据式(5)来更新自己的速度。记Xbest(t) 为当前猫群里经历的最优位置，即适应度最好的猫。
d=1,2,…,l
(5)
(2) 位置更新。每只猫根据下式更新自己的位置：
(6)
搜寻模式是模拟猫在四处搜索并寻找下一个地点所建立的模型。猫复制自身副本，在自身邻域内加一个随机扰动到达新的位置，再根据适应度函数求取适应度最高的点作为猫所要移动到的位置点。其副本的位置更新函数为：
(7)
式中:srd=，，相当于是在自身邻域内搜索。
设猫群为X={Xi,i=1,2,…,n}，Xi为D维模式向量，代表第i个猫(影像块)总特征，内部可拥有表示光谱信息的DN值，反射率值、波段相关系数、表示空间信息的像素位置、大小等。如扩展开，还可加入颜色特征信息，纹理信息、煽、能量等。该小节问题就是要找出搜索范围内该影像块特征相似度在同类中相似度较大的，在不同类中较小的那个影像块且所占影像块数最多的。设任意 2个猫的同一基因(特征)分别为：X1=(x11,x12,…,x1d)，X2=(x21,x22,…,x2d)，其中d为基因中分量的个数。C[X1,X2]为X1与X2的基因属性值的集合,那么X1与X2之间的距离为: