更具学术范儿的地理信息传媒
↑ 点击上方「中国测绘学会」
可快速关注我们
摘要：
针对智能遥感卫星系统星上处理与端到端测绘应用的轻量化全球控制信息需求，本文提出了一种星载轻量化影像控制点数据制作方法。首先，在稀少/无地面控制数据条件下，通过国产高分辨率立体测绘卫星影像的区域网平差处理，生成全球影像控制点；其次，通过将影像控制点的局部影像描述至特征向量，设计星载影像控制点的轻量化表示模式, 分析其存储性能和星上匹配应用策略；然后, 采用哈希映射学习得到的哈希函数，将影像控制点特征向量转换至哈希码, 实现星载影像控制点的深度轻量化处理；最后，采用多类型卫星影像数据，进行影像控制点提取、特征向量描述、深度轻量化处理以及匹配性能分析试验，验证了轻量化影像控制点星上匹配与应用可行性，得到了全球影像控制点轻量化处理能力分析结论。
关键词：智能遥感卫星系统； 影像控制点；特征向量；哈希算法；轻量化处理
阅读全文：
引 言
利用智能遥感卫星系统，通过星上自主处理与智能处理模式，在轨实现遥感卫星地面系统的测绘处理功能，直接生成并分发用户所需的测绘信息与产品，实现端到端(卫星端与用户端)的遥感卫星测绘应用，是卫星遥感影像大众化和实时化服务的重要发展方向[1]。
星上智能实时处理算法是智能遥感卫星系统的重要组成部分，高精度在轨几何定位则是其中的一项关键技术，直接决定遥感卫星在轨测绘信息与产品的精度[2]。目前，国内外高分辨率遥感卫星通常采用几何检校技术，通过地面处理系统对卫星传感器参数进行周期性修正，提高卫星影像的对地定位精度[3-5]。如果直接采用现有地面处理系统的几何检校模式，智能遥感卫星系统需要增加地面处理环节，端到端测绘应用与服务的时效性则大幅降低。因此，将地面处理系统的几何处理模式和功能转移到星上，利用卫星星上处理器，在轨实现影像高精度在轨几何定位及其处理，是卫星遥感影像端到端测绘应用的重要途径。
在轨实现地面处理系统的几何定位及其处理功能有两种模式[6]：①星地联合模式，即利用地面处理系统，进行周期性几何检校，将几何检校参数通过星地传输链路发送至卫星，在轨实现卫星星上定位精度的提升和高精度几何产品的制作；②星上在轨模式，即在星上加载基础数据，直接在星上进行周期性几何检校，并利用基础数据辅助星上高精度几何处理，达到星上高精度定位和几何产品制作目的。由于卫星星上处理资源有限，卫星传感器几何检校模型复杂，且检校过程中需要大量的地面控制信息，因此，星上在轨高精度几何定位通常采用星地联合模式[7-8]。
在卫星星地联合模式中，地面控制信息通常包括控制测量获取的地面控制点、从地形图或正射影像等数据获取的图形图像控制点[9]，这些数据获取成本高且主要分布在我国境内，无法满足卫星影像全球应用与服务需求；利用全球范围内的高分辨率立体影像、公开坐标信息、地形图等数据，提取全球广义控制点、影像控制点和地标信息[10-11]，构建全球地面控制点数据库、数字定标场、三维地标数据库[12-15]，并在全球公开地形数据的辅助下[16]，将控制信息从境内扩展到境外，已逐渐成为卫星影像境外高精度定标定位与几何处理的重要手段。
随着星载处理器性能的不断发展，以及全路由、可重构、智能化的星上处理技术的突破，星上处理资源受限问题将逐步解决，复杂的遥感测绘处理流程也能够在星上快速完成，星上在轨处理已经成为重点发展技术[17-19]。此时，遥感影像几何检校、几何纠正等技术方法将从星地联合处理转向星上在轨处理，且几何处理过程中所需的地面控制信息也需要从地面处理系统转移至星上处理系统。然而，地面处理系统中的全球地面控制信息类型复杂、数据量大，且包含坐标、影像、属性、描述数据、元数据等信息，需要采用数据库进行管理、操作和应用[20]，直接加载至星上处理系统将造成星上控制数据冗余、检索匹配和几何处理效率低下。目前，国内外仅有少量卫星利用局部地区的星载控制信息，进行了星上几何定位与纠正处理试验[19-20]，全球范围内的星上处理应用缺少星载全球控制信息支持。
因此，构建全球控制信息并对其进行星载轻量化处理和在轨应用，是更好地实现智能遥感卫星系统星上处理的关键。本文针对智能遥感卫星系统星上智能处理模式对地面控制信息的需求，给出一种基于高分辨率立体测绘卫星影像的全球影像控制点数据获取流程，同时针对星上在轨处理和应用需要，提出一种星上控制点轻量化处理方法，进行全球影像控制点的简化处理和高效率星上在轨应用。
全球影像控制点数据获取方法
影像控制点是指从影像上提取的特征明显、位置精度高、稳定性好、易于匹配的特征点，主要包括点位空间坐标位置，以点位为中心的局部影像块等，是一种特定类型的地面控制点[21]。与传统意义上的地面控制点相比，影像控制点不需要通过实地量测获取，获取成本低、周期短，在一定程度上可以起到传统地面控制点的作用[9]。但是，影像控制点的坐标位置精度取决于原始影像的定位精度，即使在高分辨率航空航天立体影像上采集，其精度也低于量测获取的地面控制点位置精度。因此，在我国境内地区，影像控制点数据在卫星影像高精度定位中较少使用。
为了提升智能遥感卫星系统在境外地区的应用性能，需要在星上加载全球范围内的地面控制数据，实现星上遥感影像高精度定位与处理。由于全球公开的高精度控制点数据较少，境外大部分地区没有高精度控制点，且也无法通过实地量测获取，可用于智能遥感卫星的境外控制数据严重不足。此时，利用全球范围内的高分辨率立体遥感影像，从中自动提取具有较高精度的影像控制点，将提取处理后的影像控制点加载至卫星星上存储系统，是解决智能遥感卫星系统全球范围内的地面控制数据缺乏问题的重要方法。
本文面向星上在轨处理过程中的全球影像控制点获取需求，在稀少地面控制数据或者无地面控制数据条件下，采用国外高几何定位精度立体卫星影像或者公开DEM数据作为辅助，进行国产高分辨率立体测绘卫星影像(如天绘一号、资源三号卫星影像)区域网平差处理，并通过多类型影像特征点提取与立体交会，生成影像控制点，以满足全球范围内影像控制点数据获取需求，主要步骤如图 1所示。
图1 星载轻量化全球影像控制点数据获取方案
(1) 对国外高几何定位精度立体卫星影像进行多类型特征匹配(如尺度不变特征匹配[22])，获取同名特征点，利用影像定位参数，计算特征点坐标，以此作为控制数据；或者采用全球公开DEM数据，如航天飞机雷达地形测绘任务(shuttle radar topography mission, SRTM)数据、ALOS卫星全球数字地表模型(ALOS world 3D-30 m, AW3D30)数据等[16]，根据目标区地形情况，采用文献[16]方法，选取适量地形点作为高程控制数据，提供高程控制约束。
(2) 在控制数据辅助下，对国产高分辨率立体测绘卫星影像进行连接点(通过高精度自动匹配或者人工刺点获取的均匀分布的同名像点，并用作影像控制点)提取和区域网平差处理[23]，根据区域网平差结果，对卫星影像定位参数进行修正，计算影像连接点的地面坐标，并将影像连接点中心影像块及其空间坐标位置用作影像控制点。
(3) 采用多类型特征匹配方法，进一步从国内高分辨率立体测绘卫星影像上获取同名特征点；同时，根据区域网平差修正后的卫星影像定位参数，计算同名特征点的地面坐标，并将特征点中心影像块及其空间坐标位置用作影像控制点。
(4) 将影像控制点、原始影像数据及其修正后的定位参数存储至地面端数据库(该数据库在卫星地面处理系统中建设，作为智能遥感卫星系统地面配套设施)，并通过数据库中影像控制点数据的更新和完善，逐步构成地面端全球影像控制点数据库。
(5) 根据智能遥感卫星系统星上处理需求，对地面端全球影像控制点数据库中的数据进行轻量化处理，并将轻量化处理结果上注至星上存储系统，实现星上全球影像控制点的在轨应用。
国外高几何定位精度立体卫星影像价格较高且数据获取手段有限，在此条件下，可以利用现有国外立体影像数据，对区域范围内的国产立体测绘卫星影像进行区域网平差处理，生成高精度影像控制点；随后利用这些影像控制点、公开DEM数据以及影像连接关系，对控制点区域范围之外的国产立体测绘卫星影像进行大范围区域网平差处理，实现影像控制信息向无控制区域传递，更新和完善影像控制点数据库，生成全球影像控制点数据。
在应用性能方面，受限于原始立体影像数据的定位精度，本文方法提取的影像控制点位置精度通常为米级，主要用于非立体成像的目标观测类遥感卫星(该类卫星影像主要用于目标成像、检测与识别，对影像定位精度要求较低)的星上几何检校；高分辨率立体测绘卫星(该类卫星影像主要用于立体测图，对影像定位精度要求较高)的星上几何检校需要厘米级精度控制点，通常不直接在星上进行几何检校处理，其星上定位精度则需要通过地面几何检校、检校参数星上上注方式来提升。另外，本文方法提取的影像控制点是高分辨率立体测绘卫星和目标观测类遥感卫星影像在轨几何纠正的重要控制资料，可用于卫星影像数据的星上几何纠正处理及其产品制作。
影像控制点轻量化处理方法
1
基于特征向量描述符的影像控制点轻量化处理
1.1 影像控制点轻量化模式
智能遥感卫星在轨处理过程中，成像分辨率基本恒定，但是由于卫星变轨、变焦、调姿等情况，卫星影像的分辨率会发生变化，并且不同智能遥感卫星的应用需求有差异，卫星影像分辨率之间具有一定的差异。为了确保不同类型智能遥感卫星在轨高精度定位处理，星上影像控制点数据需要满足不同分辨率影像与星上影像控制点的自动匹配需求，并在此条件下进行控制点的轻量化处理。
本文采用尺度不变特征变换(scale invariant feature transform, SIFT)方法，对影像控制点进行轻量化处理，主要优势在于：①SIFT特征对影像旋转变换、尺度缩放保持完全不变性，并且对仿射变换也保持一定的不变性[24]，能够较好地解决不同分辨率影像与影像控制点之间的在轨匹配要求；②SIFT特征描述符通常为归一化后的128维特征向量，能够将灰度影像数据表示的特征点表示成以特征向量描述的特征点，实现影像控制点的轻量化。
传统地面影像控制点存储模式为：像点坐标、以点位为中心的局部影像(通常为1000×1000像素大小左右)、描述信息；在SIFT特征向量的支持下，地面影像控制点的轻量化模式可以表示为：像点坐标、特征描述符、以点位为中心的局部影像(通常为50×50像素大小)、描述信息，见表 1。由表 1可知，影像控制点通过轻量化处理，在理想情况下，总空间大小由传统模式下的1 000 020 Byte变换为轻量化模式下的3032 Byte，存储空间压缩329.82倍。
表1 单个影像控制点传统模式与轻量化模式存储空间对比
控制点模式
表示方式
描述
数据存储类型
空间大小/Byte
总空间大小/Byte
传统模式
坐标
经纬度、高程
float(4 Byte)
12
1 000 020
局部影像
1000×1000像素
unsigned char(1 Byte)
1 000 000
子像素偏移
像坐标偏移量
float(4 Byte)
8
描述信息
点位属性、获取情况等
不上注卫星
0
轻量化模式
坐标
经纬度、高程
float(4 Byte)
12
3032
局部影像
50×50像素
unsigned char(1 Byte)
2500
特征描述符
128维特征向量
float(4 Byte)
512
子像素偏移
像坐标偏移量
float(4 Byte)
8
描述信息
点位属性、获取情况等
不上注卫星
0
由于分辨率差异和几何变形，影像控制点自动匹配至卫星影像的难度较大。因此，传统模式的影像控制点采用了1000×1000像素大小的局部影像，通过灰度匹配和密集特征匹配方法，实现影像控制点向卫星影像的准确匹配映射。在轻量化模式下，本文将影像控制点1000×1000像素大小的局部影像表示为单个特征点的128维SIFT特征向量和50×50像素的局部影像块，通过特征向量匹配与地理范围约束下的灰度匹配相结合的方法，实现轻量化影像控制点与卫星影像的高可靠自动匹配处理。
1.2 轻量化影像控制点存储性能比较与分析
除了影像控制点之外，常用的控制数据还有量测获取的地面控制点(通常以点之记文件表示)、数字正射影像(digital orthophoto map, DOM)及对应区域DEM数据等。点之记文件记录了控制点量测过程、地理位置、坐标数据与精度等信息[10]，其地面控制点表示方式与本文的轻量化影像控制点表示方式差异较大，不适合直接进行数据量的比较；按照传统影像控制点的表示方式，将点之记文件录入控制点存储系统，其数据量与轻量化后影像控制点数据量相比较，结果与表 1一致。如果选用全球高精度DOM以及配套DEM作为控制数据(如30 m格网的全球SRTM及其DOM数据)，其数据量远远超出了星上存储能力，不适合比较该类型控制数据与轻量化影像控制点的存储性能。
因此，在表示方式与存储模式上，轻量化影像控制点与传统影像控制点最为接近，将两者的存储性能进行比较，能够更好地证明本文方法的作用和优势。
1.3 轻量化影像控制点星上匹配应用策略
影像控制点轻量化处理之前，可采用信息熵、特征信息度量等方法[25-27]，对控制点稳健性进行分析，保留特征明显、季节性变化较小的自然地物或者人工地物点作为控制点，提升控制点的匹配可靠性；影像控制点轻量化处理并且上注卫星之后，可根据卫星影像定位参数和定位模型，预测控制点在卫星影像上的点位坐标，缩小控制点匹配范围，进一步提升控制点的匹配可靠性。
在卫星沿轨大倾角成像、垂轨侧摆成像、传感器畸变成像等条件下，控制点影像与卫星影像之间具有较大的仿射变形，SIFT特征匹配容易失效。采用仿射SIFT算法(affine-SIFT, ASIFT)，能够提升仿射变形影像的匹配可靠性[28]。由于ASIFT特征提取算法需要完成多张模拟图像生成工作，计算复杂度是SIFT特征提取算法的180倍(在不采用优化的条件下，等于13.52倍)[29]；在星上计算资源受限条件下，本文主要采用SIFT特征对影像控制点进行轻量化描述，以解决一般性星载影像控制点匹配问题。
2
基于哈希映射学习的影像控制点深度轻量化处理
2.1 哈希映射算法
哈希(Hash)是一种复杂映射，可以把任意长度的比特串映射到固定长度的串，即映射至哈希编码[30]。在遥感影像处理过程中，哈希算法(Hash algorithm)具有将影像高维特征描述符映射至汉明空间，从而获取区分性强的二进制哈希编码的特点，在影像检索中得到了广泛应用[31]。
本文根据哈希算法，利用哈希学习构造的哈希函数，将影像控制点128维浮点型特征向量，映射为字符型特征向量，进一步降低特征向量的存储空间，实现影像控制点的深度轻量化处理，其主要步骤为：①使用大量已匹配的特征点集，训练获取哈希学习中的投影矩阵和阈值向量；②使用投影矩阵，进行特征向量映射处理；③采用阈值向量和符号函数，将映射数据转化为二值编码，实现特征向量哈希映射处理。
2.2 影像控制点特征向量描述符的哈希映射学习
针对影像控制点特征向量，给定n×1维浮点型特征描述符x，将其映射为m×1维字符型特征描述符y的过程如下
(1)
式中，P为m×n维投影矩阵；t为m×1维阈值向量；sign(·)为符号函数(本文取符号0和1)。利用已知的同名特征点集
，通过训练学习方式最小化损失函数，即可获取P及t的值。定义损失函数L
(2)
式中，
为期望；dΗ(·)为字符型描述符间的汉明距离；x+为x的同名浮点型特征描述符；y+为y的同名字符型特征描述符。式(2)中，损失函数L可理解为同名特征点的描述符映射后其间的汉明距离的期望值，且该期望值越小越好。
为了对损失函数进行优化，将字符型特征描述符之间的汉明距离表示为描述符向量的二范数的平方，即式(2)可等效为
(3)
然而，由于字符型特征描述符y带有符号函数不可微分，直接优化L较为困难，因此可采用投影矩阵与阈值向量分步优化的方式进行求解[32]，其主要思想是：①去掉sign(·)符号函数，即在y=Px+t浮点型条件下求解P；②根据求解得到的P值，在y=sign(Px+t)字符型条件下求t。
(1) 投影矩阵P的求解。依据式(3)，在y=Px+t的浮点型条件下，将损失函数L转换成Lmin
(4)
根据向量二范数的特性，Lmin可以转换为
(5)
由于m×1维向量V具有性质VTV=tr(VVT)(其中tr{·}为矩阵的迹)，式(5)可进一步转换为
(6)
式中，
为同名点描述符向量之差的协方差矩阵。
根据式(6)，求取损失函数L的最小值，则投影矩阵P可求解为矩阵
的前m个最小的特征向量，即
(7)
式中，λi和vi(i=1, 2, …, m)分别表示矩阵
的特征值和特征向量。
(2) 阈值向量t的求解。求得到投影矩阵P后，在y=sign(Px+t)的字符型条件下(即y是0和1字符型组成的向量)，y+与y之间的二范数平方距离可以采用异或方式来计算。为此，式(3)表示的损失函数可转换为
(8)
式中，pi为矩阵P中的第i行向量；ti为阈值向量t中的第i个数值变量。
依据式(8)，可将阈值向量t的求解转换为每一独立变量ti的一维阈值搜索问题。即在式(8)中，sign(pix+ti)与sign(pix++ti)越一致，代价函数Lmin的值越小。于是，式(8)的最小值问题可以转换为阈值ti的假负率FNR(ti)判断问题，即
(9)
令h=-pix，h'=-pix'，则有
(10)
式中，Pr(·)为概率函数；cdf(·)为累计分布函数。两者可通过投影值h与h'的最小最大统计直方图近似求得。
通过式(10)将损失函数转换为FNR(ti)最小值问题，可逐步求解出阈值向量t。此外，在式(10)中，同名特征点集
使得阈值向量t趋向两级取值，为了对阈值向量进行约束，可使用非同名特征点集来计算FNR(ti)，将阈值向量t趋向中间取值，从而得到优化后的阈值向量。
根据本小节方法步骤，可通过同名特征点集
，分步求解投影矩阵P及阈值向量t；也可增加非同名特征点集来优化投影矩阵和阈值向量[32]。另外，在进行投影矩阵和阈值向量求解时，若输入大量多视角遥感影像特征点对进行学习和训练，则求解结果能够蕴含冗余的多视角信息，有利于进一步提升生成描述符的判别力。
3
影像控制点的哈希轻量化映射流程与策略
影像控制点的哈希映射深度轻量化处理及星上匹配应用过程为：①将影像控制点的特征点向量进行中心化处理，并将其转换为特征矩阵形式，同时利用同名特征点集进行哈希学习，得到哈希函数；②将影像控制点的特征矩阵代入哈希函数，计算短二进制字符串哈希码，构成哈希映射后的影像控制点；③将轻量化影像控制点上注卫星，采用哈希码汉明距离作为匹配代价，进行星上影像控制点匹配，实现影像控制点的在轨应用。
在卫星发射之前，卫星传感器的成像参数已经基本确定，地面系统可以根据地面分辨率、成像视角等参数，选用相似影像数据进行哈希学习，获取适应性较强的哈希函数；当卫星在轨运行之后，地面处理系统可以利用星上实际拍摄的影像数据进行哈希学习，得到优化后的哈希函数，并通过星地链路上传至卫星，提升卫星哈希映射学习的迁移性与参数的适用性。
由于影像控制点特征向量采用哈希码表示并利用汉明距离作为匹配代价，对于屋角、道路线等相似类型的影像特征，哈希码的匹配错误不可避免。因此，在哈希码星上匹配过程中，同样需要根据影像控制点的物方坐标、卫星影像严格成像模型和星上定位精度，进行匹配预测或者根据控制点局部影像的灰度相似性，解决哈希码的匹配冲突，获取准确、可靠的影像控制点匹配结果。
试验与分析
1
试验数据
本文试验采用了4套试验数据：①Worldview卫星获取的美国华盛顿地区全色影像数据，获取时间为2013年1月10日，包含两张影像及其有理函数模型(RPC)定位参数，并构成立体(重叠度95%以上)，影像的地面分辨率为0.45 m，数据的平面、高程直接定位精度评估约为3.0 m(影像数据附带精度评估数值)；②资源三号卫星获取的美国华盛顿地区全色影像数据，获取时间为2012年5月2日，包含三线阵立体影像及其RPC定位参数，影像分辨率为2.1 m(下视)和3.5 m(前视和后视)，影像中含有30%左右的云层覆盖；③天绘一号卫星获取的美国华盛顿地区全色影像数据，获取时间为2013年12月29日，包含三线阵立体影像及其RPC定位参数，影像分辨率为5.0 m；④美国华盛顿地区Google正射卫星影像数据，影像下载时间为2020年5月，影像分辨率约为0.5 m。试验数据中，Worldview卫星影像与Google正射卫影像覆盖同一地面区域，且都对应于资源三号与天绘一号卫星影像的左下区域。
2
影像控制点获取与轻量化处理试验
从Worldview和资源三号试验数据中选取24组同名像点(图 2)，将Worldview卫星影像上的点位交会坐标作为控制信息，对资源三号卫星影像的直接对地定位精度(该定位精度为资源三号卫星与Worldview卫星影像数据的相对定位精度，非资源三号卫星影像数据的绝对定位精度)进行评估；随后，将Worldview卫星影像作为基准，与资源三号卫星影像进行联合区域网平差(基于RPC像方平移模型)，实现资源三号卫星影像相对Worldview卫星影像的相对定位精度提升，结果见表 2。试验结果表明：通过联合区域网平差处理，高定位精度卫星影像的几何基准能够传递至低定位精度卫星影像，实现低定位精度影像的定位参数优化和定位能力提升，满足更高定位精度的影像控制点获取要求。
图2 Worldview与资源三号卫星影像数据控制信息
表2 资源三号卫星影像在华盛顿地区的对地定位精度(相对于Worldview同地区影像)
影像范围
直接对地定位
区域网平差后对地定位
平面
高程
平面
高程
美国华盛顿地区
16.702
2.435
3.368
2.972
采用SIFT特征点匹配以及随机采样一致性(random sample consensus, RANSAC)误匹配剔除方法，分别对Worldview和资源三号卫星影像数据进行特征点提取与匹配，并将特征点匹配结果作为影像控制点，进行影像控制点地理坐标计算、局部窗口影像获取、特征向量存储等操作，实现影像控制点数据的获取，影像控制点数量和点位分布如图 3所示，其中资源三号卫星影像提取的影像控制点数量较少，主要原因在于影像成像质量不高，有较高的云层覆盖。
图3 影像控制点分布与轻量化表示(美国华盛顿地区)
试验中获取的影像控制点数据、轻量化存储空间见表 3。采用特征影像、点位描述信息和点位特征向量来表示图 3中的影像控制点，每个影像控制点占用3032 Byte的存储空间，与传统影像控制点获取与表示方式相比(采用1000×1000像素大小的局部影像和点位描述信息表示)，其轻量化压缩效率达到329.82倍。
表3 影像控制点轻量化处理结果(美国华盛顿地区)
参数名称
Worldview影像控制点数
资源三号影像控制点数
单点存储空间/Byte
传统方法总存储大小/MB
本文方法总存储大小/MB
轻量化压缩倍数
参数值
15 567
983
3032
15 783.63
47.85
329.82
3
影像控制点深度轻量化处理试验
利用轻量化处理后的Worldview和资源三号卫星影像及其控制点特征描述符集，根据本文给出的哈希映射学习方法，计算哈希映射投影矩阵P及阈值向量t(哈希映射学习过程通常在地面完成，通过星地链路上传至卫星，实现星上影像特征点的快速哈希映射处理)，结果如图 4所示。
图4 哈希学习方法计算投影矩阵及阈值向量
得到哈希映射投影矩阵P及阈值向量t之后，将Worldview和资源三号卫星影像控制点特征描述符进行深度轻量化处理。对于每一个影像控制点，其深度轻量化处理处理步骤为：将影像控制点128维浮点型特征向量表示为x，通过投影矩阵P及阈值向量t构成的哈希映射函数y=sign(Px+t)，将x映射为128位字符型数据y；在不考虑投影矩阵P及阈值向量t的存储空间时，每个影像控制点的存储空间由SIFT特征向量描述下的532 Byte(在表 1给出不含局部影像的524 Byte的基础上，增加用于表示像点坐标子像素精度偏移的8 Byte)降低为28 Byte(由于没有局部影像，同时不需要记录影像中心点的偏移坐标，只需要记录16 Byte的哈希映射向量和12 Byte的地理坐标，共28 Byte)，数据量压缩约19倍。
在考虑投影矩阵P及阈值向量t的存储空间条件下，Worldview和资源三号卫星影像控制点深度轻量化处理结果及分析见表 4。试验结果表明，本文方法能够实现影像控制点浮点型特征向量的深度轻量化处理。
表4 影像控制点哈希映射轻量化处理结果(美国华盛顿地区)
影像类型
影像控制点数量
哈希映射向量空间/KB
哈希映射单点存储大小/Byte
哈希映射总存储大小/MB
原轻量化存储大小/MB
深度轻量化压缩倍数
含局部影像
16 550
64.5
2536
40.08
47.85
1.19
不含局部影像
16 550
64.5
28
0.50
8.40
16.64
4
深度轻量化影像控制点匹配性能分析试验
选用Worldview影像和资源三号(前视)影像，进行影像控制点SIFT特征向量匹配、哈希映射向量匹配处理和对比分析，以验证影像控制点深度轻量化方法的匹配性能，结果如图 5所示。另外，根据华盛顿地区Worldview立体影像生成的高精度地形，对Worldview影像和资源三号(前视)影像轻量化控制点匹配结果进行交会处理和坐标精度分析，匹配结果的像方精度分析结果见表 5。
图5 SIFT特征向量与哈希映射向量匹配结果
表5 影像控制点匹配结果(美国华盛顿地区)
匹配方法
匹配点数
平均误差/像素
最小误差/像素
最大误差/像素
中误差/像素
哈希映射向量
842
2.40
0.02
9.45
2.05
SIFT特征向量
696
8.53
0.11
322.21
3.64
由图 5可知，哈希映射向量匹配方法获取的匹配点数量和分布更优。在影像控制点匹配数量和精度方面，哈希映射向量匹配方法略优于SIFT映射向量匹配方法，主要原因为：哈希映射向量匹配方法增加了对SFIT特征向量的学习过程，能够更好地运用同名匹配点的内部结构，去除误匹配点，提升匹配效果。试验结果表明，从轻量化影像控制点匹配性能角度而言，哈希映射后的影像控制点不但减少了数据量，而且具有更好的匹配性能。
将Worldview影像上提取的控制点与同地区的Google正射卫星影像进行哈希映射向量匹配，并进行RANSAC误匹配剔除等操作，得到3458对匹配点(匹配点数较多，为了确保显示效果，本文只给出了部分匹配区域的匹配结果)，结果如图 6和图 7所示。由图 6可知，影像控制点匹配结果无误差，分布相对均匀，能够满足应用要求。图 7为SIFT匹配结果与哈希映射向量匹配结果的匹配距离色彩映射图，本文选取了前124对点进行了匹配距离绘制，结果表明SIFT特征向量匹配与哈希映射向量匹配的匹配距离最小值均发生在距离色彩映射图的对角线区域，且哈希距离值较低，轻量化控制点匹配效果较为理想。
图6 Worldview影像与google正射影像控制点哈希映射匹配结果图(局部范围)
图7 Worldview影像与google正射影像控制点匹配距离色彩映射图
为了进一步验证哈希映射向量的匹配性能，将利用资源三号卫星影像上提取的控制点与同地区的天绘一号卫星影像进行哈希映射向量匹配，并进行RANSAC误匹配剔除等操作，得到317对匹配点(本文同样只给出了部分匹配区域的匹配结果，以确保显示效果)，结果如图 8和图 9所示。由图 8和图 9可知，影像控制点匹配结果理想，SIFT特征向量匹配与哈希映射向量匹配的匹配距离最小值均发生在距离色彩映射图的对角线区域，且哈希距离值较低。试验结果表明，本文设计的影像控制点深度轻量化处理流程及其匹配性能可以实现智能遥感卫星在轨匹配应用。
图8 资源三号影像与天绘一号影像控制点哈希映射匹配结果图(左下角范围)
图9 资源三号影像与天绘一号影像控制点匹配距离色彩映射
5
深度轻量化影像控制点匹配应用试验
智能遥感卫星系统可实现端到端的遥感卫星测绘应用，其数据接收对象可能不再是遥感数据接收中心或者遥感数据服务厂商，而大部分将是不熟悉卫星影像数据测绘处理的“非专业”用户，这些用户更希望直接从卫星上获取影像产品，或者通过客户端软件直接生成影像产品。带平面坐标的纠正影像产品可用于面积估算、水平距离量测、水平方位估计等遥感应用，由于纠正影像产品制作需要控制信息支持(控制信息一般不提供给用户)，相关处理工作无法在“非专业”用户客户端软件上完成，需要智能遥感卫星系统在星上直接处理实现。
选用Worldview影像和资源三号立体影像(前视和后视)，进行深度轻量化影像控制点立体匹配，结果如图 10所示。由图 10可知，图 10(a)与10(b)的匹配映射关系保持一致，图 10(c)与图 10(d)中的资源三号前视和后视影像匹配映射基本保持平行，映射角度(计算同名像点“纵坐标差值”与“影像宽度减去前视影像横坐标，再加上后视影像横坐标”的比值，并将比值转换为直线倾角)保持在-1.5°~-1.7°范围之内，这表明轻量化影像控制点在立体影像中同样可以准确匹配，可用于立体测绘卫星的在轨匹配处理。
图10 Worldview影像与资源三号影像控制点哈希映射匹配结果图(立体匹配)
根据Worldview和资源三号立体前视影像匹配获取的影像控制点，对资源三号卫星前视影像进行基于多项式模型的几何纠正处理(Worldview影像数据带有地理坐标信息，为了便于几何纠正精度分析，本文试验以Worldview影像为基准进行纠正；在星上应用过程中，可以直接采用影像控制点进行纠正，或者相对于正射影像进行纠正处理)，结果如图 11所示。图 11给出了在相同的经纬度格网条件下，Worldview原始影像和资源三号纠正影像结果；试验共采用了842个影像控制点，其中742个点用作纠正处理，100个点用作精度检查，结果见表 6。
图11 资源三号影像几何纠正结果
表6 资源三号影像几何纠正精度
参数名称
影像控制点数量
检查点数量
最大平面误差/m
最小平面误差/m
平面中误差/m
参数值
742
100
4.25
0.01
0.92
由图 11和表 6可知，资源三号影像在影像控制点条件下得到了准确纠正处理。
6
全球影像控制点轻量化处理能力分析
通过将传统影像控制点的局部影像数据进行特征向量描述符表示与哈希映射处理，影像控制点存储空间得到了极大地压缩，具体压缩情况见表 7。在理想条件下，采用哈希映射模式对影像控制点特征向量描述符进行映射，与传统模式下的影像控制点的储存空间相比，压缩倍率达到329.82；如果星上影像控制点不加载局部影像数据，每个星上影像控制点的存储空间仅为28 Byte，压缩倍率达到35 715.00。由于哈希映射后的二进制字符串满足特征向量匹配要求，且保持有SIFT特征向量同等匹配能力，轻量化处理后的影像控制点能够实现在智能遥感卫星在轨匹配应用。
表7 单个影像控制点轻量化压缩倍率
模式
传统模式(含局部影像)
轻量化模式(含局部影像)
哈希映射模式(含局部影像)
哈希映射模式(不含局部影像)
局部影像/像素
1000×1000
50×50
50×50
-
空间大小/Byte
1 000 020
3032
2536
28
压缩倍率
1
329.82
394.33
35 715.00
根据本文给出的影像控制点提取与轻量化处理方法，对星载轻量化全球影像控制点数据量进行分析，结果见表 8。由表 7和表 8可知，轻量化处理后的全球影像控制点的存储空间较小，能够在有限的星上存储空间条件下上注卫星并进行智能遥感卫星在轨匹配应用。
表8 哈希映射模式下全球控制点存储空间分析
影像控制点范围
覆盖面积/km2
格网间距/km2
影像控制点数量
存储空间/MB
全球范围
(含内陆水域)
1.49×108
4
3.725×107
994.68
全球陆地范围
(不含内陆水域)
1.14×108
1
1.14×108
3 126.27
随着智能遥感卫星在轨匹配应用需求的变化，星载轻量化影像控制点需要不断补充与更新。在现有星载轻量化影像控制点基础上，地面系统新生成的轻量化控制点，可通过星地传输链路，分阶段逐步上注至智能遥感卫星，进行星载轻量化影像控制点的自动补充与更新，提升影像控制点轻量化处理与应用性能。轻量化控制点上注卫星与星上更新需要综合使用卫星数传和星上处理资源，这部分内容将在后续研究过程中深入分析。
结论与展望
本文对智能遥感卫星系统星上自主处理模式的控制信息应用需求进行了分析，开展了星载轻量化全球影像控制点数据制作方法研究，设计了一种高精度立体卫星影像与公开DEM数据辅助下的全球影像控制点获取方案，给出了该方案的技术流程，分析了该方案的应用性能；针对传统模式影像控制点在轨存储受限和星上匹配应用困难等问题，设计了一种适合于星上存储与匹配应用的影像控制点轻量化表达模式，通过控制点特征描述符提取、哈希映射学习与哈希向量表示，实现影像控制点的深度轻量化处理，在大幅压缩影像控制点的星上存储空间的同时，保持影像控制点的匹配性能。利用多套卫星影像数据进行了影像控制点提取、轻量化处理与匹配性能对比等试验，验证了轻量化影像控制点的匹配有效性，得到了全球影像控制点轻量化处理能力分析结论，可为智能遥感卫星全球控制信息在轨辅助单像高精度对地定位、在轨几何纠正处理等在轨应用提供支持。
END
引文格式：纪松, 张永生, 董杨, 等. 星载轻量化影像控制点数据制作方法[J]. 测绘学报，2022，51(3)：413-425. DOI: 10.11947/j.AGCS.2022.20200203
作者简介：纪松，男，副教授，博士生导师，主要研究方向为航天摄影测量及遥感影像处理与分析
原标题：《学术交流 | 星载轻量化影像控制点数据制作方法》
