基于卫星遥感影像的多类变化检测综述

引用格式：

Qiqi Zhu, Xi Guo, Ziqi Li & Deren Li (2022). A review of multi class change detection for satellite remote sensing imagery, Geo-spatial Information Science, DOI: 10.1080/10095020.2022.2128902.

原文下载： https://doi.org/10.1080/10095020.2022.2128902

作者简介：

朱祺琪，博士，中国地质大学（武汉）地理与信息工程学院，副教授，硕士生导师，主要从事遥感大数据智能提取分析及应用方向的研究。联系方式：zhuqq@cug.edu.cn

郭希，硕士研究生，中国地质大学（武汉）地理与信息工程学院，研究兴趣为遥感图像解译、变化检测。

李子琪，本科生，中国地质大学（武汉）地理与信息工程学院，研究兴趣为遥感图像解译、变化检测。

李德仁，博士，武汉大学测绘遥感信息工程国家重点实验室，中国科学院院士，中国工程院院士，博士生导师。主要从事3S系统（遥感（RS）、全球卫星定位系统（GPS）和地理信息系统（GIS））为代表的空间信息科学以及多媒体通信技术等方面的研究。

01

概述

变化检测通过识别不同时期地面物体的变化，为环境监测、城市扩张和重建以及灾害评估等提供了研究依据。传统的变化检测通常是指二类变化检测，只关注变化区域和未变化区域。但随着遥感影像的空间分辨率不断提高，能够反映更详细土地变化的多类变化检测成为变化检测领域中的研究热点。虽然目前已有许多学者对变化检测进行了综述，但是大部分工作仍集中于二类变化检测上。鉴于此，本文主要针对多类变化检测的最新进展进行介绍，其中包括五个主要方面：问题与挑战、现有公开数据集、方法、应用和未来的研究方向。本文将有助于增进研究人员对该领域的了解，并为后续多类变化检测的研究提供参考。另外，本文所收集的公开多类变化检测基准数据集已归纳于下述链接：https://zenodo.org/record/6809804#.Y2ub2LG-uUl。

02

问题与挑战

在本节中，我们综合了影响多类变化检测性能的因素，并总结了多类变化检测的困难和挑战如图 1 所示。

图1 多类变化检测中的困难和挑战

（1）视觉特征混淆

由于成像过程中存在不同类型因素的干扰，图像对中的特征在视觉上可能与原始情况下有所不同，即存在混淆。例如，由于图像对之间的成像条件不同（如不同的拍摄角度或不同的季节），光学遥感图像中未变化的特征之间也可能存在较大的光谱差异，这增加了检测变化区域的难度。如图1(a)所示，图中蓝框中的特征都是草地。然而，由于不同的拍摄角度和时间造成的阴影遮挡，它们具有高度不同的光谱特征。另一方面，虽然合成孔径雷达（SAR）图像不受上述成像条件的影响，但是SAR图像中存在的固有散斑噪声干扰也让多类变化检测更加困难。图1(b)为一对SAR图像，红色框表示变化区域，但由于散斑噪声的干扰，很难通过视觉观察正确识别变化区域。

（2）“椒盐”噪声

由于遥感影像对中存在光谱差异性，在使用传统的像素方法进行多类变化检测时，往往会产生大量的“椒盐”噪声。传统像素方法得到的多类变化检测结果如图1(c)所示，从中可以明显地看出，橙色圆圈中含有大量的“椒盐”噪声。这是因为，传统的像素方法倾向于假设每个像素都是相互独立的，而没有考虑到像素之间的空间关系。

（3）变化类别不平衡

与二类变化检测中仅区分变化和未变化类别不同，多类变化检测还需要区分不同的变化类别。图1(d)显示了一个真实的变化图，其中黑色表示无变化区域，其他颜色表示不同的变化类别。不难发现，在真实的变化图中，每个变化类的面积比例是不平衡的，有些变化类只集中在局部的小区域。因此，由于训练样本的数量较少，小变化的类别往往难以准确被识别。

（4）背景复杂

由于变化往往发生在所研究区域的部分地区，多类变化检测的过程往往受到过多未变化区域背景的影响。图1(e)为一幅二类变化参考地图和T1时期的原始图像，黑色是未变化的区域，白色是发生变化的区域。在二类变化参考图中，很容易找到大片的未变化区域，但如图2(e)右图所示，未变化区域往往具有复杂的地面特征分布，这容易给多类变化检测的结果带来负面影响。

03

现有公开数据集

基准数据集不仅可以作为评估和验证多类变化检测算法性能的基准，而且在促进多类变化检测研究中发挥着关键作用。近年来，为了面向不同的应用需求，遥感领域发布了多个不同应用目标的多类变化检测数据集，这些数据集的变化趋势和特征如图 2 所示，表 1 列出了这些数据集的属性以供参考。

图2 现有多类变化检测数据集的发展趋势

表 1 现有多类变化检测数据集比较

04

多类变化检测技术

多类变化检测的目的是检测和识别各种土地覆盖类别的变化，这在遥感应用中非常重要。与二类变化检测相比，多类变化检测更为复杂，因为它需要的不仅仅是检测变化，还需要区分不同类别的变化，图 3 展现了二类变化检测和多类变化检测的区别及一般流程。另外，为了更全面地概述多类变化检测方法，本文根据不同类别的变化将多类变化检测分为三类： 1) 三元变化检测， 2) 多重变化检测， 3) 语义变化检测。

图 3 二类变化检测和多类变化检测的基本流程

1）三元变化检测： 与传统的二类变化检测仅检测变化区域不同，三元变化的目的是检测变化并将其分为正变化和负变化。到目前为止，虽然有几篇关于三元变化检测的文章，但是三元变化检测的研究还处于初步阶段。然而，由于三元变化检测其有价值的实际应用（如检测灾害重建工作中发生的变化），有望成为变化检测发展的新趋势。

2）多重变化检测：根据以往的文献综述，多重变化检测被认为是一种可以检测不同类型变化的变化检测技术。更详细地说，虽然通过这种方法获得的最终变化检测结果具有不同的变化类信息，但它们不能知道从哪个类别到哪个类别的“from-to”信息，即缺乏语义变化信息。

3）语义变化检测：与多重变化检测不同，语义变化检测不仅可以检测出不同的变化类，还可以检测变化类的信息，即“from-to”的信息。通过这种方式，当需要更详细的信息时语义变化检测发挥着重要的作用，特别是当有可能区分与实际土地覆盖变化相关的不同类型的变化时。

05

多类变化检测的应用

目前，多类变化检测已广泛应用于实际情况。本文对多类变化检测的代表性应用进行了总结，包括： 1) 土地覆盖监测； 2 ）城市扩张； 3 ）灾害评估。

1）土地覆盖监测：对土地覆盖变化的评价是理解人与自然关系的关键，在遥感发展历程中，各种变化检测方法已经被用来探测表面物体的变化。

2）城市扩张：随着城市区域的不断扩张，城市变化检测可以动态监测城市扩张引起的变化区域，为城市分析提供数据支持。目前，城市变化检测已成为一项流行的研究。

3）灾害评估：突发的自然灾害影响人类生命财产安全。然而，灾难通常发生在不可预测的时间，如地震、火灾、洪水和飓风。一般情况下，我们无法直观地识别灾区损害的严重程度，通常使用遥感技术来评估损害区域以进行灾害援助和响应，如建筑物损害评估。

06

发展及未来研究方向

尽管最近在多类变化检测方面取得了巨大的研究进展，但主要的技术仍然存在限制，无法满足目前的应用挑战。为了总结多类变化检测的发展，我们利用变化检测、多类、土地覆盖变化等关键词，在 Web of Science 数据库上对 2017 年以来发表的相关文献进行检索和分析。根据本文所需的不同分析观点，我们最终选择了 116 篇相关文献作为我们进行分析的基础。此外，我们在选择论文时还考虑了已发表期刊的质量，如《 Remote Sensing of Environment 》、《 ISPRS Journal of Photogrammetry and Remote Sensing 》、《 IEEE Transactions on Geoscience and Remote Sensing 》等。根据本文的研究重点，我们从数据源的类型、数据的时间分辨率、变化类别、先验知识等不同的角度分析了上述文章。文献分析的结果如图 4 所示。分析结果表明，目前多类变化检测的主流数据源为中低分辨率图像（ 38% ），而使用多源数据（ 22% ）的多类变化检测似乎是一种新的趋势，其余数据源类型则占比大致相同。此外，尽管目前的大多数文章仍然使用双时相图像（ 66% ），但使用多时相长时间序列数据（ 34% ）成为一个流行的研究。从变化类别的角度来看，大多数论文进行语义变化检测（ 71% ），其次是多重变化检测（ 21% ），三元变化检测（ 8% ）最低。由于语义变化检测任务需要大量的标记样本，监督学习方法（ 62% ）仍然是主导方法。无监督学习方法（ 31% ）也因为不同任务的需要而占据了一定位置。近年来，需要较少训练样本的半监督学习方法（ 7% ）也出现了。根据我们的分析，未来的研究可能会集中在（但不限于）以下领域： 1 ）使用多源数据的多类变化检测； 2 ）长时序列图像中的变化趋势分析； 3 ）基于弱监督的多类变化检测。

图4 文献统计分析结果图

07

结论

多类变化检测可以更有效地监测和分析地球表面的土地覆盖变化。然而，迄今为止，大多数综述文献只关注二类变化检测，缺乏对多类变化检测的全面综述。本文从数据、方法和应用等方面对多类变化检测进行了系统的综述，并总结了多类变化检测中存在的问题和挑战，填补了该综述的空缺。此外，在文献统计分析的基础上，本文还提出了多类变化检测的未来发展方向以及对今后开展工作的建议，包括： 1)利用多源数据促进多类变化检测；2)利用长时间序列遥感数据观察变化趋势；3)基于弱标记样本进行多类变化检测。

来源：高性能空间计算智能实验室