SDCDNet是指什么

SDCDNet 全称 Semi-Dual Change Detection Network 。其中Semi-Dual是半对偶, Change Detection是变化检测,Network是神经网络模型。

变化检测 Change Detection

变化检测是从不同时期的遥感数据中定量分析和确定地表变化的特征与过程;

遥感变化检测是一个确定和评价各种地表现象随时间发生变化的过程;

遥感变化检测是遥感瞬时视场中地表特征随时间发生的变化引起两个时期影像像元光谱响应的变化;

作用

  • 更新地理数据的关键技术
  • 评估灾害、预测灾害发展趋势的关键技术
  • 土地覆盖/利用监测的关键技术
  • 新一代智能型对地观测卫星的关键技术

传统经典方法

先获得两幅同一地点不同时间图像的差异图像,再对差异图像进行处理,将像素点分成变化和无变化两类。

差异图的获得有很多方法:

差异图的处理方法:

  • 贝叶斯理论的无监督法(像素之间独立)
  • 马尔科夫随机场理论的无监督法(像素之间独立)
  • 自动获取阈值的方法(考虑像素之间的上下文信息)

一般的变化检测的问题

大多数的变化检测方法需要大量的标记数据来训练参数。

本文要解决的问题

打破这变化检测方法需要大量的标记数据这一限制。

本文提出了一种用了遥感变化检测的新型半监督学习semi-supervised learning(SSL).称之为半对偶变化检测网络(SDCDNet)。

SDCDNet网络的大概模型是什么样子

SDCDNet网络由双共享网络和双分支网络组成,来自基本模型DSIFN 。此外,自适应模块(AWM)增强了弱分支的特征。掩模约束模块(MCM)增加网络提取前景特征的能力。

双共享网路的作用

双共享网络旨在发挥数据的潜力

双分支网络的作用

区分标记数据的种类并消除不同类型数据之间的干扰。

AWM作用和MCM作用

增强了弱分支的特征

增加网络提取前景特征的能力

如何解决标签这个复杂问题

提出了一种基于补丁(patch-based)的弱标签构建方法来构建超弱(super method)标签。

效果怎么样

实验表明,所提出的 SDCDNet 在两个遥感图像变化检测数据集上取得了优异的结果。

测试用的数据集

遥感图像变化检测数据集,下文由详细介绍

本文的特征词是

  • 变化检测(Change detection)
  • 双分支网络(dual branch network)
  • 遥感图像(remote sensing image)
  • 半监督学习(semi-supervised learning (SSL))

变化检测

遥感领域的一个重要研究方向

变化检测应用

  • 建筑损坏检测
  • 环境监测
  • 灾害监测
  • 城市变化等
  • 土地覆盖监测

遥感图形容易获得的原因

遥感观测技术的进步

不同平台提供的遥感数据

变化检测的任务

分析多时间图像

为每个像素分配一个二进制标签,标签“0”表示该像素对应的表面在语义上没有变化,标签“1”表示该像素对应的表面在T0和T1之间语义上发生了变化

超高分辨率(VHR)图像的变化检测的困难点

季节性变化

成像条件

多时相VHR遥感图像变化检测技术分类

  • 传统方法
  • 深度学习的方法

传统方法

图像代数和变化

缺点

  1. 实际应用中相对有限,容易受到传感器本身、大气和季节变化以及太阳高度的影响。导致降低变化检测的性能
  2. 依赖于手工设计的特征描述符,描述复杂和高级语义变化信息的能力有限,导致在杂乱覆盖地面具有较差的表现

深度学习技术

深度学习的特点

强大的数据模式建模能力

深度学习能做到什么

输入图像对之间抽象、复杂、非线性的特征表示,并实现较高的变化检测性能。

深度学习可以分为

可以细分为监督方法、半监督方法和无监督方法

目前深度学习在变化检测上的状况

现有的深度学习网络模型通常具有更多的参数,变化检测方法的有效性在很大程度上取决于标记训练数据的质量和数量,特别是对于完全监督的方法。当我们没有大量的训练数据时,变化检测模型的检测能力会大大降低

存在问题

遥感图像的准确注释是一项非常昂贵的任务

原因是:

  • 标注需要具有一定专业知识的专家
  • 不易注释的部分可能会产生额外成本

导致结果:

  • 大量精细标记的数据是不可持续的

在研究上的结果:

许多学者将研究重点放在如何利用少量标注进行学习的问题上

例如:

  • 半监督学习(SSL)

  • 弱监督学习

  • 自监督学习

  • 无监督学习等

半监督学习SSL

SSL是一种结合了监督学习和无监督学习优点的学习方法

SSL是怎么做的

用大量的无标签数据和尽可能少的标签数据

到达了什么效果

不低于完全监督方法的效果

目前有没有统一的框架

目前还没有统一的框架将完全监督方法扩展到半监督数据条件,

原因

由于其复杂性,实施此类方法可能具有挑战性

本文是如何解决缺乏大量高精度标注问题的

设计了带有自适应加权模块(AWM)和掩模约束模块(MCM)的半监督双变化检测网络(SDCDNet)框架

在数据集达到的效果

训练中使用非常有限的像素级标记数据(pixel-level labeled data)和大量的补丁级标记数据(patch-level labeled data )

AWM模块作用

自适应地对特征提取网络的不同语义级别的特征进行加权

MCM模块作用

MCM约束输入的弱分支的特征从而更加关注变化区域

结果上达到的效果

该框架可以通过较少的精细注释实现更高精度的变化检测,并且所提出的两个模块可以有效地将网络的注意力引导到有用的变化信息,并且消融实验(?)在第四节中描述。

本文的贡献

  1. 为变化检测提出了一种新颖的 SSL 框架,完美地适应了大多数完全监督的方法,在正常标记数据非常有限的情况下获得了与完全监督的方法相似的分数
  2. 提出了一种与补丁相结合的超弱标签构建方法,其大小可以自行调整,并将超弱标签与正常标签一起输入到所提出的半监督网络中进行训练
  3. 为框架的弱标记分支获得更好的前景特征,提出了AWM和MCM来提取对变化检测任务更有用的特征

全监督和半监督方法在变化检测领域的应用

完全监督方法

方法:一些方法使用完全卷积网络(FCN)从双时态输入生成高分辨率变化图。

用于:遥感图像理解

变种1:一部分方法将两个图像连接起来并将其输入变化检测网络,称为早期融合

变种2:使用两分支网络来提取深层特征,然后融合并生成变化图

基于U-Net框架进行变化检测的FC-Siam-Diff方法

首先将图像对输入到siamese网络中,并利用从UNet中提取的多级特征的特征差异来生成最终的变化的地图,实现遥感影像对的变化检测。

其他的论文提出的方法

在[^43],提出了时空注意力神经网络来实现变化检测,时空注意力机制计算不同时间和空间的两个像素之间的注意力以生成更具区分性的特征

在[44],使用差异增强密集注意力网络来整合低层和高层特征

在[45],多任务学习方法来训练变化检测网络,以解决检测结果区域不完整或区域边界不规则的问题。所提出 dual-task constrained deep siamese convolutional network (DTCDSCN) 包含一个检测网络和两个语义分割网络。

在[46],提出了具有密集连接 和通道注意的siamese 网络 用于变化检测。

在[47],提出了遥感图像变化检测的深度监督双分支图像融合FCN。该方法提取双时态图像深层特征,并利用深度监督差分识别网络指导训练。

在 [48],提出将孪生架构与循环神经网络(RNN)相结合,以实现多源数据的更高性能。为了获得更具判别性的特征表示。

在[49],提出了具有双重注意机制的连体FCN

在[50],为了提供更多有用的信息,提出了一种分层动态融合策略。

在[51],利用自注意机制对双时态时空中任意两个像素之间的语义关系进行建模

在[52],提出了基于Transformers的变化检测方法,该方法使用卷积神经网络(CNN)提取深层特征并将其输入双时图像转换器(BIT)。作者实现了 BIT 来学习和关联高级语义概念的全局信息,从而增强原始的双时态特征。然后生成双时态特征图减法的元素绝对值。最后,利用基于卷积的预测头来预测变化图。

[^43]: H. Chen and Z. Shi, “A spatial-temporal attention-based method and a new dataset for remote sensing image change detection,” Remote Sens. vol. 12, no. 10, p. 1662, May 2023

半监督方法

一些半监督方法是基于 GAN 的。

在[53],提出了一种基于FCN和GAN的半监督变化检测网络。作者使用带有attention的UNet++作为GAN的生成器,并使用两个判别器分别奖励输出特征分布一致性和抑制未标记数据变化图中的不确定性区域。通过不断地从标记和未标记数据中学习,生成器可以生成预期的变化图。

在[54]中,提出了一种半监督语义分割网络。它由分割器和鉴别器组成,分割器和鉴别器以对抗方式进行训练,并提出自训练损失和特征匹配损失。特征匹配损失稳定了低数据训练,自训练损失平衡了分割器和鉴别器。

文献[55]提出了一种自监督条件生成对抗网络(GAN),利用生成器和判别器的相互监督信息进行训练,并利用GAN中的判别器实现双时相遥感图像的变化检测作为训练完成后变化检测的分类器。

[56]提出了一个端到端的变化检测框架,其中包含三个基本模块:分段器、鉴别器和生成器。通过将其中的两个或两个与不同的优化策略相结合,可以在不同的监督条件下实现变化检测任务。

非GAN半监督

由于GAN的训练难度和稳定性,基于非GAN或更稳定的半监督方法仍然是学者们的研究热点。

在[25]中,使用图卷积网络(GCN)来实现半监督变化检测。

在[57]中提出了一种用于变化检测的半监督方法。它包含两个阶段:完全监督训练和无监督训练。完全监督训练阶段是正常的图像分割训练过程。在无监督训练阶段,输入图像对没有地面真实变化掩模。然后首先对深度特征差异图应用随机扰动。因此限制输出变化图在不同扰动下保持一致。

[58] 使用 GCN 在带有少量注释数据的半监督框架中学习判别特征。

在[39]中,提出了一种标签细化方法,从低分辨率数据标签生成高分辨率变化图。

[59]在低标签数据情况下训练具有图注意力的双分支嵌套UNet,然后通过约束扭曲图像的检测结果和未标签数据的伪标签的一致性来重新训练网络。

在[60]中,双任务网络集成了城市建筑分割和变化检测,然后实现了半监督变化检测。

标注存在的问题

由于遥感图像的复杂性,遥感图像的标注通常需要专业知识,这导致完全监督方法所需的像素级标注数据的获取非常昂贵。

其他非完全监督取得的效果

相比之下,许多非完全监督的变化检测方法仅需要一部分像素级标记数据进行训练。他们在变化检测任务中取得了类似的结果。

其他的非完全监督存在的问题

现有的半监督变化检测方法通常无法充分利用所有数据的潜力[61]、[62],导致当像素级标记数据的比例较低时变化检测往往不令人满意。

现研究存在的问题

1)全监督方法的像素级标记监督信息不容易获得。

2)现有半监督方法的框架普遍复杂,缺乏简单有效的策略。

3)监督信息挖掘不够深入,珍贵的精细标注数据中的信息没有得到很好的利用。

本文如何解决这些问题

该框架使用原始的完全监督方法,将像素级和补丁级注释结合起来,用于变化检测任务。通过战略性地利用监督信息,我们在训练过程中逐步增强标记数据和未标记数据之间变化特征分布的一致性,从而使网络能够学习用于变化检测的关键特征,并使用最小像素级标记数据实现高性能

第三部分的结构

我们在第 III-A 节中介绍了我们提出的框架的一般结构,该框架利用带有像素级标签的强标记训练数据和基于补丁注释的弱标记训练数据。

我们还在第 III-B 节中描述了超弱标签的构造。

为了改善弱分支的前景特征,我们提出了 AWM 和 MCM 技术,分别在第 III-C 和 III-D 节中进行了解释。

在第III-E节中,我们介绍了该框架中使用的损失函数,

在第III-F节中,我们详细介绍了训练过程。

为什么具有适用性

1.可以简单地向原始完全添加弱分支来扩展以合并额外的弱标记训练数据的弱监督网络,不需要改变任何的结构。从而可以轻松的将半监督变化检测框架与大多数现有的编码器-解码器[63]范例集成,以实现完全监督的变化检测。

模型图像

image-20231109163730326

模型总体结构

组成

它包含五个部分:训练数据的构造、双权值共享的特征提取模块、AWM、MCM和双分支模块。

A部分框架的一般结构

首先,像素级强标记图像
$$
x^n
$$
和弱标记图像
$$
x^w
$$
同时发送到权重共享主干网络生成特征C,进一步将C分割为
$$
C^n
$$

$$
C^w
$$
。主干网络主要由全监督变化检测模型确定,例如,DSIFN[47]中的主干网络是VGG16[64],SNUNet[46]中的主干网络是UNet++[65]的编码器等。

对于Normal Head,
$$
C^n
$$
直接输送。对于Weak Head,由于对应的弱标注缺少很多细节信息,使用AWM对特征
$$
C^w
$$
的一致性约束进行加权,在不确定性较低的区域进行更强的多尺度一致性约束,然后使用MCM使Weak Head获得更好的前景特征,从而将生成的
$$
f_x
$$
输入到Weak Head。最后,Normal Head和Weak Head生成最终的预测结果
$$
\hat{y}^n 和 \hat{y}^w
$$

$$
然后分别用像素级标注y^n和弱标注y^w计算损失L_{D_{n}}和L_{D_{w}}。
$$

$$
L_{D_{n}}+L_{D_{w}}用于反向传播训练。
$$

在Weak Head中,首先使用AWM自适应地提取多尺度特征。然后,为了减少信息损失并避免训练步骤中的梯度消失问题[66],受ResNet [61]中残差连接的启发,我们在模块中添加了恒等分支。

MCM被插入到分支中以增加网络提取前景特征的能力。

最后,批量归一化[67]和丢失[68]分别用于提高网络的收敛速度和泛化能力。

如图1所示,假设
$$
F_{in}=[F_1,F_2,… , F_c] ∈ R^{CHW}
$$
其中C表示特征图中的通道数,H和W分别表示高度和宽度,
$$
F’
$$

$$
F_{out}
$$
可以通过以下等式获得:
$$
F’ = AWM(F_{in}) + MCM(AWM(F_{in}))
$$

$$
F_{out} = Conv(D(B(Conv(F’))))
$$

其中 D 是 dropout [68],B 是批量归一化 [67]。

B部分超弱标签的构造

了基于补丁的超弱标签生成方法SWL,不再局限于标记群体。

image-20231109172900271

首先,我们按预定义的补丁大小对输入标签进行分块。其次,对于第 k 个 patch
$$
p^k
$$
大小为 psize × psize,最终生成的弱 patch 标签定义如下:
$$
p_{weak}^{k}=1-I(\sum_{i=1}^{psize}\sum_{j=1}^{psize}p_{ij}^{k}=0)
$$
其中 I(·) 是指示函数,如果·为真,则值为 1,否则为 0。表示第 k 个补丁中第 (i, j) 个像素的值。直观上,当一个 patch 包含有变化的像素标签时,整个 patch 的值为 1;当整个patch不包含变化时,该patch中的每个像素都取值为0。在图2中,左上角的patch没有变化的像素,因此其对应的弱标签将被赋予0。相反,其余三个补丁包含变化信息,因此它们相关的弱标签将被赋值为1。最后,经过弱标签构建过程,我们得到了不精确标记的弱标签。

C部分AWM

image-20231109173154696

如图3所示,通过特征提取获得的每个阶段的特征被输入到该模块中。首先,对于每个stage的特征,将剩余stage的特征进行卷积采样,使其大小与该stage的特征相同,并与之拼接,从而可以从每个stage中提取不同尺度的特征信息。然后不同时间序列中同一阶段的特征通过自适应空间特征融合(ASFF)模块[69]以获得每个最终阶段的附加增强特征。为一个骨干网络有n个阶段,每个阶段的具体增强特征计算表示如下:
$$
weight_1 = CS(Concat(F_1,DS(F_2),DS(F_3),DS(F_4)))
$$

$$
weight_2 = CS(Concat(US(F_1),F_2,DS(F_3),DS(F_4)))
$$

$$
weight_3 = CS(Concat(US(F_1),US(F_2),F_3,DS(F_4)))
$$

$$
weight_4 = CS(Concat(US(F_1),US(F_2),US(F_3),F_4))
$$

$$
ASFF_i = weight_i * F_i, i = 1,2,3,4
$$

其中DS和US代表下采样和上采样操作,CS表示先进行Conv,然后进行SoftMax。详细信息可以参见[69]。利用变化检测中的特征差异或特征拼接来完成后续处理。

D部分MCM

image-20231110091842349

在该模块中,

方法:将提取的变化特征与弱标签提供的变化前景掩模图相乘,使未变化区域的特征失效。

目的:使网络更关注变换区域前景的特征提取。

过程表示:
$$
f*p=f'
$$
其中f和f‘分别表示特征图和强化特征图。 P代表弱标签,白色部分为变化区域,用1表示,黑色部分用0表示。

E 部分损失函数

为了训练这个框架,我们主要使用二元交叉熵(BCE)损失[70]。
$$
L_{D_{n}}
$$
用于表示监督损失,
$$
L_{D_{w}}
$$
用d于表示弱监督损失,具体针对数据集k中的样本:
$$
L_{D_{n}} = -\frac{1}{N^k}\sum_{m=1}^{N^k}\sum_{i,j}(y_{i,j}^{n^{(m)}}\log_{}{\hat{y}{i,j}^{n^{(m)}}}) + (1-y^{n^{m}}{i,j})\log_{}{(1-\hat{y}_{i,j}^{n^{(m)}})}
$$

$$
L_{D_{w}} = -\frac{1}{N^k}\sum_{m=1}^{N^k}\sum_{i,j}(y_{i,j}^{w^{(m)}}\log_{}{\hat{y}{i,j}^{w^{(m)}}}) + (1-y^{w^{m}}{i,j})\log_{}{(1-\hat{y}{i,j}^{w^{(m)}})}
$$
其中
$$
\hat{y}
{i,j}^{n^{(m)}}
$$

$$
\hat{y}_{i,j}^{w^{(m)}}
$$
表示 SDCDNet 对样本 m 获得的在位置 (i, j) 处预测的置信度图

数据集k,
$$
y_{i,j}^{n^{(m)}}
$$


$$
y_{i,j}^{w^{(m)}}
$$
表示输入图像每个像素的标签。总损耗
$$
L_{total}
$$
可表示为
$$
L_{total} = L_{D_w} + L_{D_n}
$$

F 部分训练和推理细节

image-20231110093733367

在本节中,我们提供训练细节和拟议框架的推理细节。

数据集怎么构造:

在训练之前,对强标记的像素级样本进行重新采样,以平衡数据集中强标记和弱标记样本的数量。例如,如果强标记样本代表数据集的 1/128,弱标记样本代表数据集的 127/128,则强标记样本重复 127 次以达到平衡。

训练过程

如图5所示,在训练过程中,强标记数据(T1_normal 和T2_normal)和弱标记数据(T1_weak和T2_weak)同时输入到特征提取网络中,以简化训练过程。提取的特征被输入到正常分支和弱分支中以产生单独的网络输出(S_normal 和 S_weak),并且通过计算强标签和弱标签的单独损失函数来更新网络。在推理过程中,优化后的特征提取网络仅使用普通分支。

实验

本节内容:

在本节中,我们介绍了用于评估所提出的变化检测算法的实验设置。

评价使用的数据集:

我们首先描述用于评估的两个数据集,即 WHU [71] 和 SYSU-CD [72],

数据集介绍

1)WHU[71]:该数据集由2012年4月拍摄的航拍图像组成,覆盖面积20.5平方公里,包含12 796座建筑物(2016年版本为16 077座建筑物)。一些示例图像如图 1 所示。 6(a)。子数据集是通过手动选择 30 个地面控制点对原始数据集进行地理校正而创建的,精度为 1.6 像素。子数据集和相应的图像以及建筑矢量和栅格地图现已公开。高分辨率航空图像的尺寸为32 507 × 15 354。[71]中没有提供具体的数据分解方案但我们使用滑动窗口将图像划分为不重叠的 512 × 512 像素块,并将它们分为训练集、验证集和测试集,其中分别包含 1189、319 和 319 个图像块对。

2)SYSU-CD[72]:该数据集包含20000对2007年至2014年在香港拍摄的0.5米分辨率航空图像。样本图像如图6(b)所示。在[72]中,800个大小为1024×1024的原始图像对按照6:2:2的比例分为训练集、验证集和测试集。然后,从每个图像对中随机选择25个大小为256×256的图像子集对,并通过随机翻转和旋转进行增强,以获得总共20000对航空图像块。该数据集包括各种类型的重大变化,例如新城市建设、郊区扩张、预建地基、植被变化、道路拓宽和海洋建设。

比较方法介绍

1)FC-Siam-Diff [42]:一种特征融合方法,使用孪生全CNN提取多级特征,并利用特征差异来融合双时态信息。

2)DTDSCN[45]:一种多尺度特征融合方法,结合了FCN中的通道注意机制和空间注意机制,以获得更具判别性的特征。

3)SNUNet [46]:用于变化检测的密集连接暹罗NestedUnet。它通过从编码器到解码器的紧凑信息传输来减轻神经网络深层的局部信息丢失。

4)DSIFN[47]:一种深度监督的图像融合网络,首先使用两分支FCN进行特征提取,然后使用深度监督的差分判别网络(DNN)进行变化检测。为了增强变化图边界和内部密度的完整性,通过注意力机制将多级语义特征与图像差分图特征混合。

5)BIT_CD[52]:一种基于Transformers的变化检测方法。它使用 CNN 提取深层特征并将其输入两个分支变压器。然后增强原始双时特征,并生成两个分支特征图之间差异的像素绝对值。最后,利用几个卷积来获得变化图。

6)s4GAN [54]:一种对抗性半监督语义分割方法。它由分割器和鉴别器组成,分割器和鉴别器以对抗方式进行训练。提出的两个损失可以稳定低数据训练并平衡分割器和鉴别器。

7)SemiCD [57]:一种用于变化检测的半监督方法。它包含完全监督的训练阶段和无监督的训练阶段。在正常的完全监督训练阶段之后,在无监督阶段,网络约束输出变化图在不同扰动下保持一致。

评估指标介绍

使用什么指标作为评价标准

F1是精度和召回率的加权调和平均值,它同时考虑精度和召回率,平衡冲突,更能体现模型的变化检测能力。所以我们使用变化的平均F1分数

计算方法

以类别和背景为主要评价指标,公开计算如下:
$$
F1=\frac{2precisionrecall}{precision+recall}
$$
此外,我们还使用 Precision、Recall 和 Intersection over Union(IoU)作为辅助评估指标,计算公式如下:
$$
Precision=\frac{TP}{TP+FP}
$$

$$
Recall=\frac{TP}{TP+FN}
$$

$$
IoU=\frac{TP}{TP+FN+FP}
$$

其中,TP、FP、TN、FN分别为真阳性、假阳性、真阴性、假阴性的数量。

实验设置介绍

训练参数设置

为了训练本文提出的 SDCDNet,我们利用了 BCE 损失函数 [70] 和随机梯度下降 (SGD) 优化器 [73],动量设置为 0.9。我们将学习率初始化为 0.01,并采用预热策略 [61] 在前 5 个时期内逐渐将其增加到预设值。随后,我们应用余弦退火来衰减学习率并将权重衰减设置为 0.0005。这些模型使用 PyTorch [74] 深度学习框架在四个 Nvidia 2080Ti GPU 上进行了 100 个周期的训练,小批量大小为 8。

消融研究

探究AWM和MCM对模型的影响:

为了利用我们提出的 SDCDNet 研究 AWM 和 MCM 对遥感图像变化检测的影响,我们使用 DSIFN 作为基础模型,在 SYSU-CD 数据集上创建消融实验的基线 [72]。我们使用 128 像素的块大小和 1/8 比例的像素级强注释。本节介绍我们的消融实验的结果,这些结果使用五个综合指标进行定量评估:精度、召回率、F1 分数、并集平均交集 (MIoU) 和参数。

使用那些指标判断AWM和MCM的作用:

我们的实验证实了 AWM 和 MCM 的实用性。如表一所示,AWM 的添加改善了所有四个评估指标,表明各级特征的自适应融合增强了对小变化区域的关注。另一方面,优先考虑前景信息的 MCM 相比 AWM 提高了 Precision、F1 分数和 MIoU,同时由于样本太少对变更建筑物的负面影响而略微降低了 Recall。当两个模块添加在一起时,模型的学习能力得到加强,与基线相比,Precision 提高了 1.51%,Recall 提高了 1.55%,F1 分数提高了 1.18%,MIoU 提高了 1.78%。与基线相比,AWM 和 MCM 所需的额外参数分别为 3.5M 和 2.8M。这些消融实验证明了所提出的 AWM 和 MCM 的有效性,并且计算成本的增加是可以接受的。这些模块增强了网络提取前景信息特征并进行多尺度融合的能力,从而更完整地检测变化边界并整体改善网络的缺点。

image-20231110102402710

实验比较分析

使用数据集: WHU [71] 和 SYSU-CD [72]

比较方法

完全监督:

FC-Siam-Diff [42]、DTDSCN [45]、SNUNet [46]、BIT_CD [52] 和 DSIFN [47],

半监督:

SemiCD [57] 和 s4GAN [54](s4GAN 是在变化检测)。

定性比较

1)定性比较:

图7,表示了结果

image-20231110103959059

结果:半监督 SDCDNet 框架在视觉效果方面超越了基本模型方法。

小目标:小目标检测的细节处理方面优于基本模型,显着减少了漏检和错误检测。

大目标:对于大目标,与基本模型相比,我们的方法显示出更好的检测连续性。

2)定量比较:

条件:不同的SSL设置

结论

在强标记数据仅为1/8的情况下,与基本模型相比,所提出的框架在所有SSL设置中实现了本文的最佳准确率。如表II和表III所示,当贴片尺寸变小时,改进尤其显着。

例如,在 WHU 建筑数据集上,当块大小为 128 像素时,我们提出的框架在精度、召回率、F1 和 MIoU 方面分别优于基本模型 DSIFN 9.64%、7.45%、7.44% 和 11.29%。同样,在 SYSU-CD 数据集上,与基本模型 DSIFN 相比,我们的框架在精度、召回率、F1 和 MIoU 方面分别显示出 4.3%、4.86%、6.12% 和 8.85% 的改进。当 Patch Size 减小到 16 像素时,性能进一步提高。在 WHU 建筑数据集中,我们提出框架在精度、召回率、F1 和 MIoU 方面分别实现了 11.94%、9.62%、9.59% 和 15.11% 的改进。在 SYSU-CD 数据集中,我们的方法在精度、召回率、F1 和 MIoU 方面分别显示出 5.14%、5.75%、6.85% 和 9.69% 的改进。

减小块像素大小时候为什么提高准确度

这是因为减少补丁大小会导致更准确的弱标签,从而帮助模型获得更好的准确性。此外。

即使仅使用 1/4 的精细标记样本,我们的方法使用所有数据实现了不低于甚至高于基础模型的精度。

和半监督SemiSANet 的比较

SemiSANet 是一种简单而有效的半监督变化检测方法,采用一致性正则化和强增强 [59]。在本文的实验部分,发现在 WHU Building 数据集上,SemiSANet 取得的 F1 分数分别为 0.7808、0.7944、0.8353 和 0.8786,标记比例为 1/40、1/20、1/10 和1/5。

我们提出了一种名为 SDCDNet 的新方法,它建立在 DSIFN 的基础上。在我们的实验中,当标记比例分为 1/64、1/32、1/16 和 1/8 时,SDCDNet 在 F1 分数方面优于 SemiSANet。

像素补丁大小在128像素时候

为了证明我们提出的框架的优越性,我们使用 128 像素的补丁大小,将其与两个数据集(WHU 建筑数据集和 SYSU-CD 数据集)上的基本模型进行了比较。结果如表 IV 和 V 所示表明我们提出的方法在所有标记比率上都优于基本模型。此外,当标记率较低时,我们提出的框架相对于基本模型的改进更为显着,如图 8和9所示。具体来说,在 WHU 建筑数据集上,当强标记数据减少到 1/4 时,我们的方法比基本模型 DSIFN 实现了 F1 指标上提高 4.26% 和 MIoU 指标提高 6.25%。在 SYSU-CD 数据集上,我们的方法使 F1 分数提高了 3.68%,MIoU 提高了 4.64%。值得注意的是,当仅使用 1/128 进行强标记数据进行训练时候,我们的方法在两个数据集上的 F1 分数和 MIoU 均取得了显着改进,在 WHU 建筑数据集上分别提高了 34.28% 和 40.42%,在 SYSU-CD 数据集上分别提高了 17.91% 和 23.48%。我们的方法在两个数据集上也优于其他半监督模型 s4GAN 和 SemiCD,特别是当像素级标记样本的比例较低时。

表6证明了模型和同其他模型相比下的有效性

表六比较了相同条件下每个模型的参数数量和计算量。与大多数基础模型上的半监督方法相比,我们提出的方法取得了优越的性能,证明了其有效性。

有效性原因分析:

我们将这一显着改善归因于两个主要原因。首先,随着强标签数据量的减少,基础模型的特征分布与真实分布会有较大的误差。我们提出的框架对少量强标记数据进行重新采样,以使得正常分支获得特征分布信息,而弱分支中使用的 MCM 使模型能够从弱标记数据中提取引人注目的判别特征。其次,在训练过程中不断提高Normal和Weak分支之间特征分布的一致性,从而在极少的强标记数据和大量弱标记数据的情况下实现高精度。

在其他数据集上(Google数据集)的有效性

3)Google数据集中的定量分析:为了进一步验证了所提出方法在不同的数据集中的性能,我们用三种具有代表性的方法在谷歌数据集上测试,其中改变的对象在大小和形状上有所不同。如表七所示,我们提出的方法在不同的半监督设置下比其他半监督方法表现出显着的优势,证明了其高效性。

当前方法的局限部分

4)讨论与分析:我们提出的半监督变化检测方法可以有效地检测有限标记的变化。然而,我们的工作有两个主要限制。

  1. 首先,我们的方法在很大程度上取决于所使用的完全监督的变化检测方法的性能,这可能会影响变化检测结果的质量。
  2. 其次,如第 III-F 节所述,当标记比率较低时,必须重复采样强标记样本的数量以匹配弱标记样本的数量进行对齐,这会增加训练时间并且根据不同的强标签的比例对结果产生不同的影响。

结论

标记遥感数据非常昂贵,并且在实际应用中获取这些标签既具有挑战性又乏味。为了解决这些问题,我们并没有专注于构建一个新的、特定的半监督变化检测网络模型。相反,我们提出了一种基于 SSL 的新的、通用的、方便的变更检测框架。

  1. 该框架只需要少量的强标记数据和大量的弱标记数据即可实现高精度的变化检测,当训练集中强标记数据的比例较小。
  2. 如果使用现有的全监督变化检测模型作为基础模型,该框架可以在不改变基础模型结构的情况下,通过向基础模型添加Weak分支来快速实现半监督变化检测训练。
  3. 实验结果证明了所提出框架的有效性,在相同的实验数据和条件下,与现有的完全监督变化检测模型相比,观察到性能显着提高。

在未来的研究中,我们将探索该框架在特征提取能力更强的基础模型上的应用。