基于遥感图像深度学习的海洋测深_深度学习识别水的深度

1. 摘要

        沿海开发和规划面临的问题，包括自然灾害和极端风暴事件。跟踪和预测沿海地区物理特征随时间演变的能力是沿海开发、风险缓解和沿海地区一体化管理的重要因素。传统的海洋测深是使用回声探测技术获得的，该技术被认为是昂贵的，并且由于各种情况，并不一定可行。遥感图像可用于使用入射波特征和反演模型（例如波的物理模型）来估计测深。本文作者提出了一种使用深度学习进行测深估计的新方法。结果表明，深度学习能够在各种模拟情况下准确估计海洋深度，提供了一种新的海洋测深方法和深度学习的新应用。

2. 引言

          沿海地区目前面临着因人为压力和过度开发而加剧的环境和资源问题。极端事件（例如海岸侵蚀）的环境背景与人为压力相结合，是海岸开发的限制因素。近岸测深随时间的状态和演变是确定沿海风险暴露的重要因素，必须在沿海开发和规划中加以考虑，但现场测量数据既耗时又昂贵，而且并非总是可行。因此沿海地区越来越需要可靠、快速和廉价的海洋深度估计。

        目前，遥感图像已成为廉价数据的来源，用于估计和预测沿海动态和特征。Sentinel-2 Constellation 等卫星为我们提供了具有全球覆盖率和高重访频率的高分辨率图像。根据卫星图像估算水深的过程称为卫星衍生水深测量，它是一个持续的研究课题，对我们大规模预测沿海形态动力学和相关海洋地质灾害具有巨大的潜在影响。

        深度学习是机器学习算法的一个领域，在过去十年中经历了巨大的发展，并通过在各种不同领域展示强大的能力而引起人们的关注。迄今为止，深度学习最成功的应用之一是计算机视觉，通过图像分类、处理和生成方面的应用得到了证明。越来越多研究人员已将深度学习应用于卫星图像分类或分割的各种应用，这些应用通常使用深度学习来识别卫星图像中的特征，例如车辆检测等。

3. 卫星测深

海岸测深对于理解和预测海岸脆弱性至关重要。然而，由于原位回声测深测量困难且耗时，因此准确的水深测量通常在空间和时间上都是稀疏的。遥感测深，例如通过深度反演，特别是使用星载传感器，可以实现频繁和空间密集的测深。来自光学星载传感器的卫星测深通常使用两种方法，首先利用水中光的辐射传递与水深的联系进行测深，另外，通过色散关系的波浪运动学进行测深。每种方法都有其优势、局限性和应用范围。在辐射传输方法中，水深测量是基于辐射衰减作为水柱中深度和波长的函数进行分析或经验模型计算，分析成像模型通常基于辐射传递和影响光衰减或偏转方式的光学特性，经验成像模型依赖于像素强度和深度之间的统计关系。对于辐射传输方法，通常认为在清澈、平静的水域中发现估计和测量水深之间的强相关性。基于波浪运动学的深度反演方法已应用于从不同遥感工具收集的各种数据类型，包括建模分析、实验室实验到使用时间序列数据的本地岸基分析、机载视频数据以及最终的星载传感器。波浪运动学方法利用嵌入在遥感图像中的时间信息，以提取波浪特征，例如波数和波速，然后用于反演水深。对于波浪运动学方法，波浪特征必须在图像中可见；虽然这在波浪短、水质清的水域中可能是一个挑战，但这种方法有很大的潜力来估计大范围沿海水域的水深，例如不同的沙质或岩石床类型、浑浊的水域。本文作者在研究中，重点研究波浪运动学方法。

4. 数据生成

深度神经网络需要大量数据进行训练，数量级为数万或数十万个标记示例。这项工作的目标是能够使用卫星图像来估计水深，因此，我们既需要卫星图像，也需要对成像区域进行相应的测深测量。使用真实的卫星图像和水深测量需要处理地面实况中的不确定性，这可能会混淆深度学习模型的基本行为。为了快速测试并清楚地表明不同方法的可行性和性能，生成了一个详尽的合成数据集来训练和测试深度学习模型作为第一步（概念验证），最终目标是从真实数据创建一个监督数据集。使用这个合成数据集来执行超参数调整，例如文中介绍的架构选择，这将使应用程序了解真实的卫星图像。

       合成数据生成过程分为两个主要步骤：创建随机合成水深，然后将波浪模型应用于这些水深，以观察和提取产生的波浪模式。在本节中，首先描述生成合成测深剖面的方法，然后详细介绍创建合成卫星图像的过程，这些图像复制由 Sentinel-2卫星星座捕获的图像。最后，描述了将模拟数据转换为训练、验证和测试集的过程。

4.1 水深数据生成

       模拟4公里的沿海地区分辨率为10 m，面积约 4km2，可以将多个形态特征真实地合并到单个轮廓中，涵盖现实世界中可能自然出现的不同的特征。为了提供更可靠的网络执行水深测量重建能力的指标，通过增加合成水深测量剖面中的随机性水平来提高问题的复杂性。

        使用Python脚本通过从预定义范围分配随机斜率来生成随机测深，从而产生的最大深度（在离岸2公里处）介于40m和100 m之间。然后使用选定的坡度创建一个平坦的2D表面，根据均匀分布应用随机凹凸、沙洲和具有随机物理尺寸的峡谷。这些物理特征的取值范围详见表1。在这个实验设置中没有模拟各种自然特征或人造文物，包括岛屿、泻湖、海湾、码头和波浪断路器。

        图1显示了两个测深示例，P1和P2它们展示了物理特征的多样性，并将在本文中用于展示我们的方法。对于训练，我们将所有深度值归一化到0到10之间，将它们除以10。这是基于使用不同归一化方案的实验。

图1 描述的测深生成方法生成的合成测深剖面 P1 和 P2。许多具有随机位置、高度和标准偏差的高斯斑点应用于每个水深测量剖面，代表合成海底中的隆起、沙洲或峡谷。

*色阶表示深度

4.2 波浪模拟

        生成的测深被用作FUNWAVE-TVD (Shi et al. 2016)的输入，这是一个完全非线性的Boussinesq波模型，它使用每个剖面的随机波条件进行初始化。改变的三个主要随机参数是有效波高、波峰周期和波峰方向。图2显示了这些模拟参数中的每一个的值的范围和分布。

图2 三个主要波浪模拟参数的分布和取值范围（左）有效波高[m]（中）峰值波频[1/s]

(右)峰值波方向[度]

        在模拟的不同点提取模拟波形图像以创建图像突发（堆栈），每个图像都类似于由10 m分辨率的4个波段组成的单个Sentinel-2图像

        波浪模拟器的输出是一堆波浪高程矩阵，每个代表一个模拟步骤，或我们合成卫星图像中的一个波段。波浪模拟器没有考虑太阳角度、风速、海底反射或其他可能影响在真实Sentinel-2图像中观察波浪模式能力的因素。通过进一步处理合成图像来减轻这种差异。

4.3 图像和数据集生成

        真实的卫星图像由代表光子在地球表面反射的像素强度值组成。在海洋上，这转化为海洋表面的梯度，而不是海洋表面本身。如上所述，波浪模拟器的输出是一堆波浪高程矩阵，代表每个时间步长的海面。因此，为了最大化模拟和真实世界卫星图像之间的相似性，将单个波段的波浪高程值转换为二维梯度图。其中 M是二维波高图，δX表示沿跨海岸轴的斜率矩阵，并且δ是代表沿岸坡度。

        鉴于模拟了一系列可能的波浪条件，而不是具有单一条件的单个特定真实世界案例，因此很难在后处理合成图像和真实卫星图像之间进行直接比较。出于本研究的目的，假设使用2D梯度图能够在海洋范围内应用通带滤波器后获得类似于Sentinel-2提供的实际产品的表面反射率矩阵-特定波长（5s–25s的周期）。

∆M=δx2+δy2

然后使用minmax归一化将每个合成表面反射带归一化到0-1的范围，如图3所示

图3 单个4公里的预处理步骤合成卫星波段，从原始波高程矩阵( a )出发，沿岸梯度( b )、跨岸梯度( c )、2D梯度图( d )，最后是归一化的2D梯度图( e )，用作深度学习模型的输入

        在这项工作中，生成了1500个不同的随机测深，大小为4公里（200*200像素）。对于每个水深测量，创建了16个随机初始化的波浪模拟，每个模拟持续大约15分钟。假设16个随机初始化的模拟包括足够的波浪参数变化以代表每个合成测深剖面上不同的真实世界条件，选择模拟数量和每个模拟的持续时间纯粹是因为它适合计​​算的设置并允许在短时间内运行大量模拟。每20秒拍摄一次快照，其中单个快照捕获4个波段。总的来说，这会产生大约120万张200*200*4像素的图像。两种方法的最终处理步骤不同。对于第一种方法，深度大规模的测深重建，每个完整的200*200*4像素图像都被视为网络的单个输入，其相应的水深测量作为输出。对于第二种方法，深度单点测深估计，减少整个区域，只包括离岸样本，落在波浪断裂点和离岸2公里之间。使用这些区域在大小为40*40*4 px的滑动窗口上执行子采样以提取输入图像，并将相应的平均深度值作为输出。这是因为FUNWAVE-TVD不模拟其输出中的波浪破碎。尽管这扩大合成表示与可以在实际卫星图像中观察到的表示之间的差异，但对于合成数据集的目的来说已经足够。

        训练和验证数据集来自同一个包含120万张全尺寸快照的大型数据集。这些样本在传递给深度大规模水深重建中的模型之前被随机打乱并分成训练集和验证集。从原始全尺寸快照中提取子图块，然后将其打乱并拆分为训练集和验证集。为了创建用于评估本文中方法的测试集，重新运行相同的数据生成脚本以生成501个不同的全尺寸测深剖面，每个剖面有16个波浪模拟。然而，从每次模拟中只提取了一个快照（4个波段）。这是为了进一步确保测试集中的多样性。测试集由8016个全尺寸（200*200*4像素）快照作为输入和它们相应的测深剖面作为输出组成。

5. 水深大尺度深度重构

深度大规模水深重建，包括重建完整的4公里2分辨率为10 m的测深剖面，使用相同尺寸的卫星图像（4 km2和10 m分辨率）作为输入。这种方法的主要好处是在一个处理步骤中完全重建水深，最大限度地减少大规模应用以重建大型沿海水深时的计算成本。在本节中，将描述使用的卷积网络架构，然后详细介绍训练方法和配置。

5.1 架构

使用编码器-解码器架构，该架构允许神经网络学习相同大小的输入和输出之间的映射函数。这是通过施加较小的中间层来完成的，其中来自输入层和前一层的信息在映射回其原始形状之前被压缩为密集表示。该技术已在各种应用中取得巨大成功，例如图像重建、逐像素回归和图像分割。编码器-解码器架构迫使神经网络学习波形随时间的演变（即输入图像的不同波段）与输出数据中相应的潜在水深之间的物理关系。

深度大规模水深重建中使用的神经架构是U-Net，这是一种流行的编码器-解码器架构。在这项工作中，对U-Net架构进行了轻微的修改，因为原始的U-Net架构旨在处理大小为572 * 572 * 3像素图像。创建一个修改后的架构，它符合数据集200 * 200 * 4px图像。

图4 使用深度卷积编码器-解码器网络深度大规模重建测深。深度大规模水深重建部分工作中使用的神经架构是 U-Net 的修改版本

5.2 数据训练

在训练期间评估的测深剖面的方式会对网络学习和实现预期目标的能力产生重大影响。评估了不同损失函数对网络训练的影响。这些实验的结论是，使用均方对数误差(MSLE)进行训练可实现最佳整体估计，但基于训练批次中最大误差的损失函数可能有助于减少估计局部水深特征（例如峡谷）时的误差。

用于训练和验证该模型的数据集分别由80k和20k随机选择的全尺寸（200*200*4px）示例组成。为了测试模型，重建8016个全尺寸快照的完整测试集。最终模型使用随机梯度下降进行训练，学习率为0.01，没有动量，并使用 MSLE作为损失函数。值得注意的是，使用Adam优化器测试了训练，但是如果没有进一步调整，表现不佳。

6 结论

在这项工作中，我们使用合成案例展示了深度学习在卫星测深中的首次应用，深度大规模水深重建由于能够重建完整的4公里，在很短的时间内完成配置文件，因此在大规模重建方面显示出巨大的潜力。由于难以对大片沿海地区的物理特征进行精确建模，目前认为深度大规模水深重建仅限于具有近乎笔直的海岸线且没有人造或自然人工制品（如船舶或岛屿）的大片地区。提出的方法能够准确地估计深度≃70 m，同时保持错误率≃3米。正在积极寻求进一步改进方法。这表明，随着进一步的工作和研究，深度学习可以成为从卫星图像进行水深反演的可行替代方案。

机器学习，特别是深度学习，最近在图像处理和模型反演方面表现出了令人印象深刻的能力。在这项工作中，模型能够从合成卫星图像进行准确的水深估计。这对于卫星测深和地球观测来说是一个很有前景的方向。

原文信息

[1] Al Najar, M., Thoumyre, G., Bergsma, E.W.J. et al. Satellite derived bathymetry using deep learning. Mach Learn (2021). https://doi.org/10.1007/s10994-021-05977-w