刘彩云等：重力异常AlexNet深度神经网络反演

重力异常AlexNet深度神经网络反演

刘彩云1, 李梦迪1, 熊杰2, 王蓉2

(1.长江大学信息与数学学院,湖北 荆州 434023;2.长江大学电子信息学院,湖北 荆州 434023)

摘    要

针对传统反演方法存在的初始模型依赖、计算时间较长等问题,提出了一种新的基于AlexNet深度神经网络的重力异常反演方法。该方法首先借鉴经典的深度神经网络AlexNet设计了一种用于重力异常反演的Alex反演网络(AlexInvNet),接着设计大量密度异常体模型并通过正演计算得到带标签的数据集,然后用该数据集训练AlexInvNet网络,最后将重力异常数据输入训练好的AlexInvNet网络直接得到反演结果。理论模型反演结果表明,该方法相较于全连接网络深度学习反演方法,能够更好地反演出异常体的位置和密度,具有较好的泛化能力和抗噪声能力。实测数据反演结果表明,该方法能有效解决重力异常反演问题。

关键词

重力异常;反演;深度神经网络;Alex反演网络

0 引    言

重力勘探是了解地下密度分布的重要手段,在矿产、石油以及环境勘探等领域有着广泛应用[1]。物性反演是常见的重力异常反演方法,该方法将地下空间剖分成特定尺寸的网格单元,通常采用线性迭代方法求解每个网格单元的物性参数[2]。由于线性迭代反演容易陷入局部极小值,全局寻优的反演方法受到广泛关注,蒙特卡罗(MC)[3]、模拟退火(SA)[4]、遗传算法(GA)[5]、人工神经网络(ANN)[6]、粒子群优化(PSO)[7]、差分进化[8]、蚁群优(ACO)[9]等非线性方法,已被广泛应用于地球物理反演。然而,上述全局寻优方法只是注重数据拟合误差最小化而未能结合正则化方法,不能确保得到具有地质含义的反演结果。多目标粒子群优化算法[10]可有效兼顾全局寻优和模型约束正则化反演问题,但存在计算时间过长的缺点。

深度学习是人工智能领域近年来的研究热点,在计算机视觉和自然语言处理等领域得到了广泛的应用[11]。近年来,深度学习被引入到地球物理反演领域[12],主要应用集中在地震反演[13-22]和电磁反演[23-31]领域,在重磁反演领域[32-35]相对较少。全连接网络具有很强的表达能力,在重力异常反演方面取得了较好的应用,但如何设计更深、更复杂的网络结构值得进一步研究[36]。因此,本文提出一种基于AlexNet[37]深度神经网络的重力异常反演方法,以期获得更好的反演效果。

1 方法原理

1.1 正演

将地下空间剖分为相同大小的二维棱柱体,设P点是地表观测点,如图1所示。

图1   地下网格剖分及棱柱体重力异常计算示意图

地表P点重力异常按如下公式计算:

1.2 反演

1.3 AlexNet深度神经网络

AlexNet是Krizevsky等[37]提出的一种经典的卷积神经网络(CNN)结构,该网络由5个全连接层、2个池化层、3个全连接层组成相对于传统的CNN,AlexNet具有以下优点:(1)采用ReLU非线性单元函数,避免了梯度消失等情况;(2)采用局部响应归一化,加快了网络的收敛性,提高了网络的泛化性能;(3)采用重叠池化的方式,使得相邻池化单元之间出现重叠,从而避免过拟合;(4)采用Dropout,在前两个全连接层上使用Dropout,以提高网络的泛化能力。

2 AlexInvNet重力反演方法

2.1 反演流程

受AlexNet启发,针对重力异常反演特性,本文提出了AlexInvNet深度神经网络重力异常反演方法,其主要流程如图2所示,共分为3个步骤:图2

图2   AlexInvNet重力异常反演流程图

(1)通过大量正演得到数据集;

(2)从数据集中抽取数据训练AlexInvNet网络;

(3)训练完毕后,将重力异常数据输入AlexInvNet网络,输出反演结果。

2.2 AlexInvNet网络结构

本文提出的AlexInvNet网络由7层构成,结构如图3所示,其中第层为卷积+池化层,第层为卷积层,第层为全连接层,具体网络结构参数如表1所示。

图3   AlexInvNet网络结构图

表1   AlexInvNet网络结构参数

2.3 提高泛化能力

训练AlexInvNet网络时,采用的数据集是成对的数据(重力异常及其对应的密度模型),训练结束后,AlexInvNet能很好地学到重力异常到密度模型间的映射关系,如果输入学习过的重力异常,一般会准确地输出其对应的密度模型。然而,如果输入未学习过的重力异常,则未必会输出正确的密度模型。这种对于未学习过数据的推理能力被称为泛化能力。

本方法采用两个措施提高泛化能力:

(1)Dropout。Dropout是随机的丢弃一部分神经元,将其权重设为0。通过Dropout机制,可以弱化网络对于已知数据的学习能力,抑制过拟合,从而提高泛化能力。本方法在第层全连接层中采用Dropout。

(2)神经网络权重衰减。神经网络权重衰减是指在正确反映重力异常到密度模型映射关系的前提下,神经网络权重参数尽可能小,从而限制整个网络的学习能力,提高泛化能力。本文在目标函数中加入神经网络权重衰减项。

2.4 神经网络训练目标函数

训练神经网络时,目标函数包括数据拟合项、模型恢复项和神经网络权重衰减约束项,如公式(4)所示:

3 合成数据反演实验

3.1 数据集和参数设置

本文设计观测系统如下:地表101个观测点,观测点间距10 m,地下空间按20×40剖分为800个单元格,每个单元格25 m×25 m。

设计了7种规则形状单一模型,通过在地下剖分空间移动这7种单一模型,并为每个模型分别设置两种密度值(200 kg/m3、300 kg/m3)得到5541个密度模型,通过正演得到对应的重力异常数据,组成5541组训练数据集。这7种单一模型分别是3×3(75 m×75 m)、4×4(100 m×100 m)、5×5(125 m×125 m)、3×6(75 m×150 m)、6×3(150 m×75 m)、4×8(100 m×200 m)、8×4(200 m×100 m)。

训练AlexInvNet网络时相关参数如表2所示。

表2   AlexInvNet网络相关参数

3.2 验证集反演结果分析

使用表2中的参数训练AlexInvNet,训练完成后从验证集中选取几组重力异常数据进行反演实验,其中3个模型的反演结果如图4(a)—(c)所示,将其与全连接深度神经网络反演结果(图4(d)—(f))[36]进行对比。从图4可以看出,相比全连接深度神经网络,AlexInvNet的反演结果位置和形状更加准确。

图4   部分验证集反演结果

3.3 泛化结果分析

本文设计6种复杂的模型,其对应的重力异常数据不参与网络训练,检验AlexInvNet网络的泛化能力,反演结果如图5(a)—(f)所示。

图5   复杂模型泛化能力测试结果

从图5(a)—(f)可以看出,虽然模型的重力异常数据AlexInvNet没有学习过,但仍然可以非常准确地反演出异常体的位置和密度值。图5(g)—(i)是全连接深度网络的反演结果[36],对比图5(d)—(f)和图5(g)—(i)可以看出,本方法的反演结果优于文献[36]的结果。值得指出的是,图5(c)和(e)中,虽然模型恢复得较好,但数据拟合误差较大,这是因为基于深度学习的反演方法不仅考虑数据拟合的好坏,而且兼顾模型恢复(反演结果)的好坏(参见公式(3)所示的反演目标函数),有时候会牺牲数据拟合的精度,优先保障模型准确恢复(在后面的图6(a)、图7(d)和(e)中能看到类似的现象)。

图6   不同密度参数得到的重力异常反演结果

图7   叠加5%和10%高斯白噪声重力异常反演结果

为了进一步测试本方法的泛化能力,设计未学习过的异常体密度值(100、500、1000 km/m3)进行反演实验,并与文献[36]对比,反演结果如图6所示。从图6可以看出,对于未学习过密度值的重力数据,AlexInvNet能更加准确地反演出异常体的位置、形状和密度值。

3.4 抗噪声能力分析

为分析本方法的抗噪声能力,本文采用上节中设计的3种复杂模型(图7中白框模型),对应的重力异常数据分别叠加5%和10%的高斯白噪声,反演结果分别如图7所示。从图7可以看出,反演结果受噪声影响较小。虽然对于密度值的估计有一定偏差,但能基本准确地反演出异常体的位置、形状,说明本方法具有较好的抗噪声能力。

4 实测资料处理

为了验证本方法的实用性,本文选用墨西哥萨卡特卡斯州圣尼古拉斯硫化物铜锌矿区重力数据,来进行重力异常反演实验。已知该区域的地下地质体以铁、镁、长英质的火山岩为主,与围岩密度(2.8 g/cm3)相比,块状硫化物表现为高密度(4.3 g/cm3)[1],该区域剩余重力异常如图8所示。

图8   圣尼古拉斯硫化物铜锌矿区剩余重力数据[1]

对图8中测线a(N=600 m)处的重力异常数据,采用本文AlexInvNet网络进行反演实验。测线a重力异常采样点数为25,采用插值将采样点加密到101,输入到训练好的网络进行实测资料反演,结果如图9所示。其中图9(a)是本文反演结果,异常体位置和形状如白色线框所示;图9(b)是李泽林等[1]采用约束Lp范数的反演结果,实际模型的位置和形状如黑色线框所示。

图9   圣尼古拉斯硫化物铜锌矿区重力数据(N=600 m)处的反演结果

从图9(a)的反演结果可以看出,重力异常数据总体上拟合较好,反演出来的密度模型的位置和深度也几乎与真实模型相似,与图9(b)反演结果相比异常体形态更加收敛。实验结果表明本文AlexInvNet重力异常反演的方法,可有效用于实测重力资料反演。

5 结论

本文提出了基于AlexNet深度神经网络的重力异常反演方法,该方法首先设计了用于重力异常反演的Alex反演网络(AlexInvNet),接着设计大量密度异常体模型并通过正演计算得到带标签的数据集,然后用该数据集训练AlexInvNet网络,最后将重力异常数据输入训练好的AlexInvNet网络直接得到反演结果。实验结果表明,该方法能够更好地反演出异常体的位置和密度,具有较好泛化能力和抗噪声能力,能有效解决重力异常反演问题。

深度神经网络在重力反演方面已经得到了初步的应用,下一步将围绕如何设计更优的网络结构解决三维重力反演问题和联合反演问题等方面开展工作。

参考文献：

[1]李泽林, 姚长利, 郑元满.基于Lp范数稀疏优化算法的重力三维反演[J]. 地球物理学报, 2019, 62(10):3699-3709.

[2]HU Z L, LIU S, HU X Y, et al.Inversion of magnetic data using deep neural networks[J]. Physics of the Earth and Planetary Interiors, 2021, 311:106653.

[3]WEI C, LI X F, ZHEN X D.The group search based parallel algorithm for the serial Monte Carlo inversion method[J]. Applied Geophysics, 2010, 7(2): 127-134.

[4]于鹏, 王家林, 吴健生.二度半长方体组合模型的重力模拟退火反演[J]. 地球物理学报, 2007, 50(3):882-889.

[5]万玲, 林婷婷, 林君, 等.基于自适应遗传算法的MRS-TEM联合反演方法研究[J]. 地球物理学报, 2013, 56(11):3728-3740.

[6]朱凯光, 林君, 韩悦慧, 等.基于神经网络的时间域直升机电磁数据电导率深度成像[J]. 地球物理学报, 2010, 53(3):743-750.

[7]熊杰, 刘彩云, 邹长春.基于粒子群优化算法的感应测井反演[J]. 物探与化探, 2013, 37(6):1141-1145.

[8]熊杰, 孟小红, 刘彩云, 等.基于差分进化的大地电磁反演[J]. 物探与化探, 2012, 36(3):448-451.

[9]刘双, 刘天佑, 冯杰, 等.蚁群算法在磁测资料反演解释中的应用[J]. 物探与化探, 2013, 37(1):150-154.

[10]XIONG J, ZHANG T.Multiobjective particle swarm inversion algorithm for two-dimensional magnetic data[J]. Applied Geophysics, 2015, 12(2):127-136.

[11]张荣, 李伟平, 莫同.深度学习研究综述[J]. 信息与控制, 2018, 47(4):385-397,410.

[12]王昊, 严加永, 付光明, 等.深度学习在地球物理中的应用现状与前景[J]. 地球物理学进展, 2020, 35(2): 642-655.

[13]LI S C, LIU B, REN Y X, et al.Deep-learning inversion of seismic data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(3): 2135-2149.

[14]WU B, MENG D, WANG L, et al.Seismic impedance inversion using fully convolutional residual network and transfer learning[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(12): 2140-2144.

[15]杨庭威, 曹丹平, 杜南樵, 等.基于深度学习的接收函数横波速度预测[J]. 地球物理学报, 2022, 65(1):214-226.

[16]伊小蝶, 吴帮玉, 孟德林, 等.数据增广和主动学习在波阻抗反演中的应用[J]. 石油地球物理勘探, 2021, 56(4):707-715.

[17]王德涛, 陈国雄.基于时间卷积网络的地震波阻抗反演[J]. 地球科学, 2022, 47(4):1492-1506.

[18]奚先, 黄江清.基于卷积神经网络的地震偏移剖面中散射体的定位和成像[J]. 地球物理学报, 2020, 63(2):684-714.

[19]WANG W Q, WANG Q, LU W K.Physics-constrained seismic impedance inversion based on deep learning[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19:7503305.

[20]WU B Y, MENG D L, ZHAO H X.Semi-supervised learning for seismic impedance inversion using generative adversarial networks[J]. Remote Sensing, 2021, 13(5):909.

[21]HUANG J Y, NOWACK R L.Machine learning using U-net convolutional neural networks for the imaging of sparse seismic data[J]. Pure and Applied Geophysics, 2020, 177(6):2685-2700.

[22]ALFARRAJ M, ALREGIB G.Semisupervised sequence modeling for elastic impedance inversion[J]. Interpretation, 2019, 7(3):SE237-SE249.

[23]王鹤, 刘威, 席振铢.基于深度置信网络的大地电磁非线性反演[J]. 中南大学学报, 2019, 26(9):2482-2494.

[24]WU S H, HUANG Q H, ZHAO L.Convolutional neural network inversion of airborne transient electromagnetic data[J]. Geophysical Prospecting, 2021, 69(8):1761-1772.

[25]LIU Z G, CHEN H, REN Z Y, et al.Deep learning audiomagnetotellurics inversion using residual-based deep convolution neural network[J]. Journal of Applied Geophysics, 2021, 188:104309.

[26]MOQHADAS D.One-dimensional deep learning inversion of electromagnetic induction data using convolutional neural network[J]. Geophysical Journal International, 2020, 222(1):247-259.

[27]NOH K, YOON D, BYUN B.Imaging subsurface resistivity structure from airborne electromagnetic induction data using deep neural network[J]. Exploration Geophysics, 2019, 51(2):214-220.

[28]WANG H, LIU Y H, YIN C C, et al.Stochastic inversion of magnetotelluric data using deep reinforcement learning[J]. Geophysics, 2021, 87(1):E49-E61.

[29]GUO R, YAO H M, LI M K, et al.Joint inversion of audio-magnetotelluric and seismic travel time data with deep learning constraint[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(9):7982-7995.

[30]LIU W, XI Z Z, WANG H, et al.Two dimensional deep learning inversion of magnetotelluric sounding data[J]. Journal of Geophysics and Engineering, 2021, 18(5):627-641.

[31]PUZYREV V, SWIDINSKY A.Inversion of 1D frequency- and time-domain electromagnetic data with convolutional neural networks[J]. Computer and Geosciences, 2021, 149:104681.

[32]张志厚, 廖晓龙, 曹云勇, 等.基于深度学习的重力异常与重力梯度异常联合反演[J]. 地球物理学报, 2021, 64(4):1435-1452.

[33]ZHANG L Z, ZHANG G B, LIU Y, et al.Deep learning for 3-D inversion of gravity data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:5905919.

[34]YANG Q G, HU X Y, LIU S, et al.3-D gravity inversion based on deep convolution neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19:3001305.

[35]薛瑞洁, 熊杰, 张月, 等.基于卷积神经网络的磁异常反演[J]. 现代地质, 2023, 37(1):194-209.

[36]王蓉, 熊杰, 刘倩, 等.基于深度神经网络的重力异常反演[J]. 物探与化探, 2022, 46(2):451-458.

[37]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[M]//Advances in Neural Information Processing Systems 25.NIPS, 2012:1097-1105.