AI 立大功！神经网络对太阳图像进行三维重建，首次揭示太阳极点

HyperAI超神经

发布于 2024-01-04 13:50:51

1330

发布于 2024-01-04 13:50:51

文章被收录于专栏：HyperAI超神经HyperAI超神经

作者：加零

编辑：李宝珠、三羊

科罗拉多州国家大气研究中心 (NCAR) 的研究人员利用 NeRFs 神经网络，将太阳的二维图像转换成三维重建图像，首次揭示了太阳的两极。

极紫外辐射 (EUV, Extreme Ultraviolet) 是指波长在 10~120 nm 范围的太阳辐射，EUV 在影响近地轨道卫星大气阻力的同时，也会为人类健康带来威胁，过度暴露于 EUV 辐射会导致视力下降、皮肤晒伤甚至引发皮肤癌等严重疾病。

预测 EUV 离不开完整的太阳图像，然而，目前的 EUV 成像卫星只能围绕太阳赤道（黄道，ecliptic）成像，并不能直接观测到一些非黄道 (non-ecliptic viewpoints) 部分。加上大气层的影响，二维图形无法得到精确的位置映射，有限时间内处理大量图像处理也困难重重，这些阻碍都使得重建太阳的三维几何结构颇具挑战。

为了解决这一难题，科罗拉多州国家大气研究中心 (NCAR) 的太阳物理学家 Benoit Tremblay 及其同事利用 NeRFs 神经网络，将太阳的二维图像转换成三维重建图像，首次揭示了太阳的两极。对于非黄道观测点，模型的峰值信噪比为 43.3 dB，平均绝对相对误差为 0.3%，提供了一致的太阳三维重建图像。

人工智能重建了太阳的一个极区

这个区域在现实生活中从未被观察到过

论文地址： https://arxiv.org/abs/2211.14879 关注公众号，回复「太阳图像」即可下载全文

实验过程：太阳三维重建

数据集：太阳前向模型图像

研究人员采用预测科学公司 (PSI, Predictive Science Inc) 对太阳日冕的磁流体动力学 (MHD, magneto hydrodynamic) 模拟，估计太阳大气中等离子体参数和磁场的全球三维分布。选取 256 张从均匀间隔的观测点拍摄的 193 年太阳的前向模型图像，其中黄道上的 32 个观测点作为训练集，黄道以外纬度的观测点作为测试集。

训练用的太阳图像

a：2019-07-02 20:41:08 (UT) 从黄道上拍摄的 193Å 太阳的卫星图像； b：从太阳的三维模型提取的卫星视点的模拟图像； c：从 3d 模型中提取的 256 个观测点的位置，颜色编码表示哪些视点被用于训练集（粉色）和测试集（绿色）。

算法结构：SuNeRF 模型

目的: 通过一组训练图像重建太阳的三维几何形状。

方法: 利用设计为模拟体积的神经网络将每个坐标点 (x，y，z) 映射到发射和吸收系数 (ε，κ)。

功能：对于每个像素，从总体中采样光线。

辐射转移原理: 基于辐射转移原理的总强度计算。

SuNeRF 模型架构

训练过程：二维图像的三维重建

对 NeRFs 神经网络进行修改，构造 SuNeRFs 神经网络进行算法训练。

修改 NeRF 模型：调整 NeRFs 模型以适应太阳的物理实际，用发射和吸收系数取代 NeRF 模型对密度和颜色的预测。

发射和吸收计算：对于每个像素，通过沿射线路径采样点来计算总发射。在每个点 (x, y, z) 预测发射和吸收系数 (ϵ, κ)，将 κ 乘以采样射线距离 (ds) 计算发射 (I)，将吸收 (A) 定义为 exp(κ * ds)，在每个点上在 0 和 1 之间进行缩放。

计算总观测强度：对所有采样点进行积分，考虑从原点到观察者的射线路径上的吸收，使用积分强度值计算总观测强度 (I_total)。

像素值优化：应用 asinh 拉伸来优化训练的值范围。

适应太阳几何结构的 NeRF 射线采样：从距离太阳 [-1.3, 1.3] 太阳半径范围内采样射线。

AI 将太阳的二维卫星图像（左）转换成三维重建图像（中）

并推算出从未见过的太阳极地区（右）的过程

使用约 30 个 epochs，批处理大小 (batchsize) 为 8096 射线，在 NVIDIA A100 GPU 上训练了约 19 小时。采用了 Rumelhart 等人于 1986 年提出的反向传播算法，使用了自适应矩估计（Adam）优化器（Kingma 和 Ba，2015），学习率 lr = 5 × 10^-4，并以均方误差（MSE）作为损失函数。

实验结果：高准确度三维重建

通过对五个具有不同初始化的 SuNeRFs 进行集成拟合，并计算输出的标准偏差来估计模型的不确定性。

质量评估：图 (a) 展示了模拟中每个视点的峰值信噪比 (PSNR) 和结构相似性 (SSIM)。SuNeRFs 提供了高质量的结果，最小 SSIM 为 0.97。接近黄道面的点显示最小误差，而随着纬度增加，误差逐渐增加，符合训练-测试拆分的预期。

模型比较：图 (b) 将模型与基线方法进行了比较。在较高纬度，简单的重投影显示出伪影和与真实情况较大的偏差，而 SuNeRF 模型呈现几乎相同的图像。差异图显示主要错误发生在太阳边缘附近和边缘区域，这也反映在不确定性图中。需要注意的是，重投影方法无法处理边缘区域。

对 SuNeRF 进行评估

a) 在 256 个视点评估的 PSNR 和 SSIM，由相应纬度和经度的点表示。颜色表示重建的质量，较大的数值表示与地面事实更好的一致性。± 7 纬度的红色虚线标志着训练和测试观点之间的分离； (b) 在不同纬度对基线方法（球面重投影；第一行）、模拟数据（地面真实度；第二行）和 SuNeRF 重建（第三行）进行定性比较。差异图（第四行）确定了我们的方法偏离地面真理的区域。不确定性估计（第五行）与误差一致。

下表总结了在整个测试集上的定量评估结果，SuNeRF 模型在很大程度上优于基线方法，并且没有出现过度或低估的迹象，对太阳的三维重建准确度高。