机器学习可以让2D图片生成3D模型

圣路易斯华盛顿大学麦凯尔维工程学院的研究人员开发了一种机器学习算法，该算法可以根据部分2D图像创建连续的细胞3D模型，这些图像是使用实验室中相同标准的显微镜工具拍摄的。

他们的发现于9月16日发表在《自然机器智能》杂志上。

电气与系统工程及计算机科学与工程助理教授Ulugbek Kamilov说：“我们在数字图像集上训练模型，以获得连续的表示。现在，我可以用我想要的任何方式显示它。我可以平滑地放大，而且没有像素化。”

这项工作的关键是使用神经场网络，这是一种特殊的机器学习系统，它学习从空间坐标到相应物理量的映射。训练完成后，研究人员可以指向任何坐标，模型可以提供该位置的图像值。

神经场网络的一个特殊优势是，它们不需要对大量类似数据进行训练。相反，只要样本有足够数量的2D图像，网络就可以完整地表示样本的内部和外部。

用于训练网络的图像与任何其他显微镜图像一样。本质上，细胞是从下面发光的；光线穿过它，在另一侧被捕捉，形成一个图像。

卡米洛夫说：“因为我有一些细胞的视图，所以我可以用这些图像来训练模型。”这是通过给样本中的一个点输入模型信息来实现的，在这个点上，图像捕捉到了细胞的一些内部结构。

然后，网络将尽最大努力重新创建该结构。如果输出错误，则会调整网络。如果这是正确的，那么这条路径将得到加强。一旦预测值与实际测量值相匹配，网络就可以填充原始2D图像未捕捉到的单元格部分。

该模型现在包含了细胞完整、连续表示的信息——无需保存大量数据的图像文件，因为它始终可以由神经场网络重新创建。

卡米洛夫说，模型不仅易于存储，是细胞的真实表示，而且在许多方面，它比真实的更有用。

“我可以放入任何坐标并生成该视图，”他说。“或者我可以从不同的角度生成全新的视图。”他可以使用该模型将单元格旋转成顶部形状，或者放大以进行更仔细的观察；使用该模型完成其他数值任务，甚至将其输入另一个算法。