通过卫星和街道图像进行多模式深度学习，以测量城市地区的收入，拥挤度和环境匮乏
通过卫星和街道图像进行多模式深度学习，以测量城市地区的收入，拥挤度和环境匮乏
Multimodal deep learning from satellite and street-level imagery for measuring income, overcrowding, and environmental deprivation in urban areas
通过卫星和街道图像进行多模式深度学习，以测量城市地区的收入，拥挤度和环境匮乏
From：英国伦敦帝国理工学院
摘要：以大规模和低成本收集的数据（例如卫星和街道图像）有可能显着提高分辨率，空间覆盖率和测量城市不平等现象的时间频率。对于给定的地理区域，通常可以使用来自不同来源的多种类型的数据。然而，由于联合使用方法上的困难，大多数研究在进行测量时都使用单一类型的输入数据。我们提出了两种基于深度学习的方法，以结合利用卫星图像和街道图像来测量城市不平等现象。我们以伦敦为例，对三项选定的产出进行了案例研究，每项产出均按十分位类别衡量：收入，人满为患和环境剥夺。我们使用平均绝对误差（MAE）将我们提出的多峰模型与相应的单峰模型的性能进行比较。首先，将卫星图块附加到街道级别的图像上，以增强对可获得街道图像的位置的预测，从而将精确度提高20％，10％和9％，以收入，人满为患和居住环境的十分位数为单位。据我们所知，第二种方法是新颖的，它使用U-Net体系结构以高空间分辨率（例如，在我们的实验中为伦敦的3 m×3 m像素）对城市中的所有网格单元进行预测。它可以利用全市范围内的卫星图像可用性，以及从可用的街道级别图像中获得的稀疏信息，从而将准确性提高6％，10％和11％。我们还显示了两种方法的预测图示例，以直观地突出显示性能差异。
亮点：
- 我们的模型利用了来自街道和卫星图像的信息。
- 拟议的多峰测量方法优于单峰测量方法。
- 该模型可以在训练和预测期间处理丢失的数据。
- 多模式框架可以包含其他模式（例如，航空影像）。
- 应用程序可以扩展到不同的结果。
数据：
- 结果数据来自2011年英国人口普查（ONS，2011），拥挤家庭的大伦敦，大伦敦政府（Greater London Authority（GLA），2015）的收入，以及生活环境匮乏的英语剥夺指数（住房，社区部，和地方政府，2015年）。
- 街道级别的图片是使用Google Street View API从Google Maps提取的。对于伦敦的每个邮政编码（ONS，2017），API返回Google最近拍摄的最近可用全景图像的唯一标识符（如果有）。时间戳记从2008年到2018年不等。全景图图像可用于145,756个邮政编码中，对应于119,238个独特的全景图。通过指定相对于车辆的摄像头方向（即0°，90°，180°，270°）以覆盖360°的视野，我们为每个全景图使用了四个图像切口。
- 卫星图像是通过其教育和研究计划（Planet Team，2017年）从Planet（以前称为Planet Labs）免费获得的。
方法：
以VGG为基础搭建两个网络，一个针对街景、一个针对遥感数据。
部分结果：
MSL和MSATinSL生成的地面真相和预测图的比较。MSL仅将街道图像用于生成这些地图。MSATinSL既利用了卫星图像，又利用了街道图像，并通过预测的十分位数地图观察到了增强的测量性能。地图用颜色编码，其中红色对应于最差定义，而蓝色对应于最佳定义。还提供了地面实况（观测到的）十分位图，以进行比较。还显示了绝对误差图。
MSAT和MSLinSAT生成的地面真相和预测图的比较。MSAT仅将卫星图像用于生成这些地图。MSLinSAT利用我们提出的方法将卫星图像和街道图像结合使用，并通过预测的十分位数地图观察到了增强的测量性能。地图用颜色编码，其中红色对应于最差定义，而蓝色对应于最佳定义。还提供了地面真实十分位图（标签），以与原始卫星图像进行比较。街道级图像用于可用于每个图块覆盖的地理区域的预测。由于空间限制，图中未显示单个街道级别的图像。图片由Planet提供。
仅在使用街道级别的图像时，海德公园被预测为具有高质量的生活环境，即蓝色（例如，低空气污染）。这与直觉是一致的，因为当仅从街道角度观察时（例如从公园内部捕获树木），网络没有关于公园相对位置的任何信息。MSLinSAT在该区域上做得更好，因为卫星瓦片帮助网络识别海德公园实际上位于市中心内，因此相对于市区其他地方的公园而言，空气质量较差。希思罗机场周围地区也观察到了类似的模式。
引用格式：
Suel E, Bhatt S, Brauer M, Flaxman S, Ezzati M. Multimodal deep learning from satellite and street-level imagery for measuring income, overcrowding, and environmental deprivation in urban areas. Remote Sensing of Environment 2021; 257.