大数据背景下的虚拟地理认知实验方法

大数据背景下的虚拟地理认知实验方法

张帆1,2, 胡明远1,3, 林珲1,3

1. 中国香港中文大学太空与地球信息科学研究所, 中国 中国香港;

2. 北京大学遥感与地理信息系统研究所, 北京 100871;

3. 中国香港中文大学深圳研究院, 广东 深圳 518057

收稿日期：2018-01-20；修回日期：2018-03-20

摘要：如何构建新一代的虚拟地理认知实验研究范式，从海量人类活动和地理数据中挖掘人地交互过程中的新模式、新知识成为新一代虚拟地理认知实验需要解决的问题。本研究首先提出了在数据密集型科学研究范式下的虚拟地理认知实验框架，阐述了从环境心理学的视角，结合多源人类活动大数据、城市环境大数据构建实验平台的方法，进而支持地理知识工程的构建。其次，本文介绍了基于海量街景数据和对应的个体情感评分数据，利用深度学习的相关方法和统计模型来进行认知知识挖掘的案例。实验发现了可视域中与个体对场景的情感维度-压抑感具有较高相关性的一系列视觉要素，如植被、建筑、车辆等，并通过回归分析予以量化。

关键词：虚拟地理环境认知实验数据密集型研究范式街景影像深度学习

虚拟地理试验是指在虚拟地理环境中协同地进行分析和模拟复杂地理过程、现象，并支持共同决策和知识信息共享的理论框架[1-3]。虚拟地理试验将传统试验地理学中从野外考察观测、实验室环境物理模拟、地理过程数学建模等研究方法数字化、虚拟化，开拓了“虚实结合”试验地理学的新方向[2,4-8]。

随着虚拟地理试验理论和方法的发展，各个地学相关领域在进行应用的同时[9-12]，也对其提出了更高的要求。尤其是在以人为主要研究对象，针对个体、群体的空间认知、人地关系耦合等方面，相关研究对其进行了拓展，并发展了虚拟地理认知试验的理论框架[13]。虚拟地理认知试验一方面关注如何构建虚拟地理环境，来快速引导个体认识地理环境的地理对象、地理现象；另一方面，其更加关注如何在虚拟地理环境中开展面向个体对环境的感知、认知，以及行为的试验。虚拟地理认知试验的研究框架自提出以来，为空间综合人文学与社会科学的研究提供了有力的工具、方法和思路[12,14-18]。

在关注人与环境相互作用的学科中，传统的研究范式通过访谈、问卷、观察等数据采集手段，与传统的统计分析、案例分析来开展区域的实证研究，使得其试验数据的规模、尺度、体量大大受限，研究结果难以泛化[19]。而当前的虚拟地理认知实验参照心理学、认知科学、神经科学等领域的试验方法，大多通过在虚拟地理环境中构建试验环境，主动地进行上下文环境要素控制来观测个体在不同上下文中的感知、认知以及行为模式[13,20]。

随着大数据时代的到来，海量个体认知及行为数据为人地关系的研究提供了潜在的机会，同时也对虚拟地理认知实验提出了进一步的要求——如何构建新一代的虚拟地理认知实验范式，从海量个体数据中提取个体和空间、场所的交互模式，考虑空间分异和场所语义对个体行为模式的影响机制，挖掘其在不同尺度上相互作用的机理，从而系统地构建地理知识工程。

从研究方法的角度，大数据的背景下的科学研究基本范式已经从试验归纳、模型推演、仿真模拟的阶段，进入了第4类研究范式——数据密集型科学研究(data-intensive scientific discovery)[21-22]。相比于传统的实验科学范式，数据密集型研究范式更加注重对规律的挖掘，弱化了对噪声的对待。大数据时代下的数据规模性、多源性、复杂异构性已经超出了个体人脑的认知和理解能力。而基于人工智能，数据挖掘等技术的“认知计算”为在大数据中挖掘地理知识提供了潜在的途径，为理解人们的认知、感知和行为提供了有力的支持[23]。与认知计算不同的是，虚拟地理认知实验更加关注在个体和空间、环境交互中产生的感知和行为数据，旨在挖掘个体的认知、感知和行为受空间因素影响的机理模式。

事实上，在大数据时代的背景下人们生活的物理、社会空间已经被构建成了一个巨大的虚拟实验室，无时无刻地不在记录着微观个体、宏观群体的感知认知状态、活动轨迹、行为模式，等等[24-25]。在移动互联网、物联网和通信基础设施的支持下，研究人员可以从大量数据源中获取海量的个体认知状况、群体行为活动和情感感知信息。例如，利用出租车轨迹数据和手机信令数据进行居民出行行为分析，讨论环境空间各类属性(用地功能格局、距离、尺度)与个体出行、人口迁移的影响[26-29]；利用社交媒体签到数据研究不同场所中个体的情感变化与事件关联[30-31]；利用POI兴趣点数据挖掘在居民影响活动下的城市混合用地功能分布与演化等[32-33]。

大数据不但支持了对个体行为活动、认知感知的记录，同时也对个体活动的空间范围、环境属性、功能区划进行了描述。这种数据环境，潜在地构建了新一代地理认知实验开展的基础条件——可以尝试在个体行为、认知活动和其对应的上下文中建立联系，挖掘其相互影响的关键要素和机制。与此同时，虚拟地理环境本身提供了对真实地理过程模拟的方法，从自然现象模拟到社会行为模拟，为开展在大数据背景下的虚拟认知实验提供了基础支持。

本文将详细介绍数据密集型研究范式下的虚拟地理认知实验框架，阐述从环境心理学的视角，结合多源人类活动、城市环境大数据构建实验平台的方法，进而支持地理知识工程构建的思路。第2节是一个在新一代虚拟地理认知实验框架下的案例分析。案例描述了如何利用表达城市视觉空间的海量街景数据及来源于众包的评价数据，结合深度学习和计算机视觉的方法，来挖掘影响个体情感感知的视觉要素。试验发现了可视域中与个体对场景的情感维度-压抑感具有较高相关性的视觉要素，如植被、建筑、墙体和车辆等，并通过多重线性回归分析予以量化。最后，对本文所提出的实验框架和案例分析进行了总结，并对未来的研究进行了展望。

1 新一代虚拟地理认知实验框架

环境心理学中将人与环境的交互模式分为4种，分别是解释(interpretive)、评估(evaluative)、操作(operative)和响应(responsive)[34-35]。其中评估和解释是个体对环境的认知模式；响应和操作是个体对环境的行为模式。从另一个角度看，解释和操作体现了个体对环境的主动性，而评估和响应则体现了个体被动地受环境的影响模式。如图 1所示，虚拟地理认知实验参照环境心理学中人与环境的交互模式，针对人地关系的理解开展试验。

大数据背景下的虚拟地理认知实验，将利用海量大数据来支持人类活动行为模式的表达和地学试验环境的构建。与传统的虚拟地理认知实验不同，新一代的虚拟地理认知实验不再主动构建试验环境，控制环境参数来进行多次重复试验对个体进行研究，而是将现实环境的物理、社会空间作为一个虚拟实验室。一方面通过对现实环境描述的大数据来获得地学实验环境的基本配置信息；另一方面，通过在现实环境中时时刻刻记录着的人类活动行为大数据，观察被试个体及群体的感知认知状态、活动轨迹、行为模式等。

其中，人类活动行为模式的主要来源是居民在出行活动中主动发生和被动采集的数据。例如，在社交媒体和大众点评中对周边环境评估的认知和情感的文字表达，在地图导航、公共交通和手机通话过程中留下的行为轨迹信息等。这些数据表达了个体、群体对上下文的认知、情感和行为信息，而从中高效地挖掘出相应的规律和模式需要借助由自然语言处理、计算机视觉和复杂性理论等领域支撑下的空间知识发现方法和认知计算技术[23]。

在地学实验环境的描述方面，本研究讨论的地学实验环境主要是指城市实体环境，而不是网络虚拟环境。城市环境是人类活动的主要场所，同时也是人类活动大数据产生的主要环境。多源众包(crowdsouring)的城市大数据同样对城市的物理和社会环境进行了刻画。例如来源于谷歌、腾讯的街景数据，密集地覆盖了城市路网的每一个角落，完整地表达了城市的物理视觉空间。基于众包的OpenStreetMap地图，精细地刻画了不同尺度的城市路网、交通、建筑等信息。类似的，来源于地图应用服务的POI(point of interest)数据，较直观地反映了居民生活和出行的兴趣点和需求，对地理场所的语义信息进行了描述。简而言之，透视城市空间的上下文大数据，可以较全面、多尺度、多视角地表达和理解城市的物理视觉环境、空间结构、功能格局等信息。

人类活动大数据和城市空间的上下文大数据构成了数据密集型研究范式下的虚拟地理认知实验的数据基础，是开展虚拟地理认知实验的重要条件。一方面，城市上下文大数据为地学实验环境的自然、社会和人文属性提供了基础性描述；另一方面，在认知计算的支持下人们可以洞察在人类活动大数据中的居民认知、情感和行为模式。而挖掘二者之间的相互作用模式、耦合关系和影响机制，以及如何表达、建模、模拟、预测人地相互作用模式等是新一代虚拟地理认知实验的主要目标。更进一步，区别于在其他心理学、环境科学、地球系统科学等领域的知识发现方法，新一代的虚拟地理认知实验旨在从地理学的视角来探索人地关系问题，尝试挖掘在人类活动和空间场所的交互模式背后，由空间依赖性、空间异质性、尺度效应等地理学基本问题驱动的新知识，从而从人地关系传统上支持地理知识工程的构建。

2 案例分析

本研究提供了一个在新一代虚拟地理认知实验框架下开展的案例分析。研究利用图片数据和基于计算机视觉的图片内容理解技术来对实验环境的基本配置信息进行描述，同时利用来自于互联网众包的上百万次评价数据作为被试产生的试验数据。通过分析来自于众包的街景压抑感评价数据，以及基于深度卷积神经网络的图片物体语义分割方法，试验对影响个体对城市场景压抑感的视觉要素进行了挖掘。

2.1 基于MIT Place Pulse街景情感感知数据库

MITMediaLab在2013年开始了“Place Pulse”项目[19]。项目首先采集了来自全球56个城市的11万张街景影像，构建了一个在web端的在线试验平台，邀请来自于全球的互联网用户来给街景图片打分。在每次试验中，要求志愿者回答诸如“以下哪张图片看起来更压抑的问题”。此试验的网页界面如图 2所示。

Place Pulse一共收集了来自全球超过8万名互联网用户的100多万次评价数据，包括安全感、生机感、乏味感、富有感、压抑感、美丽感等6个情感感知维度。考虑到其样本数据和评分数据的空间分布以及多样性，Place Pulse数据库中的评分数据可以被认为是一般个体对于城市风貌的一般性评价。

2.2 场景量化表达方法

为了量化表达街景图片中的语义内容，引入基于深度学习的场景语义分割(scene semantic segmentation)技术对图片中的天空、建筑物、道路等信息进行提取和量化表达。

场景语义分割是计算机视觉中的一个研究方向，旨在对图片中的语义目标进行分割、识别和分类。基于传统计算机视觉方法的准确度一直受限于使用人工设计的或是浅层次和中等层次的视觉特征。而基于深度神经网络提取出来的图像深度特征被认为具有较强、较高效的表达能力，已经在包括计算机视觉、自然语言处理等领域获得了出色的表现[36]。

本试验利用目前较高效的一个场景语义分割模型PSPNet[37]，对街景图片进行语义分割。训练在ADE20K场景语义标注数据库[38]下的PSPNet模型，在150类场景物体的像素级分类中可以获得80.04%的准确度[37]。

利用PSPNet场景语义分割模型对街景图片P进行150类物体的语义分割。针对于150类物体中的第i类物体Oi,i=(1, 2, …, 150)，其在街景图片P中的面积占比可以表示为∅OiP。因此，图片P可以量化表达为一个150维的向量：

(1)

向量中的每个维度表示了一个特定物体在图片P中的像素点占比情况，可以认为是场景P中的物体Oi在可视域中的面积占比。

2.3 试验方法

图3展示了基于街景压抑感评分和场景视觉要素分割的认知实验方法。首先，针对MIT Place Pulse数据库中获取的街景图片P，可以获得其对应的压抑感评分数据SP。其次，利用基于深度学习的场景语义分割模型，可以获取图片P的量化表达向量[∅O1P∅O2P…∅OnP]T,n=150。

为了探索场景可视域中的物体Oi的面积与压抑感评分SP的关系，本试验利用多重线性回归(multiple regression analysis)对问题建模。针对每一个样本，将∅OiP作为解释变量xi，同时将压抑感评分SP作为响应变量y，建立多重线性回归模型

(2)

式中，βi反映了解释变量xi对响应变量y的贡献程度。试验通过最小二乘法对βi进行估计。

2.4 试验与结果

试验采用MIT Place Pulse数据库中来自于全球56个城市的110 988张街景影像数据，每张街景数据都有对应的压抑感评分结果。共计81 630位在线志愿者参与了评分。

表 1展示了个体场景压抑感和场景要素回归分析的试验结果，列出了与个体压抑感较相关的15类视觉要素，其中的***代表回归系数显著性检验的P值小于0.001。通过结果可以发现，天空(0.211 9)、墙体(0.143 1)、建筑(0.129 1)等视觉要素在可视域中的面积与个体压抑感呈正相关关系；树木(-0.336 8)、盆栽(-0.150 9)，草地(-0.131 7)等视觉要素在可视域中的面积与个体压抑感有较显著的负相关关系。

表 1场景压抑感和场景视觉要素关系的多重线性回归分析结果

事实上，试验结果整体上与在环境心理学、生态景观学等领域的理论相呼应[35,39]。可视域中的绿色植被，如树木、盆栽、草地等可以显著地降低个体压抑感。值得注意的是，人行道与小径对压抑感的降低也有一定的贡献，这个结果与文献[40]主张的街道设计理念相呼应。而视野中汽车与小房屋的出现某种程度上增加了场景中的生机感，从而降低了压抑感。另一方面，可视域中的墙体、建筑、阶梯、围栏等人造地物往往使得人们感到压抑。通过试验结果可以发现，如何建设人造地物来减少人造地物对个体情感感知的影响是一个需要城市设计等领域长期关注的问题；控制城市景观中的人造地物和自然景观的比例是构建“可治愈环境(healing environment)”的关键要素。

在与个体压抑感呈正相关的视觉要素中，天空在可视域中的比例呈现了最高的相关性。天空作为自然景观的一部分，往往给人带来开阔而舒适的感受，相对而言，这个结论与直觉相违背。事实上，城市场景中大面积天空的出现的场景往往是高速公路和城际快速通道，这类场景伴随着较少的植被和一定的人造地物，往往会使人感到压抑。类似的，需要指出的另一个问题是，场景的构成受到了很多自然的约束，场景中各个视觉要素的出现以及可视域中的比例并不相互独立，这使得试验在进行回归分析的过程中伴随着解释变量共线性的问题。这一点需要在未来的研究中得到关注。

3 总结与讨论

针对如何在数据密集型科学研究范式下开展虚拟地理认知实验的问题，本研究提出了大数据背景下的新一代虚拟地理认知实验框架。传统的虚拟地理认知实验参照心理学、认知科学等领域的试验方法，通过构建虚拟环境，主动地进行上下文环境参数控制，进而利用多次重复试验观测个体的不同行为反应。与此不同，新一代的虚拟地理认知实验将在环境心理学和认知计算的理论支持下，将现实环境的物理、社会空间作为一个虚拟实验室，从对现实环境描述的大数据来获得地学实验环境的基本配置信息。与此同时，通过在现实环境中实时记录着的海量人类活动行为大数据，来提取微观个体、宏观群体和空间、场所之间的相互影响模式，挖掘其在不同尺度上相互作用的机理，为系统地构建地理知识工程提供方法支持。

与此同时，同样需要在未来的研究中充分考虑利用大数据开展虚拟地理认知实验所带来的问题。例如，大数据在采样过程中带来的有偏性、数据代表性、尺度依赖性、不确定性等问题，在新一代的虚拟地理认知实验中需要认真对待。如何从多源异构的、实时动态的、局部与全局的大数据中构建合理模型，来挖掘人机物三元空间的交互模式，是在未来开展具体的研究中需要处理的具体问题。

本文同样介绍了在提出的虚拟地理认知实验框架下的一项案例研究。研究为了探索个体情感与城市视觉环境的相关关系，通过分析十万张街景影像数据，以及来自于众包的上百万次街景的评价数据，实现了对影响个体对场景压抑感的视觉要素进行了挖掘和量化。事实上，如何在最大化城市街道功能的前提下进行城市街道布局，来保持街道活力、提高居民慢行环境可出行性、提高视觉环境舒适度等是城市规划和城市设计一直关心的问题，本案例的研究结果可为相关领域的研究提供一定的参考。

本研究的案例一定程度上支持了本文提出的大数据背景下虚拟地理认知实验框架的合理性和有效性。案例利用海量个体情感数据，结合统计分析模型对城市视觉环境影响个体的认知问题进行了探索。事实上，大数据一方面可以从不同的视角、不同的尺度重访和验证学科的先验知识；另一方面，基于数据挖掘、深度学习、复杂性理论的认知计算技术将为地学大数据的处理提供更多的手段，对虚拟地理认知实验提供更有力的方法支持，为人地关系的表达、建模、模拟等提供更高效的解决方案。

值得一提的是，本研究在针对“人地关系”的问题上，强调的是理解个体、群体与实体空间之间的相互作用模式，如居民与城市环境之间的相互影响模式等。在未来的研究中，同样需要关注个体与社会虚拟空间之间的交互。例如，不同城市环境背景下的居民在社交媒体网络中的认知、情感和行为可能表现出一定的差异性，而虚拟社交媒体网络空间的结构、模式、格局同样可能影响用户在其实体城市环境的认知、情感和行为。探索个体、群体与实体自然环境间和虚拟网络环境之间的关系将进一步帮助人们从更多的视角和更深的层次理解地理学中的“人地关系”。