影像数据揭秘下,一座城市到底能有几幅面孔?

如果一座城市的楼房、街道、汽车、人、树木、都可以被标记,并被转化为可量化的评分体系,那么人与空间的感知关系则会拥有更多可能。上周的数据侠实验室,DT君邀请到城室科技的CEO刘浏老师。他们基于人工智能的深度学习技术,将城市街景进行视觉感知评估,为我们认知城市提供了新的思考。

▍环境要素识别

要素识别,顾名思义就是对于影像资料当中的所有元素的确定。要素识别一般有三种方式:第一种是对象识别,比如识别一个人或者一辆车,在它上面会有一个边界框显示出来;第二种是场景切割,通过识别图像当中属于一个类别的像素点,计算出它在画幅当中的所占比例;第三种是场景识别,也就是识别出一个东西所在的场景。

(图片说明:对象识别)

场景切割识别经常用在城市规划相关的一些案例中,其中环境要素识别是很重要的一块,包含了对街道建筑开阔度、街道天空开阔度、街道空间绿视率、街道视觉场景开阔度的识别。要识别这些要素,首先要获取城市所有的街道影像,接着把图片上所有的像素点进行场景切割识别,最后识别出其中的建筑面积、天空、绿化率等信息。

(图片说明:城市的环境要素识别)

得到建筑、街道等环境要素的数据以后,计算出建筑在图片画幅中的占比, 将数据加权平均之后,可以在地图中渲染出建筑视觉密度分布3D图,用到的地图渲染工具是deck.gl。比如下图的上海市建筑视觉密度分布3D图,可以看到上海的中心区视觉建筑比较密集,特别是浦西,虽然浦东的高建筑比较多,但是建筑的视觉密度跟道路的宽度有关,所以浦东的建筑视觉密度没有浦西那么大。另外,一些上海各个郊区或者郊县等城市节点都可以在图中看出来。

(图片说明:上海市建筑视觉密度分布3D图)

接下来是交通要素识别的案例。城市街道物体要素识别是近年来较为先进的城市街道研发方案。2017年2月谷歌曾利用街道识别预测美国总统大选、人口统计等。

尽管拍摄时间相对静止,但城市市区的街道影像基本的时间更新尺度一致,所以单个城市内部的要素可比性高。

北京市的街道行人、车辆、自行车的分布具有空间规律,比如中关村的非机动车比例较高,而东单、朝阳大悦城地区的行人较多,街道活力更好。

(图片说明:交通要素识别)

通过对城市街景进行分析,我们在102万北京市街道影像的照片中识别出了215万的行人,将这些数据放在城市中做出3D效果图,可以直观地反映出北京从二环到五环的人群分布状态。从下图可以看到在中关村、西单、东单、世贸天街这些比较大型的商业综合体周围,街道上的步行行人数量明显比其他地方多。

(图片说明:从102万北京市街道影像的照片中识别出215万的行人)

(图片说明:北京市行人密度3D效果图)

通过对城市街景的分析,我们团队在102万北京市街道影像的照片中识别出了780多万的车辆,以及34万的大型货车、29万的自行车。

(图片说明:在102万北京市街道影像的照片中识别出了780多万的车辆)

最后是品质要素识别的案例。我们将上海市的非正规流动摊贩识别了出来,还可识别摊贩在图片中的区位。

(图片说明:识别上海市非正规流动摊贩)

(图片说明:上海街道摊贩分布地图)

品质要素识别的第二个案例是识别店招和广告牌,在一些非一线城市有很多杂乱的店,它们的招牌对城市整体的风貌有一定的影响。从图像信息中识别出广告牌的信息是比较难的,因为广告牌里面会有很多东西。最终,我们团队在上海市的主城区里面找了大概1200多块广告牌。

(图片说明:识别店招和广告牌)

要素识别还包括了城市色彩风貌分析、江岸风貌分析、天际线分析等。基因色是城市视觉体验的基础,也是构成城市色彩的基本单元,基因色库是城市色彩分析的颜色库,由目标数据以360维构造高维度数组获得。

(图片说明:360维色彩提取)

(图片说明:城市色彩基因色库)

通过提取城市图片中的色彩做成城市色彩基因库,基因色是城市视觉体验的基础,也是构成城市色彩的基本单元。城市色彩分析的第一步就是对全域色彩基因构成的比例差异进行分析。

(图片说明:城市色彩基因分析)

(图片说明:城市色彩基因)

场景分割的方法除了应用在城市影像中,在自然环境中同样可以使用。比如在一个项目中分析钱塘江的江景岸线风貌,把其中自然山水的要素提取了出来。通过视觉意象的抽稀提取,提取出天空、水、建筑、植被、山体等自然山水要素。

(图片说明:钱塘江江景岸线分析)

(图片说明:自然山水的视觉意象抽稀提取)

通过分析发现,钱塘江岸线边上的房地产开发商做得比较夸张,有一些局部岸线的自然山水风貌已经彻底被人工的高层建筑遮蔽了。最后,我们将数据整合到了一个可交互的网页中,将所有类别的数据做成波浪图,其中黄色部分代表的是建筑,通过拉动滚动条,可以看到整个钱塘江沿线的岸线比例变化,看到哪一段出现大量影响岸线风貌的建筑。

▍感知评分

感知评分是针对情感类的感知及空间感的深层次的挖掘,是研究人与空间的关系,研究天空、建筑等要素对人的感受的影响。

在城市慢行环境导航这个案例中,我们使用了基于大众的感受进行人工智能训练打分的方法,根据大规模个体感知评分计算单张图片的安全感知评分,再将感知评分运用于城市街景进行重新打分,结合步行导航软件,为出行体验提供更为人性化的感知评价。

(图片说明:街道感知地图)

比如说给人展示以下两张图片,一张是底特律,一张是上海的人民广场,然后让人选择喜欢哪一张,或者说走哪一张会走起来感觉比较安全,当人做出选择之后就相当于完成了一次统计。

(图片说明:底特律VS上海的街道)

具体的操作实践中,我们会将打分系统放到网上给大量人的人对城市图片进行打分,再将回收的数据用机器学习的方法映射组合起来,电脑就会学会鉴别城市图片给人的感受是怎样的。

这就是利用了机器学习的原理,让机器模仿人去给新的图片打分,在这个过程中,人就被解放出来了。机器可以给全城的所有图片打分,来判断每个地方给人的感受是怎样的。

(图片说明:人工智能城市图片打分系统)

环境要素跟人的感受的关系不一定是正相关,也不一定是负相关。比如说天空在画面当中的感受,天空非常窄的时候,安全感其实是不太好的,但是当天空特别宽的时候,它给人的安全感也不是特别好,这是一个比较复杂的关系。

在下图中,对比的是上海和东京的绿化率,黄色的点点代表的是照片里面拍到的建筑,绿色点点代表的是照片里面拍到的绿化。上海和东京,这两个城市的绿化率其实都是非常低的,基本上都不到5%,但是我们可以发现东京的照片其实看上去非常的绿,它的绿色视觉度可以占到53%。这其实是跟东京和上海两个城市的政策有关,上海的政策是每年要完成多少绿地建设指标,而东京是每年把公园做好规划,让更多的人去游玩。

▍整合多元数据分析

数据融合是指将不同城市的空间信息和数据跟影像数据进行融合。比如分析街道的高宽比,通过对18万幢北京市市区的建筑模型进行空间分析,叠合北京市14万条高德地图的路网数据后,综合分析得到全市街道高宽比数据。基于超过18万的城市街道空间取样点的分析数据,发现北京市的大马路太宽了,导致所有的高宽比都远远大于1:3。

依据原先的城市街道的高宽比数据,将城市街道中所有与之相关的城市街道影像资料作为标定数据的分割进行训练,综合建立全新的城市高宽比人工智能分析模型,通过数据的方式体察街道的整体空间感知。

(图片说明:测量街道高宽比)

最后,我们团队将城市影像数据的分析结果放到了CITYFACE平台上,供更多人使用。

(图片说明:CITYFACE城市影像分析平台)

其中有分析平台、计算平台和分析平台,包括了城市视觉要素分析、城市意象分析、城市色彩色谱分析、城市风貌相似度分析等功能。

另外,用于描述城市的个性和特征的还有千城一面指数,其涵盖了全国300多个城市的街道风貌影像,可以对比不同城市的风貌。

作者 | 刘浏

编辑 | 陈静 :chenjing@dtcj.com

题图 | ZCOOL

原文发布于微信公众号 - DT数据侠(DTdatahero)

原文发表时间:2018-09-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

大会 | CVPR VUHCS Workshop征稿啦,附带5项极具吸引力的比赛

AI 科技评论按:CVPR 2018 将于 2018 年 06 月 18-22 日在美国盐湖城举办,除了主会议程,各式各样的 Workshop 也值得大家一探究...

2844
来自专栏腾讯高校合作

犀牛鸟人物丨专访刘偲老师:图像之美像素级语义理解研究

2553
来自专栏大数据文摘

金融风控领域的工业级大数据应用: 如何跨越AI与业务经验结合前的鸿沟?

1702
来自专栏量子位

在鉴定名画真伪这件事上,专家可能要被AI代替了

原作 Jackie Snow Root 编译自 Technology Review 量子位 出品 | 公众号 QbitAI 鉴别画作真假的难度非常大,还特别烧钱...

2814
来自专栏专知

16个国际顶尖计算机期刊介绍与作者教程【附写作模板】

【导读】撰写成功的研究论文不仅仅是传播您的知识。大多数期刊都会在提交之前规定适用于您的内容的详细创作指南。许多研究论文甚至因为没有遵循期刊的指导原则而被拒绝。为...

1181
来自专栏新智元

Science:用机器学习发现贫穷,准确率高达99%

要解决世界上的问题,必须知道问题发生在哪里。因此,联合国要解决世界贫困问题,追踪非洲的贫困情况就非常重要。然而,实地搜集数据可能很危险,而且效率缓慢、成本高。但...

43910
来自专栏AI研习社

博客 | 玩转「马里奥」的算法能搞定「口袋妖怪」吗?

现在,你很可能已经听说过机器人玩游戏的水平超过人类了吧。这些机器人的一种设计方法是给它们明确地编程,设定一组输入和一组输出之间的对应关系;或者也可以让它们自主学...

1014
来自专栏大数据文摘

机器视觉与深度神经网络—洗去浮华,一窥珠玑

3174
来自专栏大数据文摘

周博磊知乎热答:如何评价何恺明大神斩获ICCV 2017最佳论文

1703
来自专栏AI科技评论

动态 | 不止生成猫咪照片,GAN还在帮助天文学家生成史上最清晰的星系图像

AI科技评论按:本文由图普科技工程师翻译自《Neural networks promise sharpest ever images》,AI科技评论独家首发文章...

2959

扫码关注云+社区

领取腾讯云代金券