学界 | 谷歌地图重大升级,用深度学习实时更新街景

AI科技评论按:每天,谷歌地图都为成千上百万的人们提供方位指示,实时路况信息以及商业信息。为了提供最佳的用户体验,地图信息需要不断的根据现实世界的变化做出调整。街景车每天收集数百万张图片,如果用人工分析每天超过800亿张高清晰图片来找出其中的新变化或者更新地图信息,显然是不可能的。因此,谷歌地面实况团队(Ground Truth team)的目标之一,就是从地理位置图像自动提取信息来升级谷歌地图。

在“从街景图像中提取基于注意机制的结构化信息”(Attention-based Extraction of Structured Information from Street View Imagery)一文中,谷歌描述了所采用的方法——怎样在街景视图中使用深度神经网络自动且准确无误地读出街道名称。我们的算法系统在挑战“法国街道名称识别数据集”(French Street Name Signs (FSNS) dataset)中达到了84.2%的正确率,明显优于之前的最优系统。重要的是,谷歌的系统在提取其他类型信息也是很容易扩展的。比如现在帮助谷歌自动提取商店前面的商户名称。目前该模型已经开源。

图中为法国街道名称标识数据集中的一个例子,被谷歌的系统正确识别。上图为同一标识的四种不同视角

自然环境中的文本识别在计算机视觉和机器学习上是一个非常具有挑战性的问题。传统的光学字符识别(OCR)系统主要侧重于从扫描的文档中提取文本。在自然场景中由于视觉伪影,如失真、闭塞、定向模糊、杂乱的背景或不同的角度给提取文本提升了难度。谷歌从2008年开始致力于解决这一问题,使用神经网络模糊了街景图像中的脸和车牌,以保护谷歌用户的隐私。从最初的研究中,团队意识到经过足够的标记数据训练后,机器学习不仅能保护用户的隐私,而且还可以自动升级谷歌地图相关的最新信息。

2014年谷歌地面实况团队在街景门牌号数据集(SVHN)上公布了读取街道号码的方法,随后暑期实习生Ian Goodfellow(现为谷歌员工)进行了运用。这个工作不仅是出于对学术的兴趣,而且也是使谷歌地图更为精确的关键。如今得益于这个系统,超过三分之一的全球地址已经在谷歌地图上有了自己的位置。在一些国家,如巴西,这个算法增加了超过90%的谷歌地图地址,大大提高了谷歌地图的可用性。

下一步是将这些技术扩展到街道名称。为了解决这个问题,谷歌创建和发布了法国街道名称标志(French Street Name Signs,FSNS),有超过100万的街道名称训练数据集,旨在提高人们对OCR模型在实际使用情况下的认识。FSNS是谷歌经过多年的努力而构建的,它比SVHN数据集更加庞大,也更具挑战性,因为如果要准确识别某个街道标识,可能需要对各个角度所拍摄的图片进行整合处理。

上图是识别起来很有难度的一些标识,也被谷歌系统通过对图像的理解而正确判断了。尤其是第二个,不过这个模型在之前学习了语言模型,使其能够消除歧义,并正确识别出街道名。值得一提的是,在FSNS数据集中,同一路标在少于四个独立视图的情况下会以增加随机噪声的方式。

谷歌实习生Zbigniew Wojnazai在2016年夏天用这个数据集开发了一个深度学习模型,它能够自动标注新的街景视图。这个新模型的一个优点是,它可以根据日常的命名习惯进行文本规范。

上图的例子中,可以将"AV."转化为"Avenida","PRES."转化为“Presidente”这是我们期望看到的结果

在这个图中,模型没有被图中的两个街道名称迷惑,将"Av"正确转化为"Avenue",同时也识别出了数字"1600"

尽管这个模型非常精确,它依然有15.8%的序列错误率。不过,在分析错误样本后,团队发现,其中48%是由于地面实况错误,也就是说,模型与标记质量呈现的准确度基本一致。(在我们的论文中有详细的错误率分析)

这个新系统结合了提取街道号码技术,使我们能够直接从图像创建新的地址。现在,每当一辆街景车在新建的道路上行驶时,我们的系统可以捕捉上千万张图像,提取街道名称和数字,并自动在谷歌地图上创建和定位新地址。

但自动为谷歌地图创建地址是不够的。此外,我们还希望能够为商业提供导航。在2015,我们发表了“从街景图像中进行大规模的商户探索”(Large Scale Business Discovery from Street View Imagery)一文,文中提出了一种方法可以准确地检测商店外墙的标志。然而,检测到商店外墙,仍然需要准确地提取它的有用名称。模型必须找出哪个文本是商户名称,哪些文本是不相关的。谷歌称这种提取为“结构化文本”信息的提取。它不只是文字,而是具有语义意义的文本。

使用不同的训练数据,我们用来读取街道名称的模型结构也可以用来准确地提取商业名称。在这种特殊情况下,如果我们已经知道这个商户在谷歌地图的位置,可以只提取商业名称来进行验证,使之能够更准确地更新商业列表。

如上图所示,虽然没有从图片中获得任何有关真实地址的信息,但系统还是正确识别出了商户的名字Zelina Pneus,而且没有被旁边的轮胎品牌所骗。

模型需要处理800多亿个街景图像,需要强大的计算能力。这就是为什么谷歌地面实况团队采用TPU,可以大幅减少我们的推理计算成本。

人们依赖于谷歌地图的精准性来协助他们工作和生活。同时,在景观、道路和商业不断变化的情况下,谷歌地图的更新所面临的技术挑战,远远还没有解决。为超过十亿的谷歌地图用户创造更好的用户体验,一直是谷歌地面实况团队追求的目标。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-05-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

K-Means算法的10个有趣用例

源 | AI Zone K-means算法具有悠久的历史,并且也是最常用的聚类算法之一。K-means算法实施起来非常简单,因此,它非常适用于机器学习新手爱好者...

2916
来自专栏云计算D1net

云计算与粒计算

云计算,不必细说谁都知道是什么,人们多多少少都有所耳闻。云计算是继20世纪80年代大型计算机到C/S转变之后,IT界的又一次巨变,它通过互联网将某计算任务分布到...

36810
来自专栏华章科技

Intel研究院院长吴甘沙:大数据分析师的卓越之道(珍藏版)

亲爱的各位同仁,各位同学,早上好。大数据时代数据分析师应该做什么改变?我今天的标题是大数据分析师的卓越之道。这个演讲信息量比较大,我讲的不一定对,即使对的我也不...

682
来自专栏FD的专栏

什么是最小可行性数据产品(MVP)?如何用它做机器学习?

本文作者是一名数据科学家,现在离开了Pivotal公司加入了idealo公司,正在帮助其搭建数据科学团队以及把机器学习整合到公司的产品中。

462
来自专栏大数据文摘

从商业视角理解数据:数据科学家的思维之路

692
来自专栏数据科学与人工智能

【数据分析】Intel研究院院长吴甘沙:大数据分析师的卓越之道

吴甘沙 Intel中国研究院第一位“首席工程师” Intel中国研究院院长 ? 亲爱的各位同仁,各位同学,早上好。讲到大数据,就要问数据分析师应该做什么?所以我...

2505
来自专栏CDA数据分析师

什么是“探索性数据分析"?

在大数据时代,混乱的、无结构的、多媒体的海量数据,通过各种渠道源源不断地积累和记载着人类活动的各种痕迹。探索性数据分析可以成为了一个有效的工具。 美国约翰·怀尔...

2195
来自专栏机器之心

业界 | 谷歌、百度等联合发布机器学习新基准MLPerf,旨在促进AI发展和公众参与

1594
来自专栏PPV课数据科学社区

【学习】如何成长为顶级数据分析师和数据挖掘师?

#玩转大数据#12点的钟声敲响后,意味着已经跨过2015,进入2016了。新的一年应该拥有新的开端以及新的计划目标,也标志着新的希望。一个数据科学家在年尾做了一...

3594
来自专栏华章科技

Intel研究院院长吴甘沙:大数据分析师的卓越之道(珍藏版)

素材来自:经管之家(bbs.pinggu.org) 组织“中国数据分析师行业峰会”。

852

扫码关注云+社区