提取数据中的有效信息

数据有效信息提取

在对数据进行清洗之后,再就是从数据中提取有效信息。对于地址数据,有效信息一般都是分级别的,对于地址来说,最有效的地址应当是道路、小区与门牌和楼幢号信息了。所以地址数据的有效信息提取也就是取出这些值!

1、信息提取的常用技术

信息提取,可以用FME或Python来做!

信息的提取总的来讲是一项复杂的工作。如果想要做好信息的提取是需要做很多的工作,我见过专门做中文分词器来解析地址数据的,也见过做了个搜索引擎来解析地址数据的。作为FME与Python的爱好者,我觉得在实际工作中解析地址用这两种方式都可以,因为搜索引擎不是随随便便就能搭起来的,开源的分词器有很多,但针对地址的分词器也不是分分钟能写出来的。Python与FME都非常适合做数据处理,所以使用其中任何一种都可以方便的完成有效信息的提取。

2、入门级实现

我们简单来写一个例子来演示如何使用FME进行信息的提取:

处理结果预览:

本文分享自微信公众号 - 数据处理与分析(Qing_master)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券