提取数据中的有效信息

数据处理与分析

发布于 2019-07-31 16:39:31

1.4K0

发布于 2019-07-31 16:39:31

文章被收录于专栏：数据处理与分析数据处理与分析

数据有效信息提取

在对数据进行清洗之后，再就是从数据中提取有效信息。对于地址数据，有效信息一般都是分级别的，对于地址来说，最有效的地址应当是道路、小区与门牌和楼幢号信息了。所以地址数据的有效信息提取也就是取出这些值！

1、信息提取的常用技术

信息提取，可以用FME或Python来做！

信息的提取总的来讲是一项复杂的工作。如果想要做好信息的提取是需要做很多的工作，我见过专门做中文分词器来解析地址数据的，也见过做了个搜索引擎来解析地址数据的。作为FME与Python的爱好者，我觉得在实际工作中解析地址用这两种方式都可以，因为搜索引擎不是随随便便就能搭起来的，开源的分词器有很多，但针对地址的分词器也不是分分钟能写出来的。Python与FME都非常适合做数据处理，所以使用其中任何一种都可以方便的完成有效信息的提取。