前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >提取数据中的有效信息

提取数据中的有效信息

作者头像
数据处理与分析
发布2019-07-31 16:39:31
1.5K0
发布2019-07-31 16:39:31
举报
文章被收录于专栏:数据处理与分析
数据有效信息提取

在对数据进行清洗之后,再就是从数据中提取有效信息。对于地址数据,有效信息一般都是分级别的,对于地址来说,最有效的地址应当是道路、小区与门牌和楼幢号信息了。所以地址数据的有效信息提取也就是取出这些值!

1、信息提取的常用技术

信息提取,可以用FME或Python来做!

信息的提取总的来讲是一项复杂的工作。如果想要做好信息的提取是需要做很多的工作,我见过专门做中文分词器来解析地址数据的,也见过做了个搜索引擎来解析地址数据的。作为FME与Python的爱好者,我觉得在实际工作中解析地址用这两种方式都可以,因为搜索引擎不是随随便便就能搭起来的,开源的分词器有很多,但针对地址的分词器也不是分分钟能写出来的。Python与FME都非常适合做数据处理,所以使用其中任何一种都可以方便的完成有效信息的提取。

2、入门级实现

我们简单来写一个例子来演示如何使用FME进行信息的提取:

处理结果预览:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-10-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据处理与分析 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 数据有效信息提取
    • 1、信息提取的常用技术
      • 2、入门级实现
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档