前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >巧用FME实现数据批处理

巧用FME实现数据批处理

作者头像
数据处理与分析
发布2020-04-24 14:07:15
1.7K0
发布2020-04-24 14:07:15
举报

如何抽取数据

在某天,我拿到了某地区的很多DWG格式的地形图数据如下图所示:

我需要从分幅图中抽取出想要的主城区部分数据,但手头没有结合表,只有一个主城区行政界线。所以我尝试了使用以下方法来提取主城区的地形数据。

初次尝试

使用范围框,去选择与之相交的cad数据,我写了下面这样的模板:

模板非常简单逻辑也很清晰,即:使用范围去筛选数据! 但这就有一个问题,cad的数目多,内容多,体量大!模板根本跑不动,以前的路子不能用了,怎么办? 稍加思索,我又有了第二次尝试

再次尝试

再第二次尝试的时候,我使用了批处理来进行数据抽取。 具体设置如下:

私有参数设置

把范围线改成私有参数:因为范围线是固定的,每次读同一份范围就可以了。

发布参数设置

将每次需要处理的CAD发布成参数,每次执行的时候传不同的CAD文件进去。 参数设置如下所示:

CAD文件读取

使用文件目录读取转换器将CAD文件路径都读进来,作为参数传递给具体模板。

数据处理模板

经过以上的设置,形成第二个调用模板的模板,如下图所示:

设置非常简单:

传入目标与源即可! 通过使用批处理,很快就将800M+的CAD按照范围提取出了想要的数据,非常高效,并且模板的编写也很简单!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-04-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据处理与分析 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 如何抽取数据
  • 初次尝试
  • 再次尝试
    • 数据处理模板
    相关产品与服务
    图数据库 KonisGraph
    图数据库 KonisGraph(TencentDB for KonisGraph)是一种云端图数据库服务,基于腾讯在海量图数据上的实践经验,提供一站式海量图数据存储、管理、实时查询、计算、可视化分析能力;KonisGraph 支持属性图模型和 TinkerPop Gremlin 查询语言,能够帮助用户快速完成对图数据的建模、查询和可视化分析。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档