关于如何把长线拆分成短线,我已经写过好几篇文章了(可以看这次推送发出的下面几篇)。这些写过的文章里,既有沿线生成点的FME方式,也有生成线段的ArcGIS方式。其中FME方式可以沿线生成均匀的节点,通过调整参数,可以实现生成线的功能,也可以实现生成非均匀节点。而ArcGIS方式,可以直接生成线、均匀的、不均匀的都写了,通过调整,也可以实现生成点的功能。
循环可以让很多数据处理的工作变得简单。透过循环,也可以让FME魔板更加简洁! 在之前的推送使用FME沿线生成点(二)中,使用了循环来沿着线来均匀的生成点。今天,我们使用另一种方式来完成相同的操作啊!
最近有接触到水环境的项目,其中了解到一维水质模型及转化的污染物降解模型,大体需求是通过模型计算获取从河流任意指定位置污染物浓度降解到满足目标考核要求的浓度,所经过的河流数据按污染物浓度等级可视化。因为涉及到空间数据计算,就考虑到用FME去尝试下,最后基于FME对模型进行了简单实现。
这两天看了一个FME的直播课程,非常不错,适合入门者学习! 在直播结束后,举办方留了一个作业,要求非常的精简! 要求:请制作一个模板,判断相同标识码的要素,其顺序码是否存在漏编和重复。 这么简练的要求,科科还让我猜,你说,我猜不猜?
在FME中生成线的中点或者起始点终止点很方便,有转换器可以直接做到,但有很多人都不知道有这么一个转换器,今天,我就来给大家分享这样一个转换器:Snipper。
FME是一个很好的数据处理平台,如果想要掌握它,在工作中使用它,需要了解很多的内容。学习一门技术,最好的途径就是通过系统的课程,而FME相关的系列课程比较少。针对这种情况,我与城市数据派合作推出FME系列课程。本课程从基础知识开始,循序渐进,穿插各种数据处理的案例,系统性的学习FME。现在课程还处于制作阶段,在课程上线后,欢迎各位到城市数据派(首发平台:https://www.udparty.com/index.php/lists/college)或腾讯课堂(这个暂时还没上线)观看学习。
在使用FME处理数据的时候,偶尔会遇到一些问题。今天就讲一下arcgis和FME的版本问题。 通过这篇文章,你将了解到,为什么你的FME读不了mdb,为什么一读gdb就报错等知识……
能看到此文,我就粗暴的认为你已经对FME有了一定的了解。不了解没关系可以去FME博客进行学习,也可以去看FME十分钟进行相关的了解。下面我将结合FME中的几个转换器进行一些简单的演示。
经常有朋友会问,我的数据,ArcGIS里没问题的,怎么FME一读就乱码了? 划重点:ArcGIS里打开正常!
这篇文章,是本号开篇第一作。在第一次推文就选了正则,足以说明正则的重要性(个人感觉)。虽文章已有三年之久,但内容从今天来看,仍不过时,故重发一次,希望能对各位看官有些启发!
昨天有个朋友在我的技术交流群里问,如何将geohash进行解码,变成经纬度? 如何解码,当然首选方式必须是我万能的FME啊!
安装FME后,在FME的安装路径中,找到 fmeobjects 文件夹(C:\Program Files\FME\fmeobjects) 在fmeobjects 文件夹中,我们可以看到名为Python版本的文件夹,因FME的版本不同,支持的Python版本有所差异(以FME 2018 x64为例)
纪念我的九成岁月!是在九成测绘大把的时间,让我用FME做了一些酷酷的事情。今天偶尔翻开之前的笔记,发现其中一篇记录了FME在三维方面的应用。看着笔记与模板,我想了不少。当时的笔记写的天马行空,虽然不完美,但现在的我很难再写出同样的东西,我再也没有那么多的时间与精力了。我好怀念,可以晒着太阳睡一下午的时光!
良好的注释,可以起到画龙点睛的作用。有时候看早年间写过的东西,都需要很长时间才能看懂。如果有了注释,理解起来就会简单许多。 FME支持三种注释方式
具体的包括:在ArcGIS的字段计算器中使用脚本、多要素支持【FME的AttributeCreator转换器】、全局变量【Python】
最近需要收集一些材料,在搞材料的时候,看到某网站上是有的,但是需要积分才能下载。 我连注册都没有,哪来的积分!
前段时间,群友在群内咨询了一个FME的技术问题,需求是将CAD中的复合线中的线段和弧段分离出来,具体样例如图1所示,图中红圈部分是弧段,需要单独分离出来。
今天要分享的数据是历史行政区划数据,数据来自于加利福尼亚大学伯克利分校。数据的具体内容为1949年至2014年的中国行政区划数据,分为省、市、区县三级。对科研人员来说,是不可多得的好数据。经过整理,现在数据已经全部梳理好了,现在将方法和数据分享给各位读者。
正则表达式是文本字符串处理的瑞士军刀。在FME中,常用来处理文本字符串的转换器主要为:StringSearcher 、StringReplacer。如图(1)所示,其中,StringSearcher用来从指定字段中匹配给定规则的字符串;StringReplacer用来把指定字段中给定规则的字符串替换为给定文本。在使用过程中,两者侧重点不同,但都提供对正则表达式的支持。但从接触FME2016后,发现FME中StringSearcher和StringReplacer对正则表达式的中文匹配不太友好。
不造锤子; 不论是FME还是Python,又或者是SQL。这些工具都很好用,在进行数据处理的时候,应当思考如何合理的使用他们。通过工具的组合,绝大多数问题都能得到解决。就像使用生活中的工具,单纯的使用一把锤子,是造不出汽车的。为了造出复杂的机械,需要的是合理的使用工具,在这过程中,可能需要使用到一些比锤子更加高级的机械等一系列工具。如果目的是造汽车,那么这些高级工具是怎么造出来的,就不是最该关注的点。造汽车的人,只需要使用好这些工具就好了。 不造锤子,并不意味着思想上的懈怠。相反的,不造锤子意味着作为一个数
在FME平台进行地理数据处理的时候,有时候会需要调用ArcGIS的工具来进行数据的处理,下图展示的是我之前做过的一个小例子,在本文中,将着重讲下PythonCaller中的一些设置,魔板中使用FME进行的一些处理不是本文的重点,将不在本文叙述。
WKT(Well-known text)是一种文本标记语言,用于表示矢量几何对象、空间参照系统及空间参照系统之间的转换。它的二进制表示方式,亦即WKB(well-known binary)则胜于在传输和在数据库中存储相同的信息。该格式由开放地理空间联盟(OGC)制定。使用FME的函数可以方便的在要素与WKT之间进行转换。而WKT可以作为一种格式在各平台中进行传递,比如说ArcGIS与FME。
手动肯定是很简单就可以实现的,我就不做演示了。 我展示一下使用工具来实现这个融合面,并保留最大面积要素的属性怎么实现?
FME的功能已经足够强大,在FME丰富的数据格式与众多转换器的支持下,我们可以完成很多复杂的工作。但是如果能使用Python来对其进行进一步的功能扩展的话,将会使FME更加开放。本文将通过一个小例子来讲解如何进行功能的扩展。
逻辑性检测是指数据的各个字段中的值是否存在矛盾,比如在地址信息中,如果有一条要素省市区各字段值分别为:河南省郑州市西湖区。那么这条要素中的各个值之间就矛盾了!郑州市没有西湖区!
有时候,需要在线上的指定位置取点。完全没经验的人,可能会手足无措,不知道该怎么取。今天就来分享一下,怎么使用不同的方式来在线上取点。
本周将连载关于ArcGIS技术应用的文章。来源于我的师兄。他有丰富的工作经验。如有问题欢迎大家留言或者访问博客进行交流:https://blog.csdn.net/symBBD
如果这个也能作为转换器的话,是的,这是每个模板中都有的转换器!是当之无愧的NO.1。
在对数据进行清洗之后,再就是从数据中提取有效信息。对于地址数据,有效信息一般都是分级别的,对于地址来说,最有效的地址应当是道路、小区与门牌和楼幢号信息了。所以地址数据的有效信息提取也就是取出这些值!
通过技术手段,来访问通过ArcGIS Server 发布出来的要素数据,并保存到磁盘。 特点:快、简单! 本次推送,不仅有文字内容,更有配套视频,喜欢看片的,可以直接复制链接去看视频资源:https://www.bilibili.com/video/BV1JV411i77Q/ 不过我觉得,配合推送享用更佳哦!
大多数时候,FME都很给力,但一个月总有那么……那么……那啥来着。反正就是不好用了。就像这样:
在数据处理方面,FME的优势我在不同场合强调过多次。针对我日常中的数据处理+分析,FME简直完美。所以本次的学区分析,依然是使用FME作为主力工具。
对于初学者来说,软件的安装是个拦路虎。遥想当年,立了无数次的flag:一定要学会XX软件!但无一例外,都止步于软件安装。为了避免大伙走弯路,本文就来介绍下GIS中常用的FME以及ArcGIS两款软件的安装方法。
ArcGIS已经很强大了,估计他要说自己是第二,估计没什么GIS软件敢称第一了。虽然ArcGIS很强大,但市场上还是有很多其他的厂商,有很多其他的平台,每个厂商基本上都有自己的数据格式。对于其中的大部分数据格式ArcGIS都不能直接读取,都需要通过一些别的软件进行相应的转换才能加载到平台中。
对于初学者来说,软件的安装是个拦路虎。遥想当年,立了无数次的flag:一定要学会XX软件!但无一例外,都止步与软件的安装。为了避免大伙走弯路,本文就来介绍下GIS中常用的FME以及ArcGIS的安装方法。
首先,这个东西要想讲清楚,不容易,毕竟涉及到的东西太多。每个椭球、投影什么的,都要写一大堆,而看的人可能最后还是似懂非懂。我从应用的角度来讲一下,如何在工作中用这些东西。
最近处理了一些Excel数据,在处理中发现了一个问题:用FME读取表格的速度太慢太慢了!
在节前的一次推送中,我写了如何使用FME来进行进行数据透视的相关分析。今天来填之前挖的坑,使用Python来完成同样的数据分析。只不过,Py实现起来,更简洁! 数据透视表的强大,这里就不再赘述了,Python语言的优势与缺点,这里也不再介绍。 只说一句:Python,绝对值得学习,非常适合非计算机专业的人来用!
简单来说,就是通过设置参数,达到让输出的目标数据放到与其同级的文件夹下(文章最后,会给出涉及到的模板下载方式)。
前几天去德清,看到他们演示的全新数据科学服务器:Notebook Server,确实很好用。在之前,我也用过Jupyer Notebook来处理数据。但FME实在是太好用了,渐渐的Python就用的少了。但看notebook看的手痒,总想试试,奈何现在没有enterprise的和谐方式。既如此,就装一个Jupyer Notebook用一用吧!
上面也介绍了,如果基于固定分隔符,那么如果分隔符稍有不同,工具就跑不动了。针对这种分隔符不一致的情况,我用了正则的方式,来进行度分秒的分割。正则很强大,可以完美的解决类似的问题。
2017年10月16日,国务院印发《关于开展第三次全国土地调查的通知》(国发〔2017〕48号) 2017年12月12日,贵州省人民政府印发《关于开展贵州省第三次全国土地调查的通知》(黔府发〔2017〕33号) …… 2018年6月23日,贵州省土地学会印发《关于举办贵州省第三次全国土地调查专业技术培训班的通知》(黔土学发〔2018〕12号)
最近生产部门接到客户的一个需求:需要我方提供村界线数据、乡镇界线数据叠加高德地图的验证图片。简单沟通了解到是客户对我方提供的数据的准确性没有足够的信心,又懒得去抽检,就要求我方提供基于高德的验证图反馈他们确认。说好的信任呢?
这种问题解决方法有很多,比如:可以使用递归,我们写一个函数,功能如下:使用表2中的上手编号在表2中的档案号中进行查找;判断该档案号是否有上手编号;如果有继续调用我们写的函数自身,如果没有,则递归结束,返回需要的一串编号的值。
在地理数据的处理中经常会有这种需求,作为从业者,经常会收到这样的需求:“小刘啊,我们现在有一张表。表里有地名信息,与我们的**数据有关联关系,两套数据之间的ID是一一对应的,我想给这块数据加上**表的信息。可以吗?”
一般来讲,数据的挂接就像之前的推送中所写的那样,挂接所基于的属性必须是完全一致的。如果数据稍有不同,则会出现挂接不上的情况。但是在实际的工作中,数据的质量可能并没有那么好,而又要将这些数据挂接起来,所以就需要进行模糊匹配。
在FME中进行数据清洗还算是比较方便的,借助强大的转换器与Python,可以很方便的完成特殊字符的清理、别字的替换、全角半角互转等。而这方面要用到的转换器就是:StringReplacer与PyCaller。 使用这两个转换器可以轻松完成数据的清洗,简单的替换我们可以使用正则,或者是直接用字符串进行替换,这都是可以的。接下来,我们讲一讲上一次推送中使用到的数据清洗
从这篇开头看来,马尔可夫模型是一个不那么完美的模型,但仍被广泛应用于各个领域。一个想法刚出现的时候,往往没那么完美,有的人也就是灵光一闪,闪完就放一边了。就像我,我想过写一个FME的教程,可没能坚持下来,我想弄个FME学习社区,也没能坚持下来,最后都不了了之了。但有些人,有些想法就不是这样,像马尔可夫,提出了模型之后再各个机构得到了广泛的应用,我想这肯定与相关人员的坚持有很大的关系。 马尔可夫模型刚被提出来的时候,可能是有很多不足,但是经过各个机构的广泛应用、改进,在许多人把精力花在上面的时候,模型也就被改进的越来越好!
领取专属 10元无门槛券
手把手带您无忧上云