专栏首页数据处理与分析用FME进行数据分析之数据透视表

用FME进行数据分析之数据透视表

什么是数据透视表?

Excel中的解释

数据透视表是计算、汇总和分析数据的强大工具,可助你了解数据中的对比情况、模式和趋势。

百度百科中的解释

数据透视表(Pivot Table)是一种交互式的表,可以进行某些计算,如求和与计数等。所进行的计算与数据跟数据透视表中的排列有关。 之所以称为数据透视表,是因为可以动态地改变它们的版面布置,以便按照不同方式分析数据,也可以重新安排行号、列标和页字段。每一次改变版面布置时,数据透视表会立即按照新的布置重新计算数据。另外,如果原始数据发生更改,则可以更新数据透视表。

我的理解

数据透视,简单来讲,就是将下图,变成下下图的一个过程!

是不是很形象?

那怎么实现呢?

心路历程

这里我得吐槽下和尚哥! 上图中的数据与需求,都是他提的,但他是咋解决的,死活不跟我说,只是一直说:觉得自己的方式不够好,不够优雅!

实现方式

初探:进行分析与交互式验证

在刚看到这个这个处理题目的时候,我就想,这个或许可以用数据透视表来完成。所以在拿到数据后简单分析之后,就丢在Excel中来了一波数据透视! 如下图所示:

之所以选择用Excel进行验证,是因为数据处理与分析这种事情,交互式的验证是非常重要的。而Excel,绝对是个交互式验证的利器!

实施:进行一次编写处处运行的魔板制作

写模板一般都是这个套路:首先理清大致思路,然后进行工具制作。在制作中,再不断的进行细节优化!

魔板:

得益于AttributePivoter这个转换器,魔板其实非常简单,如下图所示:

关键转换器参数截图:

思路

1、使用AttributePivoter转换器构建数据透视表; 2、暴露属性(这一点是FME的弱项,字段,要必须经过暴露才可以在后续处理中使用); 3、移除多余字段;

输出的数据:

总结

整个过程:从拿到数据,到对数据进行分析,验证,实施,到和满意的反馈。这就是一个数据处理与分析的完整流程,虽然小,但啥都有!

本文分享自微信公众号 - 数据处理与分析(Qing_master),作者:文刀木公

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 随便谈一谈:什么是数据?

    数据的概念很大,数据本身有不同的载体,可以是文本、可以是表格、可以是音频、也可以是视频…… 如果我问:数据有没有价值?如果有,有什么价值;如果没有,为什么? 你...

    数据处理与分析
  • 如何批量下载电视剧

    生活中经常会有下载点东西的需要,有些网页虽然有批量下载的功能,但很多时候都不好用。并且我觉得网站可能就想让你多点几下,在网站上多停留一会。于其在网站上点来点去,...

    数据处理与分析
  • GIS基础技能篇之一(文本数据矢量化)

    包含xy信息的Excel都可以,xy可以在一个字段里,也可以在两个字段中。另外如果包含高程信息,还可以生成三维的矢量数据。

    数据处理与分析
  • Rust 编程 | 基于Y组合子实现闭包递归

    该函数的第一个参数是一个闭包,用于指定阶乘(factorial)的计算方法。第二个参数是一个值,指定了要计算10以内的阶乘。

    MikeLoveRust
  • 如何用R和API免费获取Web数据?

    API是获得Web数据的重要途径之一。想不想了解如何用R调用API,提取和整理你需要的免费Web数据呢?本文一步步为你详尽展示操作流程。

    王树义
  • 19:救援

    19:救援 总时间限制: 1000ms 内存限制: 65536kB描述 救生船从大本营出发,营救若干屋顶上的人回到大本营,屋顶数目以及每个屋顶的坐标  和人数...

    attack
  • 醉翁之意不在酒,网易“星球”意在用户数据

    【数据猿导读】 所以当个人数据变得难以获取,那么让用户主动出卖数据,心甘情愿地将自己的“数字资产”双手奉上。这才是网易“星球”的真正目的吧。 记者 | 小北 官...

    数据猿
  • 我的简书一月记:数据可视化

    截止前天,来简书正好一个月。20170730 注册了账号,当晚发布处女作《爬取张佳玮138w+知乎关注者:数据可视化》,从而开启了《python爬虫和数据可视化...

    古柳_DesertsX
  • 29.企业级开发进阶1:文件输入输出流[IO操作]

    农历五月初一 宜声明变量"a",提交代码;忌打DOTA,提交BUG 适宜方位:坐西朝东 多饮水、鲜奶,女神亲近指数较高

    大牧莫邪
  • ROS机器人程序设计(原书第2版)补充资料 (壹) 第一章 ROS系统入门

    书中,大部分出现hydro的地方,直接替换为indigo或jade或kinetic,即可在对应版本中使用。

    zhangrelay

扫码关注云+社区

领取腾讯云代金券