要处理200万条数据而你只会Excel怎么办?

今天这篇文章是2018年的第一篇!

2018年是狗年,在这个哈士奇、藏獒、萨摩耶、金毛、贵宾、博美、吉娃娃、牧羊犬、拉布拉多、腊肠、柯基、大黄、小黄的年份里,我用方言祝贺大家!祝大家大家新的一年里旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺旺!

今天的问题是,老板扔给你一份200万行的销售清单,让你按照促销员做个简单的汇总。

是个很简单的问题,如果你一开始并不知道这个文件有200万条记录的话。

虽然文件看起来比常见的大很多,但是貌似Excel打开70M的文件并不是难事。

这里其实是CSV格式的文件,因为有200万条,不适合用.xlsx的格式存储。

如果直接单击打开,其实也并不会卡死。

在出现了一点错误提示之后,我们看到了数据的结构,只有5列,其中A列是我构造数据的时候忘了去掉索引。。。虽然打开了,其实并未加载完,只加载了能存放下的1048576行,嗯,这个值也就是Excel目前能支持的最大的行数。

那么我们该怎么做

平时我们一般遇不到这种“大”数据的情况,然而,数据爆炸的时代,大伙都喜欢张口闭口大数据分析,可是连个200万条的“大”数据都没处理过,又何谈更高级别的大数据呢!

其实正经的话是,万一遇到这种情况,我们应该如何应对?

虽然大数据有专门的工具,但是你却并不真是搞大数据的,你只是个统计员,只会用Excel,你该怎么办?

A、选择下面这个答案

B、找老王学习PowerQuery

C、选择上面这个答案

上次说到这个PowerQuery方便我们清洗数据,其实它也是OFFICE为了应对数据量暴涨的一个应对策略。

下面就来说说怎么利用PQ来处理。

第一步、加载数据

从数据选项卡,我们选择从文本/CSV获取数据。

然后点击编辑。

二、处理数据

简单的处理一下数据,将第一行用作标题,然后修改下各列的数据类型(如有必要)。

我们需要的是按照促销员对数量求和,我们可以这样操作。

选中促销员列,单击开始-分组依据,更改操作为求和,求和列为数量。

这样我们就能按照促销员进行汇总。

四、加载数据

经过上一步的操作,我们得到下面非常简洁的数据。

然后我们选择关闭并上载,

经过少许等待。

我们就得到了期望的结果。

其实整个操作非常简单,只用到了分组这个功能,而这个功能就类似于Excel常规功能的分类汇总或者数据透视表。

只不过我们要处理的数据有200万条,如果要利用Excel来处理,那么PQ是个非常不错的选择。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180109G03XXK00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券