在本地搭建MySQL进行数据处理

如果问大家:“在日常用什么工具来处理数据?”,相信大部分的人都会说“Excel”,很显然Excel是我们日常必备的办公软件,但它并不是万能的,最明显的缺陷就是有行数的限制,对一些复杂的数据处理无能为力,Excel2007前的版本是支持65536行(2的16次方),之后是支持1048576行(2的20次方),但我们经常会遇到超过行数限制的数据,怎么办?别急,下面我教大家个方法来处理。

一、工具包安装:

“欲善其事必利其器”下面主角来了:

(1)MySQL

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle 旗下产品。MySQL也是当前最流行的关系型数据库管理系统之一。

官方网站:https://www.mysql.com/

下载后首先进行安装,需要注意的是找个大点的空间磁盘来存放:

安装完成后,桌面会出现一个管理工具图标:

我们将程序打开,点启动按钮:

如果显示成下面图片这样,说明我们已经成功安装了MySQL数据库。

(2)SQLyog

SQLyog 是一个快速而简洁的图形化管理MySQL数据库的工具,它能够在任何地点有效地管理你的数据库。

下载地址:https://pan.baidu.com/s/1qZ6izMk

密码:a449

下载后进行安装,选择默认即可:

打开SQLyog,点新建按钮:

随便输入一个新连接名,点击确定:

在密码处输入haosql,然后点击连接按钮:

OK,恭喜你,我们需要的“利器”全部安装完成,下面我们进行操作环节。

二、数据的导入方法:

我们准备了3个月的用户流量数据,每张表中的数据都在140万以上,我们要在MySQL中建立自己的数据库和表,并导入我们需要处理的数据。

(1)创建数据库

首先在MySQL中建立自己的数据库,在对象浏览器中点鼠标右键,调出快捷菜单,选择创建数据库:

在创建窗口中输入所建立数据库的名称,并按下图选择字符集与排序规则,点击创建按钮:

创建完成后,我们在对象浏览器中可以看到我们新建的数据库“mybase”,但它只是一个空的数据库,里面并没有数据表:

可以通过点击表前面的展开号,或在SQL编辑器中输入显示表命令来查看数据库中有哪些表。

使用SQL编辑器,需要在编写完命令脚本后执行所有命令操作:

(2)数据库导入

我们的三个TXT数据文件均存在D盘下:

表的结构为3个字段:

Subs_id varchar(20)--用户编号

Msisdn varchar(11)--手机号

Amt float--流量

注:如果想详细了解MySQL支持的数据类型请去百度下,很多讲解。

我们在对象浏览器中鼠标右键单击表,选择创建表:

然后根据表的结构进行输入,完成后点击保存:

在询问是否建立多个表时选择“否”:

可以看到对象浏览器中已经产生了我们想要建的表:

下面我们再通过复制表结构建立其余的两张表,右键刚建好的表,选择更多表结构->复制表格/结构/数据:

输入表名,选择仅有结构,然后点复制按钮:

建表完成后,我们在SQL脚本编写区输入导入命令:

点执行查询命令:

当执行完后信息窗口中会显示成功信息:

我们把12月数据也如上面方法导入到表中,导入后我们的数据准备工作就已经完成,当然这里只是对TXT文件的导入方法,SQLyog还构建了Excel、csv等文件的导入模块,还请大家自行了解。

三、简单的查询工作

数据已经准备完成,我们的想法是筛选3个月连续流量小于1G(1024M)的用户明细,我们在在SQL脚本编写:

运行后,得到所需的数据:

我们也可以计算一下这3个月用户的DOU:

运行后,得到所需的数据(数据量大时运行的时间相对较长):

我们可以将数据导出或复制,需要注意想得到全部数需要据去掉限制行的对号。

好了,用MySQL进行数据处理就介绍到这里,如果想深入学习,还需要大家多花些时间多进行实践练习才可以。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180118G056AC00?refer=cp_1026

相关快讯

扫码关注云+社区