前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >数据分析sql技能之数据库导入

数据分析sql技能之数据库导入

作者头像
有福
发布2018-08-28 14:31:34
7650
发布2018-08-28 14:31:34
举报
文章被收录于专栏:极客生活极客生活

本系列文章均为实际工作中遇到的场景,以此记录下来,共同进步,更愉悦的工作。


作为数据分析师很多时候由于各种原因无法直接连接到数据库上进行sql操作。 尤其是需要大量数据计算的时候,虽然只是查询操作,但是不小心会产生非常大的CPU消耗,影响正常业务。

这个时候我们需要将线上的数据库导入到本地的mysql进行离线分析。

步骤如下:

本地安装好mysql数据库,如果需要导入的文件比较大,需要修改mysql数据库的配置文件my.cnf中的max-allowed-packet 选项,否则导入的过程中会产生如下错误:

ERROR 2006 (HY000) at line 1: MySQL server has gone away

查找my.cnf

通过下面的命令得知配置文件的几个可能位置和优先级。

mysqld --help --verbose | more

...
Default options are read from the following files in the given order:
/etc/my.cnf /etc/mysql/my.cnf /usr/local/etc/my.cnf ~/.my.cnf
...

修改max-allowed-packet

Mac下通过brew 安装后配置文件位置 /usr/local/etc/my.cnf

参考官方文档 https://dev.mysql.com/doc/refman/5.5/en/server-system-variables.html#sysvar_max_allowed_packet

修改后的配置文件如下:

# Default Homebrew MySQL server config
[mysqld]
# Only allow connections from localhost
bind-address = 127.0.0.1
max-allowed-packet = 1073741824

修改后重新启动mysql服务,mac下命令如下:

mysql.server restart

导入sql文件

# 创建一个数据库,假设名字为demo,这里可以随便起名。
mysql> drop database demo;
mysql> create database demo;
mysql> use demo;
# 导入sql文件
mysql> source /path/to/data.sql

导入完成后就可以在本地肆无忌惮的进行各种各样的数据分析了。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017.07.29 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 查找my.cnf
  • 修改max-allowed-packet
  • 导入sql文件
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档