当我们想把mysql格式的SQL文件导入到MogDB数据库时，我们可以借助navicat工具，先将SQL文件导入到mysql数据库中，再使用数据传输功能把SQL中的对象和数据直接导入到MogDB。或者使用数据传输功能将这些对象的定义和数据导出成PG格式的SQL语句，再导入到MogDB数据库中。
今天在往数据库里面导入.sql文件时，发现大的文件根本没办法直接导入的。通过百度，在网上找到了两种解决办法，现在和大家分享一下吧！ 第一种： 一，修改PHPMyAdmin的配置文件：config.inc.php 1），在PHPMyAdmin根目录下建立两个文件夹：Import，Export 2），在config.inc.php（66行左右）找到： $cfg[‘UploadDir’] = ”; $cfg[‘SaveDir’] = ”; 修改为： $cfg[‘UploadDir’] = ‘Import’;
在大数据时代，列式存储变得越来越流行了，当然并不是说行式存储就没落了，只是针对的场景不同，行式存储的代表就是我们大多数时候经常用的数据库，比较适合数据量小，字段数目少，查询性能高的场景，列式存储主要针对大多数互联网公司中的业务字段数目多，数据量规模大，离线分析多的场景，这时候避免大量无用IO扫描，往往提高离线数据分析的性能，而且列式存储具有更高的压缩比，能够节省一定的磁盘IO和网络IO传输。 基础环境如下： Apache Hadoop2.7.1 Apache Hbase0.98.12 Apach
pt-fingerprint是Percona Toolkit工具集的其中一个，可以将SQL语句格式化为抽象化形式，可以用于数据脱敏等场景，接下来我们看一下。
开始和数据库玩耍以后，我们将一直与SQL和数据打交道。在日常的操作中，我们只需要对指定的数据库进行操作，执行增删改查，权限管理等。但有些时候由于项目的升级，或者服务器的更换，我们要将数据从一个地方转移到另一个地方，准确的说是从一个数据库服务转移到另一个数据库服务中，因为我们还要继续使用这些数据。
对于传统的关系数据库如oracle，在大量数据导入方面的效率，我们一般有一个大概的认知，即1分钟以内可以导入千万条数据，而对于MySQL数据库，普遍观点以为性能相对较差，尤其时对于千万级别的数据量，几十分钟、几个小时，都是可能的。是否如此，本文会给出答案。
Server version: 5.5.56-MariaDB MariaDB Server
WordPress 用的是 PHP 语言，禁止访客访问网站核心 PHP 文件能提高安全性。我们以 Nginx 的配置文件为例，来详细说明如何安全配置：禁用某些目录执行 PHP。
mysqladmin 是一个执行管理操作的客户端程序。可以用它来检查服务器的配置和当前状态、创建并删除数据库等。
我敢肯定，从事数据工作的人，不管数据量大小与否，都遇到过如下问题：数据不好，数据不一致，数据不干净，诸如此类。帮工作中鲜与数据打交道的人科普一下，根据《福布斯》的报告，数据专家60％的时间都花费在清理和整理非结构化数据上。是的，这花费了很多时间，但我认为这是得出结论的基础。
格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名 > 文件名.sql
①:传统方式——exp(导出)和(imp)导入： ②:数据泵方式——expdp导出和（impdp）导入; ③:第三方工具——PL/sql Developer; 一、什么是数据库导入导出？ oracle11g数据库的导入/导出，就是我们通常所说的oracle数据的还原/备份。 数据库导入:把.dmp 格式文件从本地导入到数据库服务器中(本地oracle测试数据库中); 数据库导出:把数据库服务器中的数据(本地oracle测试数据库中的数据),导出到本地生成.dmp格式文件。 .dmp 格式文件：就是oracle数据的文件格式(比如视频是.mp4 格式,音乐是.mp3 格式); 二、二者优缺点描述： 1.exp/imp: 优点:代码书写简单易懂,从本地即可直接导入，不用在服务器中操作，降低难度，减少服务器上的操作也就 保证了服务器上数据文件的安全性。 缺点：这种导入导出的速度相对较慢，合适数据库数据较少的时候。如果文件超过几个G，大众性能的电 脑，至少需要4~5个小时左右。 2.expdp/impdp: 优点:导入导出速度相对较快,几个G的数据文件一般在1~2小时左右。 缺点:代码相对不易理解,要想实现导入导出的操作，必须在服务器上创建逻辑目录(不是真正的目录)。我们 都知道数据库服务器的重要性，所以在上面的操作必须慎重。所以这种方式一般由专业的程序人员来完 成(不一定是DBA(数据库管理员)来干,中小公司可能没有DBA)。 3.PL/sql Develpoer: 优点：封装了导入导出命令，无需每次都手动输入命令。方便快捷，提高效率。 缺点：长时间应用会对其产生依赖，降低对代码执行原理的理解。 三、特别强调： 目标数据库:数据即将导入的数据库(一般是项目上正式数据库); 源数据库:数据导出的数据库(一般是项目上的测试数据库); 1.目标数据库要与源数据库有着名称相同的表空间。 2.目标数据在进行导入时，用户名尽量相同(这样保证用户的权限级别相同)。 3.目标数据库每次在进行数据导入前，应做好数据备份，以防数据丢失。 4.使用数据泵时,一定要现在服务器端建立可用的逻辑目录，并检查是否可用。 5.弄清是导入导出到相同版本还是不同版本(oracle10g版本与oracle11g版本)。 6.目标数据导入前,弄清楚是数据覆盖(替换),还是仅插入新数据或替换部分数据表。 7.确定目标数据库磁盘空间是否足够容纳新数据，是否需要扩充表空间。 8.导入导出时注意字符集是否相同，一般Oracle数据库的字符集只有一个，并且固定，一般不改变。 9.导出格式介绍: Dmp格式：.dmp是二进制文件，可跨平台，还能包含权限，效率好； Sql格式：.sql格式的文件，可用文本编辑器查看，通用性比较好，效率不如第一种， 适合小数据量导入导出。尤其注意的是表中不能有大字段 （blob,clob,long），如果有，会报错； Pde格式：.pde格式的文件，.pde为PL/SQL Developer自有的文件格式，只能用PL/SQL Developer工具 导入导出，不能用文本编辑器查看； 10.确定操作者的账号权限。 四、二者的导入导出方法： 1、传统方法： 通用命令:exp(imp) username/password@SERVICENAME:1521 file=”e:\temp.dmp” full = y; 数据库导出举例:
nacos官方下载地址在github，直接去搜就行，gitee有同步得，但是笔者没有找到server服务，只有源码，安装这块可以自行百度
Pandas是数据分析中一个至关重要的库，它是大多数据项目的支柱。如果你想从事数据分析相关的职业，那么你要做的第一件事情就是学习Pandas。
MySQL 数据库管理系统通常会采用有效的措施来维护数据库的可靠性和完整性。但是在数据库的实际使用过程当中，仍存在着一些不可预估的因素，会造成数据库运行事务的异常中断，从而影响数据的正确性，甚至会破坏数据库，导致数据库中的数据部分或全部丢失。
Pandas中有很多数据类型，其中有一种是datetime，即日期时间，如Timestamp(‘2020-09-22 20:43:00’)，表示其是一个时间戳类型，很多时候需要将其转化为字符串，以便获取到其中的日期或时间，此时可以对其调用strftime()方法，如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。 在pandas中的DataFrame中，一般是整列替换，此时需要用到lambda表达式和apply方法，如下：
很多时候，我们的数据开发都会用到很多开发利器，比如powerdesigner, navicat等这些软件，虽然好用，但是要收费，在公司里面是禁止使用盗版软件的，怕罚款各方面的，所以我们也不敢直接在公司的机子上装破解版，这个时候，如果我们要导入或者导出sql语句怎么办，虽然也有免费的软件如mysql-workbench的存在，但是不好用啊，操作复杂麻烦，要说好处吧，个人觉得就是记住密码和ip地址用户名这些方便咯，当然实际上它还是很强大的。
MySQL以其简单易用，功能强大赢得了很多开发人员的喜爱，伴随Web 2.0浪潮，MySQL也正经历着前所未有的黄金时段，使用各种精心设计的工具来管理MySQL数据库要比单纯使用传统的方法轻松得的多，开发人员应该不断寻找那些能够缩短开发时间的工具。
goose是一个用go语言编写的数据库版本管理的命令行工具。其github地址如下：https://github.com/pressly/goose
二、按需装载 前面已经做了“初始装载”和“定期装载”。还有一种需要熟悉的装载类型，按需装载。所谓“按需装载”指的是，在正常调度之外，当源数据有效或者数据仓库需要时进行装载。例如，促销销售源数据只有在促销期内有效，而在其它时间是无效的，而对促销期数据就要进行按需装载。 在“建立数据仓库示例模型”中讨论的日期维度数据生成可以看做是一种按需装载。数据仓库预先装载了日期，当日期用完时，需要再次运行预装载。 本节的主题是按需装载，首先修改数据库模式，然后在DW数据库上执行按需装载，使用促销期场景进行说明。定期装载不适合促销期场景，因为促销期数据并不是按调度定期装载。下面是需要装载的促销期内容，存储在source.promo_schedule表中。
第一，opt目录下mysql文件夹没有了(解救方法：在opt目录下新建mysql文件夹)
当为应用程序的数据选择一个存储系统时，我们通常会选择一个最适合我们业务场景的存储系统。对于快速更新和实时分析工作较多的场景，我们可能希望使用Apache Kudu，但是对于低成本的大规模可伸缩性场景，我们可能希望使用HDFS。因此，需要一种解决方案使我们能够利用多个存储系统的最佳特性。本文介绍了如何使用Apache Impala的滑动窗口模式，操作存储在Apache Kudu和Apache HDFS中的数据，使用此模式，我们可以以对用户透明的方式获得多个存储层的所有优点。
很多时候，我们需要在本地电脑上，直接连接开发或测试环境的数据库，方便对数据进行增删改查。当然很多数据库都提供了自带的客户端，比如mysql的客户端是这样的：
开发过程中，研发人员会提交SQL更新脚本到Git源码库，然后测试负责去拉取这些SQL脚本，并手动在测试环境或其它环境的数据库中执行这些脚本，很麻烦，本代码的用途就是为了替代手工执行的操作
mysqldump -u root -p tlxy > ~/Desktop/code/tlxy.sql
1、循环调用getopt_long解析命令行参数，将参数保存到static DumpOptions dopt;中 2、判断参数是否相容，不相容则退出： options -s/--schema-only and -a/--data-only cannot be used together options -c/--clean and -a/--data-only cannot be used together options --inserts/--column-inserts and -o/--oids cannot be used together option --if-exists requires option -c/--clean
1、循环调用getopt_long解析命令行参数，将参数保存到static DumpOptions dopt;中 2、判断参数是否相容，不相容则退出：
在运行Sqlplus时经常需要对运行环境进行设置，如果每次输入都要调整参数会比较麻烦，因此可以利用Oracle提供的glogin.sql、login.sql这两个文件对Sqlplus进行环境初始化。
每次服务的代码更新部署，难免会存在数据库结构的变更以及字典数据的添加，手动执行更新脚本是一个耗时耗力的工作，而且还会出现遗漏或者其他状况，SpringBoot内部集成了一个自动执行数据库脚本的第三方依赖Flyway来解决这个繁琐的问题。
将MySQL库中的user表导出为mysql-user.sql文件，并采用语法基本格式，将整个auth库导出为auth.sql文件，两种语法基本格式的所有操作都需要root用户进行验证。
# 背景 mysql版本5.7.8，需要创建新表，研发提供的sql文件，执行后报错如下： ERROR 1067 (42000): Invalid default value for 'deleted_at' 就猜测到时因为5.7版本的mysql默认的时间戳不允许输入0000-00-00 00:00:00这种格式，之前碰到过类似问题，需要修改配置 查看了研发提供的sql文件，果真如此： ‘create_at` TIMESTAMP NOT NULL DEFAULT '0000-00-00 00:00:00' C
该脚本针对批量导入数据sql文件，data目录存放所要导入的sql文件，list.txt存放要导入的列表信息。
经常会有一些朋友咨询我一些数据库的问题，我注意到一个很有意思的现象，凡是数据导入的问题，基本上都是Oracle类的，MySQL类的问题脑子里想了下竟然一次都没有。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说PLSQL Developer备份恢复oracle数据「建议收藏」,希望能够帮助大家进步!!!
我们知道服务器的定期备份文件设置是utf格式的，但是当我们下到本地开发环境导入的时候，却报了如下的错误：
当你首次建立一个应用的时候，为你的数据库预先安装一些硬编码的数据，是很有用处的。 有几种方法可以让Django自动创建这些数据：你可以通过fixtures提供初始数据，或者提供一个包含初始数据的sql文件。
其中对于drop+database+数据库名这个命令记忆尤深，也听教程里的老师再三嘱咐用这个命令要切记谨慎处理，否则是要负刑事责任的。
PostgreSQL在安装时自带了pgAdmin和psql，pgAdmin是可视化工具，psql是命令行工具。
/ect/init.d/mysql start (前面为mysql的安装路径)
不是 MySQL 用不起，而是 SQLite 更有性价比，绝大多数的应用 SQLite 都可以满足。
Flyway is an open-source database migration tool. It strongly favors simplicity and convention over configuration.
======================= mysql部署方案2.0 1. sql类型解释 sql为两种类型sql，第一类是基础数据sql，第二类为业务数据sql. 基础数据定义为对bdms系统库表结构的定义及初始化数据， 业务数据则跟生产环境相关，用于修改特定环境； 基础数据对于每个全新的环境都需要全部执行， 业务数据只对于关联的生产环境才是有意义的； 基础数据格式sys_date_seq.sql，如bdms_20200327_001.sql， 业务数据格式env_date_seq.sql，如xian
说明1：客户端配置好参数后，直接就获取了MySQL服务器执行SQL后的结果，很方便。
我们生成缩略图的时候，有很多种格式可以选择，下图是一个生成缩略图效果的对比。 原图 比尔 盖茨 家客厅的图片：
1、进入官网，下载mysql-5.5.62-winx64.zip解压包 链接地址：https://dev.mysql.com/downloads/file/?id=480492 2、解压。 我这里选
有了之前 4 篇对文件的操作工具之后，终于到了文件格式的介绍部分！本文介绍文件格式的定义，并实现一个自己的文件格式。这个文件格式十分简单，只用来说明原理。
前 言 如果你是数据行业的一份子，那么你肯定会知道和不同的数据类型打交道是件多么麻烦的事。不同数据格式、不同压缩算法、不同系统下的不同解析方法——很快就会让你感到抓狂！噢！我还没提那些非结构化数据和半结构化数据呢。 对于所有数据科学家和数据工程师来说，和不同的格式打交道都乏味透顶！但现实情况是，人们很少能得到整齐的列表数据。因此，熟悉不同的文件格式、了解处理它们时会遇到的困难以及处理某类数据时的最佳／最高效的方法，对于任何一个数据科学家（或者数据工程师）而言都必不可少。 在本篇文章中，你会了解到数据科学家
在windows中备份mysql 数据库的方法有很多种，如有常用的WinRAR备份mysql、mysqldump备份成sql文件、xcopy 直接复制文件形式备份数据库，下面我来总结一下这些方法，并给出相关实例。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
