数据库不仅仅是dba的工作，每一个测试人员也应该懂得基本的数据运维操作，因为数据库是数据承载的地方并且是系统中非常重要的一部分，所以我们也需要熟练的对数据库进行基本维护。...或者 mysql>source tables.sql; 02、shell脚本实现数据库备份 ---- #!...:/usr/local/bin #进行环境变更的设置 TODAY=`date +"%d%b%Y"` #获取日期，进行变更赋值 DB_BACKUP_PATH='/backup/dbbackup' #先创建备份目录...='123456' #mysql 密码 DATABASE_NAME=‘db1' #指定备份的数据名称 mkdir -p {DB_BACKUP_PATH}/{TODAY} #创建备份的目录 echo "...总结：数据库的运维对于测试人员来说仍然是非常重要的，比如：非常重要也不太容易构建的测试数据需要做备份操作时，数据库的运维就显得很有技术含量，掌握数据的基本运维可以使测试工作做得更出色，同时也会让开发刮目相看
2、数据库部署 该运维工程师出场了，项目初期访问量不会很大，所以单台部署足以应对在1500左右的QPS（每秒查询率）。...有一套基于perl语言开发的主从复制管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主复制管理器），这个工具最大的优点是在同一时间只提供一台数据库写操作...分表技术比较麻烦，要修改程序代码里的SQL语句，还要手动去创建其他表，也可以用merge存储引擎实现分表，相对简单许多。...5、数据库维护 数据库维护是运维工程师或者DBA主要工作，包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与运维相关的前沿技术，也是在存储方面主要学习对象，小伙伴们共同加油吧！哪位博友有更好的优化方案，欢迎交流哦。
2、数据库部署 该运维工程师出场了，项目初期访问量不会很大，所以单台部署足以应对在1500左右的QPS（每秒查询率）。...一方面可以单台运行多个MySQL实例让服务器性能发挥到最大化，另一方面是对数据库进行优化，往往操作系统和数据库默认配置都比较保守，会对数据库发挥有一定限制，可对这些配置进行适当的调整，尽可能的处理更多连接数...分表技术比较麻烦，要修改程序代码里的SQL语句，还要手动去创建其他表，也可以用merge存储引擎实现分表，相对简单许多。...5、数据库维护 数据库维护是运维工程师或者DBA主要工作，包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与运维相关的前沿技术，也是在存储方面主要学习对象，小伙伴们共同加油吧！哪位博友有更好的优化方案，欢迎交流哦。 ?
前一阵有一个测试用的 MySQL 数据库被黑了，删库勒索的那种，这里记录一下事情经过，给自己也敲个警钟。...仔细回想了前一段时间里发生的事情，推测过程可能是这样的： 最开始，有一天接收到阿里云的告警，提示 AK 泄漏，查看事件日志发现利用 AK 创建了一个 RAM 子账号，并赋予了高权限，当时我禁用了涉及的...AK，删除了被创建的子账号，但服务器应该已经被渗透了； 然后就是数据库字段被篡改，估计是一方面把服务器资源作为肉鸡继续扩散攻击其它人，另一方面作为诱饵，监控处理动作； 最后就是删库勒索了。...，uid 0，将其禁用； 检查进程，发现有用 guest 用户启动的 bash 进程和 mysql root 用户进程，将其 kill 掉； 修改服务器所有用户密码，检查用户权限； 修改数据库端口、重置所有用户和密码...vim /etc/my.cnf # mysql 删除用户，在 mysql 命令行执行 drop user ''@''; # mysql 创建用户，赋予权限，在 mysql
如果你是做MySQL DBA或运维的，Percona-toolkit我相信这是你日常工作中必备的神器，能够高效的帮助您完成日常的工作； 如果没有用过(难道你是个假的DBA？)...我们在运维过程中，可能在因为空闲连接较多导致超过最大连接数、某个有问题的sql导致mysql负载很高时，都需要将一些连接kill掉，再使用自带的kill命令不太顺手，直接用自带kill命令就是一个初级的杀手...作为杀手也要杀对正确的会话，平时也要擦亮眼睛，不要乱来啊（毕竟杀错了没有佣金，还有可能被扣工资，杀手工作压力也好大啊~~~） 美创科技拥有强大的运维中心数据库服务团队，其中Oracle ACE 1人、OCM...10余人、数十名Oracle OCP、MySQL OCP、红帽RHCA、中间件weblogic、tuxedo认证、达梦工程师 ，并著有《Oracle DBA实战攻略》，《Oracle数据库性能优化方法和最佳实践...》，《Oracle内核技术揭秘》等多本数据运维优化书籍。
开始之前 ---- 上周隔壁专题推送最后一篇Nginx文章(公众号出门左转 Nginx专题) ，从本周开始每周一推送MySql主题文章(Docker 主题每周四不变)，文章内容均为运维方向相关，聚沙成塔...，集腋成裘，第一篇文章讲一下运维工作中经常使用的 MySql 语句。...数据库基本操作 # 创建库 create database test; # 也可以创建时指定字符集 create database test character set utf8; # 列出全部的库...LOAD DATA INFILE '/etc/passwd' INTO TABLE user FIELDS TERMINATED BY 'fuck' (ssl_cipher); 授权语句 # 创建数据库...按使用频率来分类，分别为 操作数据表，数据导入/出，操作数据库。
mysql篇： mysql主从复制原理？...mysql的复制是基于3个线程 1、master上的binlog dump线程负责把binlog 事件传到slave 2、slave上面的IO线程负责接收binlog 事件，并写入 relay log...statement：只记录执行语句 row：记录每行数据的变更过程 mixed：上面两种模式的混合模式，mysql会根据具体的SQL来决定记录statement或者row格式 XtraBackup备份的原理...直接拷贝表空间文件，由于不锁表所以数据可能会不一致，所以会同时监听mysql的redo log日志变化，redo log包含了InnoDB数据的所有改动情况 在通过redo log对表空间文件进行crash...默认情况下mysql要查找一个数据，需要从第一行数据开始读整个表直到读到到目标数据 索引也是一张表，该表保存了主键与索引字段，并指向实体表的记，有索引的情况下，会先在索引中查找对应的值，然后根据匹配的索引记录找到对应的数据行
一、错误日志 错误日志是MySQL中最重要的日志之一，它记录了当MySQL启动和停止时，以及服务器在运行过程中发生的任何严重错误时的相关信息，当数据库出现任何故障导致无法正常使用时，建议首先查看此日志...的主从赋值，在MySQL8版本中，默认的二进制日志是开启的 通过 show variables like "%log_bin%" 可以查看具体的日志位置 2.3 日志格式 MySQL服务器中提供了多种格式来记录二进制日志...的配置文件设置 binlog_format = "XXXX"，然后重启MySQL即可 重启MySQL 修改成功 2.5 日志查看 由于日志是以二进制方式存储的，不能直接读取...说明2：修改好了配置文件要重启MySQL才会生效 说明3：对数据库进行数据库查询，表查询，数据更改等操作 说明4：刚才的操作都在查询日志中可以找到。 ...long_query_time默认为10秒，最小为0，精度可以到微秒 通过MySQL配置文件可以配置是否开启，配置后重启MySQL即可生效 说明1：默认是关闭的 说明2：修改配置文件 ，
一、PXC方案概述Percona XtraDB Cluster (PXC) 是一个完全开源的 MySQL 数据库集群解决方案，它可确保高可用性，防止停机和数据丢失，并为不断增长的环境提供线性可扩展性。...每个节点都是一个常规的 MySQL Server 实例。可以将现有的 MySQL Server 实例转换为节点，并使用该节点作为基础运行集群。...图片二、PXC基础知识■ PXC集群使用四个端口端口描述3306MySQL服务端口4444请求全量同步（SST）端口4567数据库节点之间的通信端口4568请求增量同步（IST）端口因此如系统启用了防火墙则需开放这些端口...对应关闭命令：systemctl stop mysql@bootstrap启动【其他节点】命令：systemctl start mysql对应关闭命令：systemctl stop mysql■ 如集群中还有正常运行的节点...@bootstrap接着再依次正常启动其他节点：systemctl start mysql五、其他关于ProxySQL与keepalive的配置与运维，此处暂不赘述。
GTID定义： 定义：GTID即全局事务ID（global transaction identifier），一个事物对应一个GTID引入：MySQL-5.6.5开始支持，MySQL-5.6.10后开始完善组成...：GTID = server_uuid ：transaction_idserver_uuid首次启动时 MySQL 会自动生成一个 server_uuid，并且保存到 auto.cnf 文件，一个实例对应一个...GTIDenforce-gtid-consistency = on启用强一致性检查，避免create table...select操作log-slave-updates=1允许下端接入slave#binloglog-bin=mysql-bin...Binlog默认保留7天，7天后这些事物产生的binlog会被删除，当发生failover的时，这个slave被提升为主，由于其他从库已经找不到新主库事物所产生的binlog，此时其他从库会挂载不上，造成数据库单点...b4d2-8a5337dcf960:1-6 | 此时gtid_executed已经和主库一致 mysqlslavetrx优雅处理方式 此方法使用较少，不做详细介绍，可以查看官方文档 https://dev.mysql.com
1.登陆数据库 (1)单实例 mysql -uroot -poldboy (2)多实例 mysql -uroot -poldboy -S /data/3306/mysql.sock 2.查看数据库版本及当前登录用户是什么...) mysql> select user(); 查看用户 +——–+ | user() | +——–+ | root@ | +——–+ 1 row in set (0.00 sec) 3.创建GBK字符集的数据库...create database oldboyG 4.创建用户oldboy，使之可以管理数据库oldboy 第一种方法： mysql> grant all on oldboy.* to oldboy@’...mysql> select user,host from mysql.user; 7.进入oldboy数据库 mysql> use oldboy 8.创建一innodb引擎字符集为GBK表test，字段为...以上都要统一，否则会出现中文乱码 如果编译的时候指定了特定的字符集，则以后创建对应字符集的数据库就不需要指定字符集 -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=
内容来源：2018 年 10 月 20 日，源数据库论坛（ODF）发起人周彦伟在“ODF走进名企之贝壳技术沙龙-数据库存储技术的多元应用”进行《使用ArkControl实现MySQL运维体系建设》的演讲分享...初识MySQL 数据库特别是mySQL这样不是很成熟化的商业数据库，使用起来其实并不方便，这也是为什么很多互联网公司，像腾讯或者美团都有专门的团队DBA去支持最后的运维工作。...MySQL运维首先要搞定的是安装部署这块，对于一般开发者来说如果不专门抽时间学几个小时或者学几天的话一般很难完善的部署mysql的相关服务。...最终我们做了一款叫ArkControl的产品，他是一个云管平台，社区版可以免费下载使用，可以一键实现一个比较全面的mysql运维体系，不用花费太多成本就能实现一些数据库运维的基本功能，至少不用再通过命令发去安装...还有很重要的一块，也是今后我们发展的重点——智能运维，包括数据库的智能优化，智能的诊断和巡检。实现逐步的从人工的运维转化为智能运维，类似最优化接口或最优化配置等功能。
墨墨导读：有人说目前为止8.0是最好的版本，我们来看看在运维方面MySQL 8.0带来了哪些便捷命令。...自MySQL 8.0 GA版本发布以来，MySQL生态发生了很大的变化，推出了很多功能 ，有人说目前为止8.0是最好的版本。随之而来的在运维方面带来了很多便捷命令。...下面选出日常运维常用的最便捷的4个命令：RESTART，PERSIST，RETAIN CURRENT PASSWORD，EXPLAIN。...重启的一个用途是： MySQL穷住无法在处理服务； 静态系统变量进行配置更改，只能在服务启动生效； 日常运维维护窗口，硬件升级，迁移等； 复杂的环境中，无法确认my.cnf文件，但必须重新启动服务； 测试环节中需要清空缓存...mysql> SET PERSIST max_connect_errors=100; Query OK, 0 rows affected (0.00 sec) mysql数据目录： ?
当我们安装完成mysql后，登录到服务端，使用 show databases; 命令查看已经安装的数据库（也就是我们常说的系统库自带的系统库），下面查询的是系统库和我已经创建的 db_test 数据库。...2005年10月MySQL 5.0发布，MySQL 5.0是MySQL数据库管理系统的一个重要版本（针对MySQL的系统库，在MySQL创建的开始，就已经存有两个核心库，分别是mysql库和information_schema...它是MySQL的核心数据库之一，管理着数据库的安全性和其他关键设置。查询用户信息mysql.user 表是 MySQL 数据库中用于存储用户信息的表。...对于运维管理员来说，mysql.db 表方便地管理和控制用户对各个数据库的访问权限。...performance_schema.error 表同mysql.slow_log表和mysql.general_log表都可以协助运维人员或者管理员排查一些运行错误，以便更好地进行性能分析和故障排查。
引言我是一名开发运维工程师，之前就有看到过有人说开发与运维就是挖坑和填坑的关系」。开发和运维之间确实存在密切的关系，但是就上述观点有失公平，过于片面。...实际上，开发工程师和运维工程师应该是协作的关系，只不过开发工程师交付在前，运维工程师维护在后。无论做什么运维，运维工程师最基本的职责都是负责服务的稳定性，业务的稳定性。...有些工作对于开发工程师和运维工程师来说，可能是有交叉。...区别还是有差异的，例如本篇要讲的运维命令——mysqlshow，而站在开发工程师的角度来说，使用 mysql show xxx……；或者 show xxx的概率比较多。...运维命令mysqlshow1、什么是mysqlshow如果作为一个运维工程师还不了解这个命令，那么我建议读者朋友可以移步到这里来详细看下这个命令的使用方式方法（本篇在使用时，使用mysql 8.0讲解）
如今，MySQL已经是非常普及的数据库，开源社区的支持也是非常活跃。谈到官方运维工具，大家都会用到mysqldump，其实除了这个之外还有一些实用的工具，今天帮大家梳理一下。...运维类 1.mysqladmin命令 mysqladmin是用于执行管理操作的客户端，可以使用它来检查服务器的配置和当前状态，创建和删除数据库，等等。...若想在MySQL运维中提高工作效率，就需要引入这些工具，也需要使用得当，理解并熟悉用法，才是运维之道。...擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。...2年多开发经验，10年数据库运维工作经验，其中专职做MySQL工作8年；曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务；涉及行业：金融（银行、理财）、物流、游戏、医疗、
Mycat中的逻辑库的概念，等同于MySQL中的database概念没需要操作某个逻辑库下的表时，就需要切换逻辑库，同MySQL一样，使用use xxxx语句。 ...核心属性： name: 自定自定义的逻辑库苦命 checkSQLschema: 在SQL语句操作时指定了数据库名称，执行时是否自动去除，true:自动去除，false不自动去除，即如果有true时，我们可以不进入数据库查询...，引用自dataHost标签中name属性 database：定义分片所属数据库 1.5 dataHost标签 该标签在Mycat逻辑库中作为底层标签，直接定义了具体的数据库实例、读写分离，...，native主要支持MySQL5+,jdbc主要支持MySQL8+ 1.6 schema.xml逻辑库映射 逻辑库的名字和mysql数据库中的名字可以不一致的，例如我们这里配置的逻辑库的名字是大写的...DB01,而MySQL中的数据库名则是小写的db01,这取决于逻辑库和MySQL真实数据库的映射关系。
当时很快就想到了mysql的perror命令。所以，现在回顾下，也想来说说这个命令。 使用背景 在mysql 的使用过程中，可能会出现各种各样的错误信息。...针对MySQL封装调用的工具，一般在MySQL_HOME/bin下就可以找到perror命令。...查阅下MySQL中的所有文件目录，找到tmpdir的参数值，修改其权限即可。当然，你也可以指定到具体的参数来查看目录。修改完成后，记得重新启动下mysql。...（1）创建临时目录并赋权 mkdir /data/mysql_tmp cd /data/ chown mysql:mysql mysql_tmp -R （2）修改配置文件 在配置文件中增加临时目录的配置...[引用] 1、显示MySQL错误消息信息：https://dev.mysql.com/doc/refman/8.0/en/perror.html
[TOC] 0x00 前言说明 描述:本文章是为了记录在日常MySQL运维中对数据库进行操作处理的Shell脚本编写，做一个备份说明； 0x01 备份 1.Mysql数据库备份自动删除 #!.../bin/bash #Func:数据库备份并删除10天的备份文件 read -t 30 -p "请输入数据库备份得路径:" dir filename="${dir}db_time....${d}.sql" rm -rf $del_file 2.mysql多数据库与表备份 描述:分表备份与备份数据库差不多，优缺点：文件多，分布；碎 #linux mysql -uroot -p123456.../mysql/bin MYSQL_CMD="${MYSQL_PATH}/mysql -u$MYUSER -p$MYPASS -S $MYSOCK" MYSQL_DUMP="${MYSQL_PATH}/mysqldump.../mysql/bin MYSQL_CMD="${MYSQL_PATH}/mysql -u$MYUSER -p$MYPASS -S $MYSOCK" #recover cd ${MAIN_PATH} gzip
资源申请和集群管理方式 为了更好的管理和维护，图数据库在运维部门集中运维管理。用户按需在工单平台中提交申请即可，工单中填写详细的资源需求数据和性能需求指标，由运维同学统一审核交付集群资源。...为了高效管理和运维规模化的集群，需要提前规划和制定规范。...61000 meta 端口；51000 ws_http_port；41000 ws_h2_port 62000 storage 端口；52000 ws_http_port；42000 ws_h2_port 运维规范...端口 路径打包生成 rpm，作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph，方便计算和存储服务直接交互，由于是通过 DNS 访问，不对外暴露 Meta 节点信息，可以更灵活的运维...，较少服务绑定 Meta 节点 ip 带来的运维代价。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
