redo是引擎层的日志，而且是InnoDB特有的。InnoDB的redo log是有固定大小的，比如可以配置为 一组4个文件（logfile-1，logfile-2，logfile-3，logfile-4），每个文件的大小是1GB，那么它总共可以记录4GB的操作。一个环状循环结构，从头开始写，写到末尾又回到开始循环写。
主从复制延迟的几个因素 从库硬件比主库差，导致复制延迟 主从复制单线程，主库写并发太大，来不及传送到从库导致延迟（更高版本的mysql可以支持多线程复制） 慢SQL语句过多，网络延迟，master负载主库读写压力大，导致复制延迟（架构的前端要加buffer及缓存层slave负载） #解决办法 使用多台slave来分摊读请求，再从这些slave中取一台专用的服务器只作为备份用，不进行其他任何操作,或者使用比主库更好的硬件设备作为slave 可以减少延迟的参数: –slave-net-timeout=seco
公司的官方网站从春节前无缘无故就出现连接数据库异常的现象，由于以前也出现过，再加上没多久逢年过节，也就没有太在乎这个情况，仅仅试着重新启动了网站数据库。逢年过节的时候我发现了有一些不太对，网站数据库只有一打开没多久就宕掉。检查服务器里的资源，发现服务器的内存被占满，CPU达到百分之100就连远程连接都越来越巨慢至极，因此开展对该网站被攻击的问题解决。
午休正酣，一个电话打散了睡意。电话那头的第一句话便是“开发童鞋写update SQL的时候忘了加where条件了！”相信每一名DBA，听到这个消息，心里都会有一种想骂街的冲动！万幸的是，只是单表写花了，而不是哪位大神在DB里面玩drop table。虽然已经很久没进行单表恢复了，但大致步骤都还在脑海中，没花多久就搞定了～
本文和封面来源：https://www.percona.com/blog，爱可生开源社区翻译。
线上有个定时任务，这个任务需要查询一个表几天范围内的一些数据做一些处理，每隔十分钟执行一次，直至成功。
单机版流复制测试环境搭建 搭建规划: 主库 备库 数据目录/pgdata/12/data/pgdata/1202/data归档目录/pgdata/12/arch/pgdata/1202/arch端口 54325433 创建流复制用户： create role replica with replication login password '123456'; 备份主库： pg_basebackup -D /backup/ -Ft -Pv -U postgres -h 1.15.57.253 -p5
在 Linux 做自动化其实非常方便，不会像windows一样受制于系统的配置以及桌面环境。Linux 完全没有这些负担，一个 Bash 就搞定了。
数据库高可用一直是企业的重中之重，而采用主从方案，一主一从，能实现负载均衡，读写分离的作用，分担数据库的负荷，提高性能，而如果搭配keepalived还能实现高可用性，当主服务器故障以后，自动切换到从服务器上。
“嗨，你刚才是不是出现了错误，整个进程都崩溃了！害得一大堆查询请求都给我怼过来了！”，MySQL说到。
定时任务调度‼️‼️ crond+玩法较多，可以设置自动校准时间，自定开启服务等 A 命令： #语法 crontab [选项] -e #编辑crontab定时任务 -l #查询crontab任务，列出当前所有任务调度 -f #删除当前用户所有的crontab任务 crontab -r #终止任务调度 service crond restart #重启任务调度 systemctl status|restart|stop crond.service #实例===========================
环境 操作系统：CentOS-6.6-x86_64-bin-DVD1.iso MySQL版本：mysql-5.6.26.tar.gz 主节点IP：192.168.1.205 主机名：edu-mysql-01 从节点IP：192.168.1.206 主机名：edu-mysql-02 主机配置：4核CPU、4G内存 依赖课程 《高可用架构篇--第13节--MySQL源码编译安装（CentOS-6.6+MySQL-5.6）》 MySQL主从复制官方文档 http://dev.mysql.com/doc/refma
在使用 show engine innodb status检查引擎状态时，发现了死锁问题 在5.5中，information_schema 库中增加了三个关于锁的表（MEMORY引擎）
续 lvm-snapshot：基于LVM快照的备份之准备工作 http://www.linuxidc.com/Linux/2014-05/101308.htm
越来越多的生产系统和关键应用运行在K8S上。在生产系统运行有状态应用，并不是一件容易的事情，它需要我们仔细的计划并部署。我们之前有一篇文章专门介绍如何在K8S上运行高可用的MySQL。这次我们来介绍下如何备份和恢复MySQL。当我们在生产环境中备份和恢复MySQL，我们需要思考下面的问题：
本系列文章将整理到我在GitHub上的《Java面试指南》仓库，更多精彩内容请到我的仓库里查看
我们运行 Linux 服务器的主要目的是通过运行程序提供服务，比如 MySQL、web server等。因此管理 Linux 服务器主要工作就是配置并管理上面运行的各种服务程序。在 Linux 系统中服务程序的管理主要由 init 系统负责。如同笔者在《初识 systemd》一文中的介绍，Linux 的 init 系统已经从最初的 sysvinit 进化到了如今的 systemd。本文主要介绍在 systemd 环境中如何编写运行服务的配置文件。
运维不仅仅是懂Linux就行，因为还有一大部分的Windows运维，向windows运维人员致敬。 当然我们这篇文章不是说运维除了懂Linux，还要懂Windows，而是涉及运维的其他方方面面。 如：环境部署、排错和调优、备份、高可用和集群、监控告警、安全和审计、自动化和DevOps、虚拟化和云服务。 环境部署 一开始这个世界是开发的，然后才是运维的。 开发实现产品逻辑，将产品开发完成后，然后提交运维进行部署。此时允许就需要准备好部署环境，如部署在Linux服务器上，安装相应的软件，如Apache、Ng
听说你精通运维？Apache、Nginx、tomcat、vmstat、iftop、awk、sed、sar、iostat、LVS、HA-proxy、MHA、Zookeeper、Zabbix、Nagios、Cacti、Prometheus、shell、python、go、rundeck、ansible、saltstack、puppet、chef、cobbler、fabric、docker、Moby, kubernetes 了解一下？
我们常常听人说，只要你愿意，MySQL 可以恢复至半个月甚至一个月以内的任何一个状态。网上也有很多删库跑路的段子。。。
sql_log_bin = {ON|OFF} 是否记录二进制日志。启用二进制记录日志，则这项必须是ON
在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。
NoSQL 是非关系型数据库，NoSQL = Not Only SQL。 关系型数据库采用的结构化的数据，NoSQL 采用的是键值对的方式存储数据。 在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用 NoSQL 数据库。 在考虑数据库的成熟度；支持；分析和商业智能；管理及专业性等问题时，应优先考虑关系型数据库。
昨天帮一个朋友看了MySQL数据清理的问题，感觉比较有意思，具体的实施这位朋友还在做，已经差不多了，我就发出来大家一起参考借鉴下。 为了保证信息的敏感，里面的问题描述可能和真实情况不符，但是问题的处理方式是真实的。 首先这位朋友在昨天下午反馈说他有一个表大小是近600G,现在需要清理数据，只保留近几个月的数据。按照这个量级，我发现这个问题应该不是很好解决，得非常谨慎才对。如果是通用的思路和方法，我建议是使用冷热数据分离的方式。大体有下面的几类玩法： exchange partition，这是亮点的特性，
一面 2018/9/11 来自于牛客网 1、手写ArrayList 2、手写进制转换算法，求出一个数的二进制数 1 的个数 3、JAVA 基础，equals 和== 4、多线程方式、threadlocal，各种锁，synchronized 和 lock 5、设计模式、spring 类加载方式、实例保存在哪、aop ioc、反射机制6、类加载器，双亲委派模型，热部署 7、jvm 内存模型，内存结构、堆的分代算法、堆的分区、gc 算法、gc 过程 8、tcp ip，七层模型，rest 接口规范，get 和 post 区别，长度，安全9、tcp ip 的 arp 协议，两个同一网络的主机如何获得对方的 mac 地址10、负载均衡、高并发、高可用的架构 11、mysql 的引擎区别 12、redis 缓存，redis 的集群部署，热备份，主从备份，主从数据库，hash 映射找到知道指定节点 13、了解云计算么，了解云容器 docker 么，容器和虚拟机的区别 14、百度 java 程序员 二面 2018/9/20 来自于牛客网 1、自我介绍，项目中负责哪些，做了哪些 2、项目中的数据库备份，主从数据库、集群 3、数据库的索引原理，b+树原理，trie 树引申，二叉查找树的原理 4、海量数据中查找一个单词，分布式计算 map reduce，或者用 hsah 映射筛选部分结果5、java 的抽象类和接口区别、java 的 hashmap，java 的内存模型，分区，分代垃圾回收算法。实例、常量放在哪里 6、int 4 个字节，double 8 个字节 7、多线程中的wait 和sleep 区别，notify 的作用 8、设计模式了解哪些，写一个观察者模式。实现两个接口，一个是主题一个是观察者，并写出对应方法 9、写一个生产者消费者队列的方法，分别写两个类代表生产者和消费者，并且用队列模拟其生产消费
在高并发的场景下，大量的请求直接访问MySQL很容易造成性能问题。所以，我们都会用Redis来做数据的缓存，削减对数据库的请求。但是，MySQL和Redis是两种不同的数据库，如何保证不同数据库之间数据的一致性就非常关键了。
（1）主从服务器操作系统版本和位数必须一致； （2）主节点（Master）和从节点（Slave）数据库版本必须一致； （3）主节点（Master）和从节点（Slave）数据库中的数据必须一致； （4）主节点（Master）需要开启二进制日志； （5）主节点（Master）和从节点（Slave）的 server-id 在局域网内必须唯一。
关于 MySQL 主从搭建，松哥之前写过好多篇文章了，还录过一个视频。不过之前的都是一主一从的结构，但是小伙伴们知道，我们在项目中，更常见一种结构是双 M 结构，即两个 MySQL 实例，每个 MySQL 实例互为主备，这样在主节点突然断电或者不可用的时候，slave 节点可以很快切换为 master，架构图如下： 在这种结构中，两个 MySQL 实例的地位是平等的，互为对方的主备，我们判断谁是主机谁是从机的方式主要是看 readonly，谁是只读的，那谁就是从机，所以这种情况下，主从切换也很方便，只要修
目前随着微服务化建设的普及，存在越来越多的跨系统数据交互情况，跨系统数据一致性问题越发凸显，那如何有效保证跨系统数据的一致性呢？
由于8月份的ECSHOP通杀漏洞被国内安全厂商爆出后,众多使用ecshop程序源码的用户大面积的受到了网站被篡改,最明显的就是外贸站点被跳转到一些仿冒的网站上去,导致在谷歌的用户订单量迅速下降，从百度,谷歌,360,以及搜狗等等进入到网站的用户直接被跳转到了一些赌bo网站上去,而且网站在各大引擎的收录的快照中的标题被篡改城一些与网站不相关的内容，如图：
案例是一个泰国网站的生产环境（请脑补一句“萨瓦迪卡”，为了叙述方便，下文中均以"萨瓦迪卡"指代这个网站。）“萨瓦迪卡”是一个 采用 Wordpress + MySQL搭建的应用。这个遗留系统已经工作了五年。客户已经把在其它 VPS 上平移到 AWS 上。平移（lift and shift）是说原样复制，而迁移（migration）还要进行改造。而客户唯一发挥 AWS 优势的一点就是用了一个配置很高的 EC2 虚拟机 —— m4.4xlarge。这样一台配置的虚拟机有 16 个虚拟 CPU，64 GiB 的内存，以及 2000 Mbps 的网络带宽，最高 3000 IOPS 的 200GiB 的块存储设备（也就是硬盘）。
因为halo只有整站备份，但没有自动备份，为了避免每次人工进行备份，所以今天弄了下自动备份,超级简单的，推荐使用宝塔
工具下载地址：https://easyshu.lanzoub.com/b00w39nzi 密码:2uup
—1— 前言 在高并发的场景下，大量的请求直接访问Mysql很容易造成性能问题。所以，我们都会用Redis来做数据的缓存，削减对数据库的请求。但是，Mysql和Redis是两种不同的数据库，如何保证不同数据库之间数据的一致性就非常关键了。 —2— 数据不一致的原因 1.导致数据不一致的原因 在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。 所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。 读取缓存步骤一般没有什么问题，但是一旦涉及到数
国庆假日期间我们Sine安全接到众多网站站长求助网站标题被改导致在百度搜索中百度安全中心提醒被拦截,导致网站正常用户无法浏览网站被跳转到一些菠菜du博网站，而且很明显的一个特征就是在百度中搜索关键词的网站快照标题被修改成了一些与网站本身内容不相关的页面,而且发现网站首页文件如index.php或index.html被增加了一些可疑的加密代码。
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
MySQL 8.0开始采用快速迭代开发模式，基本上是每隔3个月就发布一个新的小版本。去年1月18日（2022.1.18）发布MySQL 8.0.28，今年1月17日发布MySQL 8.0.32，再看看其他几个版本的时间，还真是贼守时啊。
因Sqlserver数据库是一款非常完善的商业数据库，微软给它打造了SSMS客户端管理，并配置了大量的命令让我们可以轻松管理它，当然备份整个数据库的元数据，也只需界面上一个操作即可完成。
在高并发的场景下，大量的请求直接访问Mysql很容易造成性能问题。所以，我们都会用Redis来做数据的缓存，削减对数据库的请求。但是，Mysql和Redis是两种不同的数据库，如何保证不同数据库之间数据的一致性就非常关键了。
chown -R mysql.mysql /backup/ 把备份的目录所属人所属组改为mysql
#!/usr/bin/phthon import os import time import commands import shutil import threading from os.path import join, getsize import MySQLdb as mydb # 备份目录 baseDir = "/data2/backup/backup_data/" # ns 或 wx; 备份后是否要压缩(mydumper 自带压缩功能)，要压缩 T
近期受到很多用蓝科lankecms网站源码做的网站的客户反馈首页文件index.html和m.html被篡改增加了跳转代码，导致从百度点击进来的直接跳转到世界杯体育网站上去，而且百度快照收录的标题也被篡改了，通过客户的叙述，发现此源码是用tp架构二次开发的，其中源码文件LoginAction.class.php和TextAction.class.php被作者加密了，具体内容无法解密，用的是混淆加密，被篡改的客户基本都是在同一时间批量被篡改，跳转的网址也是一致的，了解情况后我们SINE安全立即安全技术对客户网站进行排查和溯源。
(1 ) vim /home/my.sh写入内容 date >> /home/mycal和cal >>/home/mycal
我们都知道，我们每执行一次 SQL，数据库除了会返回执行结果以外，还会返回 SQL 执行耗时，以 MySQL 数据库为例，当我们开启了慢 SQL 监控开关后，默认配置下，当 SQL 的执行时长大于 10 秒，会被记录到慢 SQL 的日志文件中。
2、所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。
分布式数据库，已经进入了全面快速发展阶段，这种发展，是与时俱进的，与人的需求是分不开的，因为现在信息时代的高速发展，导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈，因为MySQL数据库，实质上，还是一个单机版本的数据库，而只要是单机，就必然会遇到的一个问题就是存储问题，因为存储是硬需求，而CPU和内存如果不够的话，只是性能不好，并不会直接否定方案或者架构。
RMAN保留策略关乎数据的完整性，因此事关重大，由用户定义的、基于用户数据恢复所能承受的容忍度来设置。也就是说根据恢复的需要，用户需要保留几天的数据，或者说用户需要备份的保留几个副本，或者不需要设定保留策略。在生产环境中多数使用的是基于恢复窗口的保留策略，因此需要重点关注与理解其用法。最本文主要描述了RMAN下的三种保留策略方式。
redis是一款内存数据库, 谁也无法保证服务器不宕机,那服务器宕机后内存数据就全丢了啊, 这是就需要提前把数据保存到磁盘,我们把这种操作称之为持久化.
领取专属 10元无门槛券
手把手带您无忧上云
