/bin/bash #存放目录 BackupDir=/root/mysqlbackup #数据库库名 DataBaseName=shell_test #日期命名 DateTag=`date +%Y%m%...--databases $DataBaseName > $BackupDir/$sqltag #进行压缩并删除原文件 cd $BackupDir tar -czf $tartag $sqltag rm...mysqlbackup]# crontab -e 30 6 * * * /bin/bash /root/mysqlbackup/backup.sh >> /dev/null 2>&1 #每天早上6:30自动执行脚本进行数据库备份
当centos频繁读取文件后,物理内存会很快被用完,当程序结束后,内存不会被正常释放,而是一直caching,因此有必要手动清理系统缓存释放内存。...为了避免断电,等故障造成数据丢失,我们需要把buffer中的缓存数据写入到磁盘 > sync;sync;sync 手动执行sync命令（描述：sync 命令运行 sync 子例程。...，主要用于目录方面inode值等（ls大目录可看到这个值增加）cached——缓存，用于已打开的文件 恢复默认设置 缓存可以提升系统的运行效率,如果发现系统内存经常不够用,应该考虑添加内存,而不是经常清理
日志文件清理 通过查找大文件，我们发现 /var/log/journal/ 目录占了 1.4G： cd /var/log/journal/c28d40cbc8e3adcb4e32d9779a77b39e...可以看到最旧的几条日志的日期时间和大小以及总的日志大小 只保留一周的日志 journalctl --vacuum-time=1w 只保留 10M 的日志 journalctl --vacuum-size=10M 清理...docker 查看docker磁盘使用 docker system df 清理无用的磁盘使用 会删除停止的容器、无用的数据卷和网络和 dangling 镜像 docker system prune...加上 -a 会一并删除没有容器使用Docker镜像 docker system prune -a 查看卷 docker volume ls 清除没有容器正在使用数据卷 docker volume prune
经常要手动去清理各类日志和备份文件,消耗大量时间和精力.
如何从CentOS源代码编译和安装MySQL 5.7.29呢，下面做个简单明了的过程记录，希望对大家有用。.../mysql-server/archive/mysql-5.7.29.tar.gz 编译并安装MySQL /usr/sbin/groupadd mysql /usr/sbin/useradd -g mysql...mysql cd /tmp tar xvf mysql-5.7.29.tar.gz cd mysql-5.7.29/ cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql...w /usr/local/mysql chown -R mysql:mysql /usr/local/mysql ln -s /usr/local/mysql/lib/libmysqlclient.so...log/ chown -R mysql:mysql /var/mysql/ cd support-files/ cp my-large.cnf /var/mysql/my.cnf cp mysql.server
比如一个对数据表做清理的操作，可能看起来就是做些delete操作，有什么好的办法和技巧呢。...所以我的目标是：在正常时间进行数据清理工作，而且对于业务无感知。...本着这个目标，我就得更加细致和认真一些，比如表test需要保留多长时间的数据，存在哪些时间字段，我们的清理和补录是基于哪些时间字段，我整理了下表： ? 可以看到整个清理的工作量还是比较大的。...，业务侧只会关注当天的数据，而后续的计算任务会在另外一个时段进行，也就意味着我们的数据清理和数据补录工作可以改造为一种异步模式。...而整个的数据写入根据测试，基本都是4秒内就可以完成数据写入。 执行清理之后的效果如何呢，可以看到清理的数据效果还是很不错的。 ?
nginx -s stop (quit) #停止nginx /usr/local/nginx/sbin/nginx -s reload #重启nginx #5.将nginx设置为服务并开机启动...WantedBy=multi-user.target EOF systemctl daemon-reload systemctl enable nginx systemctl start nginx 定期清理日志...usr/local/nginx/logs/nginx.pid` EOF chmod +x /usr/local/nginx/clean_nginx_logs.sh 加入crontab 定期执行日志清理...events { worker_connections 2048; multi_accept on; use epoll; } stream{ upstream mysql...{ listen 23306; proxy_connect_timeout 1s; proxy_timeout 3s; proxy_pass mysql
最近接了个新需求，需要将我们经常使用的几个数据库，MySQL、influxdb在Linux系统上实现定时自动备份，比如每天备份一次，间隔31天清理31天之前备份的数据，研究了一下，准备先从MySQL实现...MySQL自己已经提供了命令行导出数据库数据以及文件的一种工具mysqldump，其实可以通过命令行直接导出数据库数据实现备份。...-ppassword --databases db1 db2 > test.sql ---- 还原MySQL备份数据 有两种方式还原，第一种是在MySQL命令行中，第二种是使用shell完成还原 在系统命令行中...以下代码功能就是针对mysql进行备份，配合crontab定时任务，实现备份的内容为近10天内的每天的mysql数据库记录。...在Linux中，使用vi或者vim编写脚本内容并命名为：mysql-dump.sh #!
昨天帮一个朋友看了MySQL数据清理的问题，感觉比较有意思，具体的实施这位朋友还在做，已经差不多了，我就发出来大家一起参考借鉴下。...首先这位朋友在昨天下午反馈说他有一个表大小是近600G,现在需要清理数据，只保留近几个月的数据。按照这个量级，我发现这个问题应该不是很好解决，得非常谨慎才对。...rename table，这是MySQL归档数据的一大利器，在其他商业数据库里很难实现。 但是为了保险起见，我说还是得看看表结构再说。结果看到表结构，我发现这个问题和我预想的完全不一样。...mysql> select max(Id) from test_data; +---------+ | max(Id) | +---------+ | 1603474 | +---------+ 1 row...按照这个思路来想，自己还有些成就感，发现这么大的一个问题症结，如果数据没有特别的存储，200万的数据其实也不算大，清理起来还是很容易的。
如何正确的清理MySQL中的数据 1. 为什么删了数据，表文件大小没有变 1.1 数据删除流程 删除记录，只会将记录标记为删除，表示该位置可以服用。 数据数据页，表示数据页可以复用。...使用 delete 删除所数据，所有的数据页会被标记为可复用，但是磁盘空间的占用没有变化。 1.2 数据空洞 删除，插入等操作会使数据页上出现空元素，也叫做数据空洞。 2....如何避免数据空洞 假设数据表A中存在大量数据空洞，解决的办法就是重建表。 2.1 重建表的流程 建立临时文件，扫描表A主键的所有数据页。 利用表A的记录生成B+树，存储到临时文件X。...临时文件X生成后，将日志文件应用到临时文件，得到新的临时文件 用临时文件 替换表A的数据文件。
| | mysql-bin.000003 | 1073862278 | | mysql-bin.000004 | 1073991257 | | mysql-bin.000005 | 1074123960...purge binary logs to 'mysql-bin.000074'; 3、清理2019-09-09 13:00:00前binlog日志 PURGE MASTER LOGS BEFORE...'2019-09-09 13:00:00'; 4、清理3天前binlog日志 PURGE MASTER LOGS BEFORE DATE_SUB(NOW( ), INTERVAL 3 DAY); -...这里的清理是指从此刻-3243600s前的文件，是此文件最后更新的时间。 --时间和文件名一定不可以写错，尤其是时间中的年和文件名中的序号，以防不小心将正在使用的binlog删除！！！...5、重置所有的日志 reset master; 6、手动切换binlog日志 flush logs --或者flush binary logs 当你某天把所有binlog日志全干掉，数据库没有产生新的日志的时候就可以用手动切换这个方式来产生了
查看内存使用状态 free -h free -m echo 3 > /proc/sys/vm/drop_caches 参数说明： 0 //默认是0； 1-...
在之前的文章中已经说明了如何购买并配置一台自己的服务器，那么在安装完anaconda之后，为了之后方便用Django进行网站开发与数据分析，需要对数据库进行配置，那么在数据库上选择了mysql。...在数据库管理软件上选择的是Navicat。...然后执行启动mysql mysql.server start Centos7 对于centos来说，没有直接可以交互的安装包安装，所以使用命令行安装配置，首先ssh连接上自己的服务器，然后分别执行下面三条命令...点击新建连接——mysql，因为是本地数据库，主机就是localhost端口如果没有修改就是默认的3306，直接输入你刚刚设置的mysql密码，就可以成功连接。 ?...「至此，mysql就配置完毕了，之后我们在对数据库进行操作时基本上都会使用navicat。」
64bit) 2:postfix-2.10.1-6.el7.x86_64 有缺少的需求 libmysqlclient.so.18(libmysqlclient_18)(64bit) 解决方法： 把php-mysql...CentOS 7的yum源中貌似没有正常安装mysql时的mysql-sever文件，需要去官网上下载 1、补充yum源（1） wget http://dev.mysql.com/get/mysql-community-release-el7...-5.noarch.rpm 2、补充yum源（2） rpm -ivh mysql-community-release-el7-5.noarch.rpm 3、安装mysql yum install mysql-community-server...4、成功安装之后重启mysql服务 systemctl start mysqld 初次安装mysql是root账户是没有密码的 设置密码的方法 1 mysql -uroot2 mysql> set password... for ‘root’@‘localhost’ = password('mypasswd');3 mysql> exit mysql -u root -p 输入密码之后，错误提示如下：ERROR 1045
yum install libaio yum install libnuma 通过地址根据自己的系统，选择自己需要的版本，我系统是centos7.5，所以选el7。...centos7推荐使用systemctl start mysqld.service。哈哈，失败了~~ ? 如果是全新安装应该是不会有问题的，根据提示看下错误情况。 ? 根据提示去搜一下原因。...搜了一下，是由于原先装过8.0,然后创建了数据导致的，这里直接删掉就可以了。然后启动服务，没有报错。 ?...mysql 服务第一次启动，会自动做以下几件事情. 启动服务。 在数据目录（/var/lib/mysql)生成ssl证书和秘钥文件 安装并启用validate_password插件。...第一个星号表示数据库名。所以一般来说可以先用root创建一个数据库，然后把这个库的所有权限分配给用户root1.分配了之后要刷新一下权限配置。FLUSH PRIVILEGES ? ?
前言：MySQL 数据库服务器使用多种类型的日志来记录操作和事件，这对于故障诊断、审计和性能分析非常重要。然而，这些日志文件会随着时间的推移而不断增长，可能会占用大量的磁盘空间。...因此，定期清理这些日志是必要的，本篇文章我们一起来学习下如何清理 MySQL 中的日志文件。...二进制日志 (Binary Log)binlog 记录了数据库所有的 DDL（数据定义语言）和 DML（数据操作语言）更改操作，一般都是建议开启 binlog 的，要注意的是 binlog 会占用大量磁盘空间...如果你的数据库为了等保评测或者其他原因开启了 general_log ，那就要及时制定清理策略了。...总结：本篇文章简单介绍了 MySQL 中六种常见日志及其清理策略，不同环境可以采用不同的清理策略，本文只是提供一种思路，方法各种各样，重要的是要根据实际情况制定合理的日志保留策略，并确保不会影响到数据库的正常运行和备份需求
一、问题提出 之前写过一篇名为“快速安全删除MySQL大表”的博客，讲解如何在不影响线上数据库服务的前提下删除大表。实际上清理MySQL binlog也会遇到同样的问题。...最初的做法是，每天凌晨2:30执行下面的操作清理10天前binlog： mysql -uroot -p123456 -s /data/3306/mysqldata/mysql.sock -e "purge...随着业务量增长出现了两点变化：一是数据库负载增加；二是由于磁盘空间紧张，原存储binglog的磁盘上也存储了MySQL数据。这种情况下，即便是在业务低峰期，每次执行清理任务时也会卡库。...事实证明这种方案行之有效，能够不影响数据库服务同时清理binlog。下面是相关脚本文件及其说明。...执行purge master logs操作，并生成删除文件的脚本 我们是按时间条件清除的binlog，MySQL并没有向用户返回具体删除了哪些文件，而这些文件才是真正需要truncate
mysq 正确清理binlog日志 前言： MySQL中的binlog日志记录了数据库中数据的变动，便于对数据的基于时间点和基于位置的恢复，但是binlog也会日渐增大，占用很大的磁盘空间，因此，要对...binlog使用正确安全的方法清理掉一部分没用的日志。...【方法一】手动清理binlog 清理前的准备： ① 查看主库和从库正在使用的binlog是哪个文件 ?...1 purge master logs to'mysql-bin.000022'; //删除指定日志文件的日志索引中binlog日志文件 注意： 时间和文件名一定不可以写错，尤其是时间中的年和文件名中的序号...使用该语法，会将对应的文件和mysql-bin.index中的对应路径删除。 【方法二】通过设置binlog过期的时间，使系统自动删除binlog文件 ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
