Lepus的慢查询分析平台是独立于监控系统的模块，该功能需要使用percona-toolkit工具来采集和记录慢查询日志，并且需要部署一个我们提供的shell脚本来进行数据采集。该脚本会自动开启您数据库的慢查询日志，并对慢查询日志进行按小时的切割，并收集慢查询日志的数据到监控机数据库。随后您通过Lepus系统就可以分析慢查询了。
一、网络问题 1、临时性 检查：ping, mtr,dig,dig+trace 等命令，检查网络状况，DNS等 解决：联系机房或视具体情况而定 eg:http://ping.chinaz.com/ 查看各地响应时间 2、网络不同或距离太远 检查：客户端和机房所在网络情况 解决：双线机房或分布式部署，动态DNS，需要考虑成本 3、资源加载慢 检查：chrome控制台 解决：CDN，合并请求，压缩页面代码，多域名请求（http协议中有对浏览器并发请求连接数的限制，IE是10，火狐 chrome是6）等 二、前端
二、lnmp+tomcat环境搭建 2 搭建lnmp、tomcat+jdk环境 3 三个站点分别为：discuz论坛、dedecms企业网站以及zrlog博客 4 由于机器有限，尽可能地把三个站点放到同一台服务器上，然后做负载均衡集群，要求所有站点域名解析到一个ip上，也就是说只有一个出口ip 5 需要共享静态文件，比如discuz需要共享的目录是 data/attachment，dedecms需要共享upload（具体目录，你可以先上传一个图片，查看图片所在目录） 6 设计合理的目录、文件权限，比如discuz的data目录需要给php-fpm进程用户可写权限，其他目录不用写的就不要给写权限（目录755，文件644，属主属组root） 9 php-fpm服务要求设置慢执行日志，超时时间为2s，并做日志切割，日志保留一月 10 所有站点都需要配置访问日志，并做日志切割，要求静态文件日志不做记录，日志保留一月 18 给三个站点的后台做二次认证，增加安全性
文件名称格式：1.1.1.1_slow_2019-06-09_01_06_33.txt
14 搭建zabbix监控告警系统，要求监控各个基础指标（cpu、内存、硬盘），网卡流量需要成图，还需要监控web站点的可用性，
1 设计你认为合理的架构，用visio把架构图画出来 2所有服务器要求只能普通用户登录，而且只能密钥登录，root只能普通用户sudo 8 给所有服务器做一个简单的命令审计功能
客户业务反馈经常出现运行效率低的情况希望我们从数据库进行排查，之前已经定位到是磁盘问题，但是当时没有继续深入排查。详细背景：技术分享 | 客户说 insert 慢，我该怎么办
有赞作为"新零售"的软件服务供应商，随着业务的不断发展，从第一批几十家商户到现在300万商家，涉及零售，美业，餐饮，自媒体等众多商家，业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和DB实例的数据量出现成倍增加。各种业务需求:快速交付实例，慢查询优化以及备份恢复管理等都给DBA的日常运维支持带来更高的要求。另一方面最开始以excel作为CMDB管理数据库实例的纯人肉运维又给高效的数据库运维带来阻碍。
在开始排错之前我们需要知道 Update 在 MySQL 中的生命周期是什么，MySQL 如何执行一个事务的。
导读：Elasticsearch是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch基于Lucene开发，现在是使用最广的开源搜索引擎之一。Elasticsearch可以应用于在/离线日志流水、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据、Wiki文档检索等应用场景。58同城有自己的主搜，而一些内部创新搜索业务和大规模的数据实时OLAP ( On-Line Analytical Processing，联机分析处理 ) 则是使用Elasticsearch。
在Linux中如果应用程序会产生日志，那么就需要考虑日志切割，例如按照固定的大小切割、按照日期进行切割等等。同样，在编译Nginx1.9.0、MySQL5.7.7rc和PHP7后，这三个应用服务都会产生日志，尤其是Nginx进程根据配置文件ngnix.conf记录每条访问记录到access.log中。如果所有的日志都打印到同一个文件中的话，那么时间长了的话就会影响效率。
在实际生产中，我们知道哪些应用的日志会自动分割吗？哪些应用日志需要我们通过服务进行定时分割？接下来我们来看看。
糖豆贴心提醒，本文阅读时间5分钟 血的教训，事发经过就不详述了。直接上操作步骤及恢复思路（友情提示：数据库的任何操作都要提前做好备份），以下是Mysql数据后的恢复过程： 1. 找到binlog 恢复数据的前提是必须开启Mysql的binlog日志，如果binlog日志没开启，请忽略此篇文档。binlog日志是否开启可以查看Mysql配置文件。日志位置一般在/var/lib/mysql目录或者编译安装的date目录下。也可登录Mysql用命令查看。 # cat /etc/my.cnflog_bin
几年之前，曾不自量力的想要写一个兼容RDBMS和NoSQL的数据库，结果仅实现了一个Raft协议，写了一棵BTree，就放弃了。使用Golang写这个算是比较简单的了，但过程难以言诉，有点蚂蚁撼大树了。
icenycmh关注0人评论 1256人阅读 2017-09-11 11:06:15
Centos7.x > Debian10 > Ubuntu 20.04 > Cenots8.x > Ubuntu 18.04 > 其它系统
参考文章： http://ourmysql.com/archives/1359?utm_source=tuicool&utm_medium=referral 官方：https://github.com
备注： 这一我在去年国庆节期间，整理的整个19年，学员的面试遇到的问题，整理出来之后发给后期的学员，让他们做参考和学习，看看公司会面试哪些问题。
Nginx日志切割目录概要 自定义shell 脚本 vim /usr/local/sbin/nginx_log_rotate.sh//写入如下内容 #! /bin/bash ## 假设nginx的日志存放路径为/data/logs/ d=`date -d "-1 day" +%Y%m%d` logdir="/data/logs" nginx_pid="/usr/local/nginx/logs/nginx.pid" cd $logdir for log in `ls *.log` do mv $l
MySQL 慢日志（slow log）是 MySQL DBA 及其他开发、运维人员需经常关注的一类信息。使用慢日志可找出执行时间较长或未走索引等 SQL 语句，为进行系统调优提供依据。 本文将结合一个线上案例，分析如何正确设置 MySQL 慢日志参数和使用慢日志功能，并介绍下网易云 RDS 对 MySQL 慢日志功能的增强。
MySQL的慢查询日志是MySQL提供的一种日志记录，他用来记录在MySQL中响应的时间超过阈值的语句，具体指运行时间超过long_query_time（默认是10秒）值的SQL，会被记录到慢查询日志中。
在MySQL数据库中，想了解数据库运行情况的重要指标之一是慢SQL。而并非如某些人所说的所有运行慢的SQL都会被记录在慢SQL日志（或日志表）里，抑或是没有慢SQL就代表没有运行慢的SQL。本文将总结一些比较常见的运行比较慢但不会被记录在慢SQL日志里的情况。另外，慢SQL的计算方式在MySQL8.0新版本中有变化，因此，将通过对比MySQL5.7（MySQL5.7.38）与MySQL8.0（MySQL8.0.33）进行总结。
监控系统监控到我们的程序变慢了，怀疑是sql的原因，要怎么去分析排查呢？一般按照如下几个步骤进行：
MySQL 的慢查询日志是 MySQL 提供的一种日志记录，它用来记录在 MySQL 中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的 SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10s以上的语句。
在MySQL的日常维护中，我们总会遇到这样或那样的问题，对于那些经常发生且有处理经验的事故，不论是新手还是老司机都能在故障规定的容错时间内解决。而对于那些不常见、比较棘手的问题，新手上路可能就显得举足无措了，这个时候新手和老司机的差距就体现出来了。从知识储备还是工作经验，可能老司机比新手强一点，但如果一个新司机没有日志排错的意识，不具备日志排错的经验，那怎么能学会弯道超车、漂移的快感。我们知道数据库中有很多重要的日志，如错误日志error log、慢日志slow log、二进制日志binary log、查询日志general log等等其他日志，错误日志error log是我们分析问题参考的依据，它记录数据库的启动/运行/停止的过程，包含了info、warning、error三个级别，分析error log也有助于我们了解数据库的运行机制。
一、 Nginx访问日志 1.1 打开配置文件： vim /usr/local/nginx/conf/vhost/../nginx.conf 找到如下，是定义日志格式： log_format combined_realip '$remote_addr $http_x_forwarded_for [$time_local]' ' $host "$request_uri" $status' ' "$http_referer" "$http_user_agent"'; combined_real
今天在测试一个线上功能的时候，发现了slowlog的一个特点，之前从来没遇到。这里分享一下。
在MySQL中，对于性能问题诊断，最开始的时候总是感觉有些束手无策，如果一个人问你，MySQL数据库响应慢了，该怎么办，如果数据库服务器CPU 100%了该怎么吧，或者数据库连接不上了，业务提示无法连接该怎么办，看起来好像没有太大的关系的问题，其实我们能够分析的一个入口就是日志。
目前是多点Dmall数据库架构师，更早是聚美数据库团队负责人，擅长高并发下数据库架构，运维保障，数据库平台建设。
对于Linux系统安全来说，日志文件是极其重要的工具。不知为何，我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！logrotate程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。下面就对logrotate日志轮转操作做一梳理记录： 1）配置文件介绍 Linux系统默认安
在项目里面，多多少少都隐藏着一些执行比较慢的SQL, 不同的开发测试人员在平时使用的过程中多多少少都能够遇到，但是无法立马有时间去排查解决。那么如果有一个文件能够将这些使用过程中比较慢的SQL记录下来，定期去分析排查，那该多美好啊。这种情况MySQL也替我们想到了，它提供了SQL慢查询的日志，本文就分享下如何使用吧。
今天带着同事一起分析了一个常见的MySQL慢日志报警，从分析的过程希望带给大家一些启示和反思。
大家好，我是田维常，可以叫我老田，也可以叫我田哥。2017年的时候，我刚去上海，朋友内推我去美团面试，之前我也写过一个一篇文章，也是在美团面试中遇到的：
作为一名DBA，分析MySQL数据库的慢日志是一项经常会遇到的任务，今天我们来看下mysql官方自带的慢日志分析工具mysqldumpslow。
内存：512M以上，推荐768M以上（纯面板约占系统60M内存） 硬盘：300M以上可用硬盘空间（纯面板约占20M磁盘空间） 系统：CentOS 7.1+ (Ubuntu16.04+.、Debian9.0+)，确保是干净的操作系统，没有安装过其它环境带的Apache/Nginx/php/MySQL/pgsql/gitlab/java（已有环境不可安装） 架构：x86_64（主流服务器均是此架构），ARM不完整兼容（面板环境安装慢，部分软件可能安装不上）
ELK最早是Elasticsearch（以下简称ES）、Logstash、Kibana三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为Elastic Stack，成为现在最流行的开源日志解决方案，虽然有了新名字但大家依然喜欢叫她ELK，现在所说的ELK就指的是基于这些开源软件构建的日志系统。
本文介绍了MySQL慢日志的作用、设置方法、查看方法以及相关的分析工具。慢日志是MySQL性能调优和诊断的重要工具，用于记录在MySQL中响应时间超过阈值的SQL语句。通过设置slow_query_log和long_query_time参数可以开启慢日志。使用mysqldumpslow、pt-query-digest等工具可以对慢日志进行分析。
本文实例讲述了PHP-FPM 设置多pool及配置文件重写操作。分享给大家供大家参考，具体如下：
4、去数据库数据目录 我的是(D:\MYSQL\data) 你会发现多了一个log.txt文件
MYSQL 应该是最流行了 WEB 后端数据库。虽然 NOSQL 最近越來越多的被提到，但是相信大部分架构师还是会选择 MYSQL 来做数据存储。本文作者总结梳理MySQL性能调优的15个重要变量，又不足需要补充的还望大佬指出。
学完数据库基础知识，要想更深入地了解数据库，就需要学习数据库进阶知识，今天我们就先来聊一聊慢SQL查询那些事儿。
1.DEFAULT_STORAGE_ENGINE 如果你已经在用MySQL 5.6或者5.7，并且你的数据表都是InnoDB，那么表示你已经设置好了。如果没有，确保把你的表转换为InnoDB并且设置default_storage_engine为InnoDB。 为什么？简而言之，因为InnoDB是MySQL(包括Percona Server和MariaDB)最好的存储引擎 – 它支持事务，高并发，有着非常好的性能表现(当配置正确时)。 2.INNODB_BUFFER_POOL_SIZE 这个是InnoDB最
慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中.
通常对于MySQL运行慢、异常运行等等现象，需要通过收集当时的诊断报告以便后期重点分析并且给出对应解决方案。对于MySQL来讲，目前收集诊断报告的方法大致有以下几类：
爱可生交付服务部团队 DBA 擅长日志分析、问题排查等；主要负责处理 MySQL 与我司自研数据库自动化管理平台 DMP 的日常运维问题，对数据库及周边技术有浓厚的学习兴趣。
慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中. 慢查询主要是为了我们做sql语句的优化功能.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
