服务器架构 服务器系统为Centos7 首先需要知晓系统的对外的架构 一般架构： 1.域名--->云服务器（ECS） 2.域名--->CDN--->云服务器（OSS） 3.域名--->CDN---...>云服务器ECS+数据库RDS+缓存Redis 4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis 5.域名--->CDN-->WAF防火墙--->负载均衡...--->云服务器ECS+数据库RDS(主从)+缓存Redis 再根据实际情况出现的问题，一步步排查。...客服、市场同事等钉钉、电话报告出现的问题 二、快速定位问题 网络带宽（CDN是否异常） 域名是否解析到源站 登录XXX云CDN后台查看相应流量 负载均衡 检查负载均衡是否正常运行，是否流量异常 应用层服务器...ECS服务器负载是否正常、cpu、内存负载是否过高，硬盘使用率是否达到100%等 缓存服务器 redis服务器负载是否正常、内存使用率如何 数据库服务器 数据库连接数是否正常 列出当前用户的所有连接信息
⼀般包括以下⼏项，也可以将此理解为排查顺序：业务⽇志分析排查APM分析排查物理环境排查应⽤服务排查云⼚商或运营商问题排查1.1 业务⽇志分析排查这个没啥说的，看日志不会吗？...⼯程所依附的物理环境，⽐如服务器、宿主机、容器等，细分为服务器负载、CPU、内存、磁盘、⽹络⼏个⽅⾯。...CPU分析排查CPU的⽬的主要是查看服务器CPU的使⽤率， 使⽤top命令分析CPU使⽤情况内存分析使⽤free -m命令查看内存使⽤情况磁盘分析使⽤df -h、iostat、lsof等命令查看磁盘IO...情况，找到读写异常的进程⽹络分析使⽤dstat、vmstat等命令查看⽹络流量、TCP连接等情况，分析异常流量1.4 应⽤服务排查应⽤排查，排查应⽤本身最有可能引发的问题，针对各种场景进⾏对应分析CPU...分析使⽤jstack等命令进⾏JVM分析内存分析使⽤jmap等命令分析内存使⽤情况1.5 云⼚商或运营商问题排查排查到了这⼀步的话，只需关注云⼚商或运营商官⽅公告即可。
前提 当我们收到反馈说数据库响应慢或者压测过程中数据库有报错，第一步先收集数据库服务器资源使用情况，这一步是处理所有故障的前提。...备节点故障： 通过网络及数据库日志信息，判断节点故障原因，并尽快恢复主备节点之间的复制关系，当故障无法快速解决时，建议修改数据库参数来改变主库Xlog保留大小。...BY KEY HAVING COUNT(*)>1 ORDER BY SUM(pg_relation_size(idx)) DESC; 4、根据执行计划判断SQL是否需要改写 三.内存不足 ①.查看服务器物理内存整体使用情况
擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。...---前言最近解决了一个比较基础的问题故障，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。故障现场防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。...ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111)根据以往经验大脑中浮现了几个常见的排查此类故障手法1.排查进程存在...mysql/data/3308/mysqld.pid --user=mysql --socket=/mysqldata/mysql/data/3308/mysqld.sock --port=33082.排查端口绑定情况...解决方案因为配置 skip-grants-tables 引起无法远程连接 mysql 服务端的故障，解决方法也是非常的简单注释重启。
---- 前言 最近解决了一个比较基础的问题故障，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。 故障现场 防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。...ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111) 根据以往经验大脑中浮现了几个常见的排查此类故障手法 1....排查进程存在 [root@wx ~]# ps -ef|grep [m]ysql mysql 25973 1 1 8月30 ? ...排查端口绑定情况，居然没有绑定端口 [root@wx ~]# lsof -i:3308 [root@wx ~]# ss -nltp|grep 3308 3....本文关键字：#故障排查# ---- 文章推荐： 技术分享 | 国产麒麟 arm 上编译安装 xtrabackup8 技术分享 | MySQL 会受到“Unix千年虫“的影响吗 技术分享 | MHA-MasterFailover
技术背景 LNMP环境下，反向代理服务器nginx错误日志大量报错，显示504 ?...如果多个服务以虚拟主机的形式在同一台服务器上，那么这多个服务都会收到影响，最直观的前台体验就是访问速度慢，或者直接打不开。 定时任务，跑批，数据库批量数据更新相关业务容易出现nginx错误。
在 Linux 服务器中，可以通过内核调优、DPDK 以及 XDP 等多种方式提高服务器的抗攻击能力，降低 DDoS 对正常服务的影响。...但是需要注意的是，如果 DDoS 流量已经到达 Linux 服务器，那么即使应用层做了各种优化，网络服务延迟一般也会比平时大很多。...因此，在实际应用中，我们通常使用 Linux 服务器，配合专业的流量清洗和网络防火墙设备，来缓解这个问题。...Statistics -> Flow Graph，选择 “Limit to display filter”，将 Flow type 设置为 “TCP Flows”： 请注意，此图的左侧是客户端，而右侧是 Nginx 服务器...从这个图中可以看出，前三次握手和第一次 HTTP 请求和响应都相当快，但是第二次 HTTP 请求就比较慢了，尤其是客户端收到服务器的第一个数据包后，该 ACK 响应（图中的蓝线）在 40ms 后才被发送
在日常使用中，经常会出现无法连通的情况，这个时候我们就需要找到问题出在哪里，这里面给各位提供一个生产环境排查网络故障的大体思路，一般情况下如果遇到网络故障，都是通过筛选的方式一点一点的确定问题所在，首先判断是本机的问题还是网络上其它设备的问题...要去其它网络设备（路由器）上查看一下是否对网络有问题的主机设置了限制，如果没有的话，问题出在本机，这里面我们主要看下下本机容易出现哪些问题导致页面无法访问 一、网线和网卡设置 检查网卡的灯是否亮起，普通服务器的话应该是绿灯常亮为正常...124.65.56.141) 16.020ms Too many hops: pmtu 1000 Resume: pmtu 1000 八、硬件故障
面试经常会被问到java应用出现了问题,如何排查,主要使用下面几个命令基本都能解决 执行top命令，查看所有进程占用cpu的排序 执行top -Hp pid,查看java进程下的所有线程占用cpu的情况
原文:https://blog.devgenius.io/linux-troubleshoot-network-latency-a6da740f5cb8 在 Linux 服务器中，可以通过内核调优、DPDK...以及 XDP 等多种方式提高服务器的抗攻击能力，降低 DDoS 对正常服务的影响。...但是需要注意的是，如果 DDoS 流量已经到达 Linux 服务器，那么即使应用层做了各种优化，网络服务延迟一般也会比平时大很多。...因此，在实际应用中，我们通常使用 Linux 服务器，配合专业的流量清洗和网络防火墙设备，来缓解这个问题。...从这个图中可以看出，前三次握手和第一次 HTTP 请求和响应都相当快，但是第二次 HTTP 请求就比较慢了，尤其是客户端收到服务器的第一个数据包后，该 ACK 响应（图中的蓝线）在 40ms 后才被发送
发生错包的原因有很多，但是一般都是由于网线或者网卡等硬件故障造成。如果你的服务器在换了机房或者网络发生了变更之后，延迟明显增加。这个时候你就要怀疑是不是网卡丢包或者是错包引起的了。...滑动窗口很小 为了提升服务器的吞吐能力，我们一般都会优化系统的 TCP 缓冲区大小，比如： net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem
Hello folks，我是 Luga，今天我们来分享一款用于 Kubernetes Cluster 故障排查的开源工具 - Robusta （罗布斯塔）。...作为一个用于多集群 Kubernetes 监控、故障排除和自动化的开源平台，就像 Docker 用于部署应用程序的基础设施即代码一样，Robusta 用于维护 Kubernetes Cluster 应用程序和处理其警报的基础设施即代码...— 01 — Robusta 概述 作为一款用于 Kubernetes Cluster 故障排查的开源平台，其本质是为了弄清楚我们当前所构建的 Kubernetes Cluster 的健康状况，并针对所出现的告警行为进行合理解释以及给予我们相关修复建议...Cli 通常具备两个主要用途，具体如下所示： （1）基于自动生成的 Helm 值使的 Robusta 安装变得更容易，便捷，有利于维护，节省资源成本； （2）可以手动触发 Robusta 故障排除工作流程
网络故障基本排查步骤：
如果你不知道从何下手，那么在 Kubernetes 中排查故障可能会是一项艰难的任务。文本以超详细的图解说明了如何对 Kubernetes Deployment 进行故障排查，相信会对你有启发。...K8sMeetup 3个步骤排查 kubernetes Deployment 故障 在深入探究有故障的 Deploymen 时，必须明确 Kubernetes 是如何工作的。...应该从最底层开始为 Deployment 做故障排查。首先，检查 Pod 是否已就绪并在运行中 ? 如果 Pod 已就绪，应该检查 Service 是否能将流量路由到 Pod ?...排查 Ingress 故障 如果已经到了这个阶段，那么意味着： Pod 在运行中且是就绪状态； Service 可以分发流量分配到 Pod。 但是你仍然看不到应用程序的响应。...K8sMeetup 总结 如果你不知从何下手，那么在 Kubernetes 中进行故障排查可能会是一项艰巨的任务。
线上发现L版本一个OSD down，不确定是否磁盘故障，之前的filestore排查起来比较熟，换成Bluestore以后，有些细节上的操作不一样，因为用到的是SSD，所以有了这篇排查文档。...排查过程 定位故障节点 [root@demo-host ceph]# ceph osd tree|grep down 20 1.00000 osd.20...9cb7-5263-bec0-3fa34dc0373f ceph-dfe4f8f2-880f-414d-af58-5b3c77ed2628 -wi-ao---- <5.46t 最后保守起见还是手工点亮故障灯
于是开始使用arthas排查 curl -O https://arthas.aliyun.com/arthas-boot.jar java -jar arthas-boot.jar 然后选择对应的web
线上故障主要会包括 CPU、磁盘、内存（含JVM）以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。...CPU 首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 gc 以及上下文切换过多。...4）gc 问题和线程 gc 问题除了影响 CPU 也会影响内存，排查思路也是一致的。...如果参数正常，但是 young gc 频率还是太高，就需要使用 Jmap 和 MAT 对 dump 文件进行进一步排查了。...3）触发 fullGC G1 中更多的还是 mixedGC，但 mixedGC 可以和 youngGC 思路一样去排查。
今日看了一篇文章, 感觉写的不错, 主要是讲的服务间调用超时的故障排查经历. 因为这中间涉及很多系统命令的一些使用, 延伸出一些知识点, 以下为简单的记录: 1.
原文地址：jianshu.com/p/bca5a49db4b7 前言 CPU 飚高 内存问题排查 总结 前言 对于后端程序员，特别是 Java 程序员来讲，排查线上问题是不可避免的。...今天的文章，就如我们的题目一样，讲的是基本操作，也就是一些排查线上问题的基本方法。为什么这么说呢？...思路：首先找到 CPU 飚高的那个 Java 进程，因为你的服务器会有多个 JVM 进程。然后找到那个进程中的 “问题线程”，最后根据线程堆栈信息找到问题代码。最后对代码进行排查。 如何操作呢？...内存问题排查 说完了 CPU 的问题排查，再说说内存的排查，通常，内存的问题就是 GC 的问题，因为 Java 的内存由 GC 管理。...总结 基于文章的标题，我们这个是基本操作，故障排查是说不完的话题，每个故障涉及的知识也都很多，因此，我们在学习了基本的排查之后，还需要学习更多事故排查技术，比如排查 IO，网络，TCP 连接等等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
