全链路压测如何排障调优 — 案例篇： 腾讯微服务平台TSF最佳实践

【微服务是什么】

微服务是一种架构模式，提倡将一个大型复杂的单体架构拆分成一个个微服务。服务内部是高内聚，服务之间是低耦合。

随着云原生的发展，kubernetes已经成为云上的操作系统，也为应用微服务化提供很好的底座。

【微服务框架】

做过开发的同学都知道，常用的后台模块有服务治理，网关，负载均衡，熔断等。而微服务框架就是把这些模块集成在一起，打包成一个全家桶。

常用的微服务框架有Spring Cloud，Service Mesh等，下面以Spring Cloud为例，来说明一个常用的流程：

1. 请求统一通过API网关（Zuul）来访问内部服务
2. 网关接收到请求后，从注册中心（Eureka）获取可用服务
3. 由Ribbon进行负载均衡后，分发到后端具体实例
4. 微服务之间通过Feign进行通信处理业务
5. Hystrix负载处理服务超时熔断
6. Turbine监控服务间的调用和熔断

而腾讯微服务平台（Tencent Service Framework，TSF）是以腾讯云容器服务（Tencent Kubernetes Engine ,TKE）为底座，全面支持Spring Cloud，Service Mesh等主流框架，可以通过yaml文件方便接入，还能提供一个非常优秀的拓扑图，可以直观的看到流量的洪峰。

【微服务特点】

【压测问题汇总】

下面是实际项目进行上量压测的过程中遇到的问题，有非常强的实战经验。

【优秀案例实践】

下面以一个具体的案例，来讲讲腾讯微服务平台TSF是如何排查问题的。

【问题表现】

KA项目在生产环境进行全链路压测的过程中，发现某个接口的错误率很高。

时间段：20:34-20:39

错误率：7.17%，错误代码504（腾讯标准：错误率<=1%）

【排障思路】

整体排查思路请参考全链路压测如何排障调优 — 先导篇，主要从如下两个方面展开。

【查看机器负载】

1.首先要全链路查看机器负载，这里有必要推荐云监控，可以配置dashboard，以更好的视图查看机器负载。经排查，微服务所在所在的某个节点（10.0.112.25）CPU使用率高达100%，从凌晨01:22:00开始内存有断层，也没有收到相关告警。

2.想登陆到机器10.0.112.25上去看相关进程信息，看看是哪个进程占用CPU最高。无法登陆，登陆界面报filebeat相关的OOM。

3.既然无法登陆，只能通过kubernetes describe的命令查看Pod的状态。发现好多pod处于驱逐状态（Evicted），其原因是DiskPressure，表示可用磁盘空间很少。

4.根据上面的错误信息，我们发现系统盘太小，压测带来的压力一上来，日志量太多，就把节点打爆了。这个一方面需要有策略控制日志的量，比如只保留最近3天的日志；另一方面也是对系统盘进行扩容，挂载新的数据盘。

除了从机器负载去定位问题外，我们也从日志入手排查问题，也有一些收获。

【查看错误日志】

1.首先从TSF里面查看日志。微服务网关连接后面的服务（172.30.11.29：8891）超时，但看不到更多的信息。

2.为了能查看更多的日志信息，需要打开tomcat日志开关。重新编包部署后，有些容器一直重启失败。

3.排查集群的状态，发现有些Pod一直处于Terminating状态，报错DeadlineExceeded

Events:

Type Reason Age From Message

---- ------ ---- ---- -------

Warning FailedSync 3m (x451 over 2h) kubelet, 10.0.112.38 error determining status: rpc error: code = DeadlineExceeded desc = context deadline exceeded

4.集群报错DeadlineExceeded，一开始怀疑是docker 17版本的问题，因为之前TKE遇到类似的问题（更多TKE的问题请参考：K8S问题排查）。但查看当前运行版本，已经是docker 18版本。

5.没有办法，找了一台可以登录的节点机器，发现docker在内核被hang住。

6.最后找来TKE的研发参与排查，他们建议优化容器的OS。TKE Optimized CenOS7.6是基于tlinux定制的内核，有内部团队维护保障，也是TKE主推的OS。

除了升级OS，我们也把TSF agent的CPU和内存调大，保证了了日志正常上报，最终解决了问题。

一开始的默认配置比较小。

【后记】

docker在内核被hang住的问题，其实是应该深入分析。但因为没有当时的kdump文件，后面没有继续。

最后，底层原理是必备技能，调参是门艺术。上面说的内容可能都是错的，看看排查思路就好。

更多的案例，请订阅【云原生压测团队】后，慢慢欣赏。