记一次zookeeper连接数暴增事件 原

    先说基础环境:

        1、服务器是centos7.x,程序运行在docker中,docker组成一个小内网,可内到外但外禁止到内

        2、jdk是1.8

        3、用到zk的服务有kafka、canal、dubbo程序(dubbo程序分两个一个提供者一个消费者)

    然后现象:

        1、kafka突然连不上或者连接很慢

        2、zk集群执行命令特别卡

        初步怀疑是zk的问,看了一下zk的连接,每个节点都在2000以上,并且zk的日志出现大量连接建立并立马断开的日志。

        继续查看zk的连接,发现大部分来自同一台机器,这台机器上只跑着dubbo的程序。

        dubbo的程序分两个,通过启停程序,让其独立运行,发现停止dubbo消费者,zk的连接可以迅速降低到60左右,至此,确定是dubbo消费者有问题。

         登陆消费者容器,查看配置。偶然发现时间不对,重新打包镜像修改时间,再启动依然发现未解决问题。    

         继续查看程序配置,发现kafka连接这部分,使用了新版api但配置确实老版的配置(新版配置kafka节点地址,老版配置zk地址),尝试修改成kafka地址,再启动,问题解决。

    附docker修改时间

# using alpine-glibc instead of alpine  is mainly because JDK relies on glibc
FROM docker.io/jeanblanchard/alpine-glibc
# author
MAINTAINER 
scc <javascc@126.com>
# A streamlined jre
ADD jre8.tar.gz /usr/java/jdk/
# set env
ENV JAVA_HOME /usr/java/jdk
ENV PATH ${PATH}:${JAVA_HOME}/bin
RUN apk add --no-cache tzdata && mv /etc/localtime /etc/localtime.bak && cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# run container with base path:/opt
WORKDIR /opt

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Rainbond开源「容器云平台」

云帮解析系列(二):技术架构

1664
来自专栏老安的博客

openstack in openstack(在openstack公有云上面搭建openstack 服务)

1682
来自专栏编程坑太多

『中级篇』docker企业版本地安装之UCP(57)

PS:详细不介绍,就是一个图形化的,没啥介绍的。下次在阿里平台是建立下用云端玩玩。

2474
来自专栏安恒信息

Linux内核修正5年历史的严重BUG

Linux内核维护者修复了一个有5年历史的严重BUG,此BUG是一个本地权限提升漏洞(CNNVD-201405-092),管理员和用户都需要尽可...

3269
来自专栏编程坑太多

『中级篇』docker企业版本地安装之UCP(57)

PS:详细不介绍,就是一个图形化的,没啥介绍的。下次在阿里平台是建立下用云端玩玩。

932
来自专栏机器学习和数学

[无聊的软件安装]VMware Workstation和Xshell安装与使用

后台回复 VMware 可以获得word版 虽然说这个挺简单的,但是刚开始接触,还是会走弯路,遇到问题还是不知道怎么解决,所以我就把整个流程整理了一下,供大家参...

3826
来自专栏架构师之路

跨公网调用的大坑与架构优化方案

第三方接口挂掉,我们的服务会受影响么? 一、缘起与大坑 很多时候,业务需要跨公网调用一个第三方服务提供的接口,为了避免每个调用方都依赖于第三方服务,往往会抽象一...

4496
来自专栏张善友的专栏

如何使用HTTP压缩优化服务器

鉴于互联网上的宽带有限,网络管理人员任何旨在加速接入速度的努力都是有价值的。其中的一个方法就是通过HTTP压缩技术实现接入速度的加速,它通过减少在服务器和客户端...

2137
来自专栏zhangdd.com

在Windows 10任务栏中隐藏或禁用Windows Defender Security Center图标

Windows Defender安全中心作为所有安全功能的仪表板,包括第三方安全性,可以更清楚地查看PC可能面临的任何风险。 它是特别设计的,以简化和统一Win...

1282
来自专栏Debian社区

Debian GNU/Linux 9.3 Stretch 和8.10 Jessie正式发布

Debian项目今天宣布推出了Debian GNU/Linux 9.3 “Stretch”和Debian GNU/Linux 8.10 “Jessie”版本系列...

1154

扫码关注云+社区

领取腾讯云代金券