前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >记一次zookeeper连接数暴增事件 原

记一次zookeeper连接数暴增事件 原

作者头像
尚浩宇
发布2018-08-17 11:19:33
1.5K0
发布2018-08-17 11:19:33
举报
文章被收录于专栏:杂烩杂烩杂烩

    先说基础环境:

        1、服务器是centos7.x,程序运行在docker中,docker组成一个小内网,可内到外但外禁止到内

        2、jdk是1.8

        3、用到zk的服务有kafka、canal、dubbo程序(dubbo程序分两个一个提供者一个消费者)

    然后现象:

        1、kafka突然连不上或者连接很慢

        2、zk集群执行命令特别卡

        初步怀疑是zk的问,看了一下zk的连接,每个节点都在2000以上,并且zk的日志出现大量连接建立并立马断开的日志。

        继续查看zk的连接,发现大部分来自同一台机器,这台机器上只跑着dubbo的程序。

        dubbo的程序分两个,通过启停程序,让其独立运行,发现停止dubbo消费者,zk的连接可以迅速降低到60左右,至此,确定是dubbo消费者有问题。

         登陆消费者容器,查看配置。偶然发现时间不对,重新打包镜像修改时间,再启动依然发现未解决问题。    

         继续查看程序配置,发现kafka连接这部分,使用了新版api但配置确实老版的配置(新版配置kafka节点地址,老版配置zk地址),尝试修改成kafka地址,再启动,问题解决。

    附docker修改时间

# using alpine-glibc instead of alpine  is mainly because JDK relies on glibc
FROM docker.io/jeanblanchard/alpine-glibc
# author
MAINTAINER 
scc <javascc@126.com>
# A streamlined jre
ADD jre8.tar.gz /usr/java/jdk/
# set env
ENV JAVA_HOME /usr/java/jdk
ENV PATH ${PATH}:${JAVA_HOME}/bin
RUN apk add --no-cache tzdata && mv /etc/localtime /etc/localtime.bak && cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# run container with base path:/opt
WORKDIR /opt
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
容器镜像服务
容器镜像服务(Tencent Container Registry,TCR)为您提供安全独享、高性能的容器镜像托管分发服务。您可同时在全球多个地域创建独享实例,以实现容器镜像的就近拉取,降低拉取时间,节约带宽成本。TCR 提供细颗粒度的权限管理及访问控制,保障您的数据安全。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档