专栏首页千里行走容器化生产环境集成apollo配置中心与skywalking全链路追踪

容器化生产环境集成apollo配置中心与skywalking全链路追踪

目录

(1).前置阅读

(2).前置说明

(3).基础镜像

1.oraclejdk-docker-image

2.oraclejdk-skywalking-docker-image

3.apollo-skywalking-pro镜像

(4).apollo&skywalking生产级容器化

(5).关键配置

(6).特别注意

1.sk-agent和sky-oap一定要配置正确的时区

2.sk-oap的elasticsearch版本选择

3.制作apollo-skywalking-docker-image镜像注意sk-plugin选择

4.apollo-portal开启多副本要注意配置session亲和性

5.使用oraclejdk

6.修改支持的环境

(7).相关文章

(1).前置阅读

1.阿里云&kubernetes&微服务生产实践-6:skywalking-6.4.0生产级别容器化

2.阿里云&kubernetes&微服务生产实践-1:apollo架构-1

(2).前置说明

本例相对于官方做了如下几处改动:

1.修改基础镜像为oracle-jdk,并增加redis-cli, telnet等常用工具包。

2.基础镜像增加skywalking-agent的支持,通过configmap中的配置参数来决定在启动apollo服务的时候是否开启链路追踪。

(3).基础镜像

1.oraclejdk-docker-image

第一层基础镜像。

使用oraclejdk8制作的镜像,包含telnet, redis-cli, mysql-client等工具包。

地址: https://github.com/hepyu/oraclejdk-docker-image

2.oraclejdk-skywalking-docker-image

第二层镜像,基于oraclejdk-docker-image镜像。

加入了skywalking-agent支持。

地址: https://github.com/hepyu/oraclejdk-skywalking-docker-image

3.apollo-skywalking-pro镜像

基于镜像oraclejdk-skywalking-docker-image制作。

(4).apollo&skywalking生产级容器化

笔者提供生产级的配置文件,位于:

https://github.com/hepyu/k8s-app-config/tree/master/product/standard/apollo-skywalking-pro

注意本例配置中pv默认是本地存储,生产环境需要改为云存储。

顺次执行:

kubectl apply -f apollo-namespace.yaml

cd apollo-configservice

kubectl apply -f .

cd apollo-adminservice

kubectl apply -f .

cd apollo-portal

kubectl apply -f .

最终的生产效果:

原图文件位于:

https://github.com/hepyu/k8s-app-config/blob/master/product/standard/apollo-skywalking-pro/images/apollo-skywalking.png

(5).关键配置

skywalking的关键配置位于config/admin/portal下的config.yaml文件,通过环境变量SKYWALKING_AGENT来配置是否开启skywalking-agent探针;当然也可以在这里调整JVM启动参数。

当配置如下时表示关闭skywalking-agent探针:SKYWALKING_AGENT: ''

  SERVICE_NAME: apollo-configservice  APOLLO_CONFIG_SERVICE_NAME: apollo-configservice  LOG_DIR: /opt/logs/apollo-config-server  SERVER_PORT: '8080'  SERVER_URL: http://$APOLLO_CONFIG_SERVICE_NAME:$SERVER_PORT  TIME_ZONE: Asia/Shanghai  SKYWALKING_AGENT: '-javaagent:/app/3rd/skywalking-agent/skywalking-agent.jar=agent.service_name=apollo-configservice-k8s,collector.backend_service=skywalking-c0-oap.skywalking:11800'  #SKYWALKING_AGENT: ''  JAVA_OPTS: >-    -Xms1024m -Xmx1024m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m -XX:NewSize=512m -XX:MaxNewSize=512m -XX:SurvivorRatio=8    -server -XX:-ReduceInitialCardMarks    -XX:ParallelGCThreads=4 -XX:MaxTenuringThreshold=9 -XX:+DisableExplicitGC -XX:+ScavengeBeforeFullGC -XX:SoftRefLRUPolicyMSPerMB=0    -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:-OmitStackTraceInFastThrow    -Duser.timezone=$TIME_ZONE -Dclient.encoding.override=UTF-8 -Dfile.encoding=UTF-8    -Djava.security.egd=file:/dev/./urandom    -Dserver.port=$SERVER_PORT -Dlogging.file=$LOG_DIR/$SERVICE_NAME.log -XX:HeapDumpPath=$LOG_DIR/    $SKYWALKING_AGENT  application-github.properties: |    spring.datasource.url=jdbc:mysql://mysql-min.mysql-min:3306/DevApolloConfigDB?characterEncoding=utf8    spring.datasource.username=apollo    spring.datasource.password=admin    spring.jpa.database-platform=org.hibernate.dialect.MySQL5Dialect    eureka.service.url=http://apollo-configservice/eureka/

(6).特别注意

1.sk-agent和sky-oap一定要配置正确的时区

都要配置: TIME_ZONE: Asia/Shanghai

因为skywalking的默认时区是UTC0,大陆的APP的服务的时区是UTC8,如果sk-agent和sk-oap的时区不一致时,sk-ui不会显示数据/拓扑。

2.sk-oap的elasticsearch版本选择

尽量选择sk使用的版本,比如sk6.4.0用的是es6.3.2那我们搭建es时就要选择这个版本。避免es版本差异带来的各种奇怪问题。

3.制作apollo-skywalking-docker-image镜像注意sk-plugin选择

参照官方/社区的issue:https://github.com/ctripcorp/apollo/issues/2448

我们的目的是:

a. 监控Apollo-Config、Admin、Portal之间的调用以及拓扑

b. 监控Apollo-Client 与 Config之间的调用及拓扑

第一种情况:Portal与Config/Admin之间采用RestTemplate/HttpClient 发起调用,这个插件在Skywalking支持列表。

第二种情况,Apollo-Client 采用的是 HttpURLConnection 发起Http请求。和 HttpClient 有些区别,默认插件不支持。需要使用可选插件:bootstrap-plugins/apm-jdk-http-plugin-6.4.0.jar,将这个jar包拷贝到plugins目录下。

4.apollo-portal开启多副本要注意配置session亲和性

config/admin/portal的负载均衡都需要配置:sessionAffinity: ClientIP;

如果你还是用的ingress代理apollo-portal,那么ingress也需要配置亲和性保证session的正确传递:

nginx.ingress.kubernetes.io/affinity: cookie

ingress的亲和性配置参见文件:

https://github.com/hepyu/k8s-app-config/blob/master/product/standard/apollo-pro/apollo-portal/apollo-portal-ingress.yaml

如果不配置亲和性,apollo-portal开启多副本后将出现无法登陆的现象。

5.使用oraclejdk

因为apollo官方的镜像里没有调试工具,如jstat等,很不方便。

6.修改支持的环境

在apolloPortalDB的ServerConfig表中存放了支持的环境:pro,uat,fat,dev,如果只配置了pro,需要把其余的3个删除,否则portal会一直报错:

''' Env is down. env: UAT, failed times: 39, meta server address: http://apollo.meta '''

(7).相关文章

1.官方地址容器化配置地址:

https://github.com/ctripcorp/apollo/tree/master/scripts/apollo-on-kubernetes/kubernetes

2.官方apollo容器化步骤(Step by Step):

https://github.com/ctripcorp/apollo/blob/master/scripts/apollo-on-kubernetes/README.md

3.笔者apollo容器化步骤(Step by Step):

kubernetes-6:使用yaml方式进行apollo容器化

本文分享自微信公众号 - 千里行走(a_thousands_of_miles),作者:千里行走

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kubernetes-6:使用yaml方式进行apollo容器化

    http://toutiao.com/item/6698283305726378504/

    千里行走
  • apollo-1:apollo配置中心单机模拟分布式部署--Step by Step

    1.随着微服务和容器化大行起到,配置中心的重要性越来越高,携程的apollo(几月eureka)是其中的佼佼者。

    千里行走
  • istio-1:部署与体验istio-1.4.2

    istio搁置有一段时间了,并且现在开始介入的是最新版本1.4.2,所以难免有些错误的地方,非常欢迎指正与讨论。

    千里行走
  • Oracle数据库须知

    不要使用字面量(常量)做查询条件的值,而要使用绑定变量给查询条件赋值,使用绑定变量是需要编译一次查询计划,编译结果保存在共享池(库缓存)中。

    城市中的游牧民族
  • Vue生命周期详细图解

    beforeCreated 第一个生命周期函数 表示实例完全被创建出来之前,会执行它 此时data 和 methods 中的 数据都还没有没初始化

    杨肆月
  • 禁用iOS的UIView长按默认操作

    很多时候需要禁用移动设备的默认行为,比如长按一个a链接的按钮(href写的是javascript:;)会提示是否打开/取消。而-webkit-touch-cal...

    meteoric
  • 腾讯入局智慧社区 “扫码开门”打造社区出入新模式

    12月22日,腾讯公司正式对外发布其智慧社区开放平台“腾讯海纳”。据悉,该平台旨在通过人工智能、物联网、云计算、大数据等技术,将物业、居民、媒体、政府等多方相连...

    企鹅号小编
  • JavaScript——数组

    var colors = ["orange", "blue", "1", 2, 3]; //删除 colors.splice(0, 1); console....

    喝茶去
  • Petya 来袭,腾讯云快速响应提供安全解决方案

    腾讯云联合电脑管家发现相关样本在国内出现,腾讯云已第一时间启动用户防护引导,到目前为止,云上用户尚无感染案例,但建议没打补丁用户尽快打补丁避免感染风险。

    腾讯云安全
  • 百度IDL主任林元庆解读:人工智能技术研发的四大支柱

    近日,百度深度学习实验室主任林元庆在百度年终媒体分享会上做了《看懂AI-百度技术开放日》的演讲,从客观层面阐述了人工智能技术研发的四大支柱,为我们呈现了让人工智...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券