F5与Openshift集成,实现灰度发布

一、灰度发布

为什么要使用灰度发布

  • 什么是灰度发布 灰度发布是指在黑与白之间,能够平滑过渡的一种发布方式。ABtest就是一种灰度发布方式,让一部分用户继续用A,一部分用户开始用B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。
  • 灰度发布的价值 使用灰度发布可以在产品正式上线前针对特定一些目标用户进行开放,获得这些目标用户的反馈,及早发现问题,修复问题,完善产品的不足。如果发现新的版本价值不大,能够及早更换思路,避免产品直接上线后产生不好的影响。

Openshift Route自带的灰度发布功能

  • Openshift Route自带的灰度发布,是通过Route下“挂载”两个或两个以上Service,并调整各个Service的权值进行控制流量的分布。
  • 例如应用有两个服务,分别为service-v1和service-v2,其中service-v2为新版本。通过不断放大service-v2的权值,观察用户的反馈,及时发现service-v2中的问题,并完善修复,最终service-v2承载所有service-v1的流量,实现服务的升级。通过这种方式,可以大大地降低service-v2中的问题对客户产生的影响。
  • Openshift Route对Service分流使用非常方便,一些普通的业务完全可以使用这个特性达到测试的目的。但是它的简单也带来了一些不足,就是它只能对请求进行概率地划分流量,并不能定向到用户。
  • 例如,以下需求Openshift Route目前还无法实现。产品新版本正式发布前,我们希望对产品进行一些测试,只允许指定的一批用户或者一些网段的ip下的用户才能访问新版本。

二、F5与Openshift集成实现灰度发布

  • 流量到达F5时,F5会优先对请求进行iRule下的匹配检查,定向到对应的Pool
  • 如果iRule下未匹配,则会控制vs下绑定的Polices规则进行匹配
  • 在上篇中,我们知道Openshift上的F5控制器会自动在F5上生成Polices规则,来满足Openshift Route的功能。那么只需要将它与自定义的iRule结合就能够实现既满足服务的分流,又能控制用户对服务的定向访问。

F5与Openshift集成配置与部署(实现灰度发布)

准备工作(详细见上篇:Openshift-F5集成(南北流量走F5))

  • 创建新的HostSub Openshift
  • 创建一个VXLAN profile F5
  • 创建一个VXLAN Tunnel F5
  • 在每个F5设备VXLAN中创建Self IP F5
  • 在当前主F5设备的VXLAN下创建Floating IP F5
  • 创建一个新的Partition F5
  • 创建访问F5 BIG-IP的私钥 Openshift
  • 创建RBAC认证 Openshift

说明:以上操作具体步骤参考上篇

手动创建VS(HTTP、HTTPS) F5

  • Local Traffic -> Virtual Servers 选中指定的Partition,新建VS
  • HTTP
    • Name:VS名字
    • Destination Address/Mask:VS的IP地址
    • Service Port:HTTP
    • HTTP Profile:http
    • Source Address Translation:Auto Map
  • HTTPS
    • Name:VS名字
    • Destination Address/Mask:VS的IP地址
    • Service Port:HTTPS
    • HTTP Profile:http
    • SSL Profile (Client):/Common/clientssl
    • Source Address Translation:Auto Map

设置VS中的cccl-whitelist为1 F5

目的:修改cccl-whitelist的值为1,是为了防止当openshift创建控制器时,route模式下将VS原本的配置覆盖掉

tmsh
cd /f5-openShift  (openshift所在的partition)
modify ltm virtual testroute metadata add { cccl-whitelist { value 1 } }
modify ltm virtual testroute_https metadata add { cccl-whitelist { value 1 } }

创建F5控制器 Openshift

  • 对应每台F5设备创建一个Deployment
  • Deployment中的 --bigip-url 为设备的IP
  • Deployment中的 --bigip-partition为之前F5下创建的Partition,Openshift
  • Deployment中的--route-http-vserver为手动创建的HTTP VS
  • Deployment中的--route-https-vserver为手动创建的HTTPS VS
  • Deployment中的--route-label为给Controller打的标签(对于一组F5不需要配置,多组F5通过它打Label,并在Route中设置label f5type:label来指定使用的F5)
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: f5-bigip-ctlr-01
spec:
  replicas: 1
  template:
    metadata:
      name: k8s-bigip-ctlr
      labels:
        app: k8s-bigip-ctlr
    spec:      # Name of the Service Account bound to a Cluster Role with the required
      # permissions
      serviceAccountName: bigip-ctlr
      containers:
        - name: k8s-bigip-ctlr          # replace the version as needed
          image: "f5networks/k8s-bigip-ctlr:1.5.1"
          env:
            - name: BIGIP_USERNAME
              valueFrom:
                secretKeyRef:                  # Replace with the name of the Secret containing your login
                  # credentials
                  name: bigip-login
                  key: username
            - name: BIGIP_PASSWORD
              valueFrom:
                secretKeyRef:                  # Replace with the name of the Secret containing your login
                  # credentials
                  name: bigip-login
                  key: password          command: ["/app/bin/k8s-bigip-ctlr"]
          args: [            # See the k8s-bigip-ctlr documentation for information about
            # all config options
            # http://clouddocs.f5.com/products/connectors/k8s-bigip-ctlr/latest
            "--bigip-username=$(BIGIP_USERNAME)",            "--bigip-password=$(BIGIP_PASSWORD)",            "--bigip-url=192.168.200.82",            "--bigip-partition=OpenShift",            "--pool-member-type=cluster",            "--openshift-sdn-name=/Common/openshift_vxlan",            '--manage-routes=true'
            '--route-http-vserver=testroute'
            '--route-https-vserver=testroute_https'
            ]

---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: f5-bigip-ctlr-02
spec:
  replicas: 1
  template:
    metadata:
      name: k8s-bigip-ctlr
      labels:
        app: k8s-bigip-ctlr
    spec:      # Name of the Service Account bound to a Cluster Role with the required
      # permissions
      serviceAccountName: bigip-ctlr
      containers:
        - name: k8s-bigip-ctlr          # replace the version as needed
          image: "f5networks/k8s-bigip-ctlr:1.5.1"
          env:
            - name: BIGIP_USERNAME
              valueFrom:
                secretKeyRef:                  # Replace with the name of the Secret containing your login
                  # credentials
                  name: bigip-login
                  key: username
            - name: BIGIP_PASSWORD
              valueFrom:
                secretKeyRef:                  # Replace with the name of the Secret containing your login
                  # credentials
                  name: bigip-login
                  key: password          command: ["/app/bin/k8s-bigip-ctlr"]
          args: [            # See the k8s-bigip-ctlr documentation for information about
            # all config options
            # http://clouddocs.f5.com/products/connectors/k8s-bigip-ctlr/latest
            "--bigip-username=$(BIGIP_USERNAME)",            "--bigip-password=$(BIGIP_PASSWORD)",            "--bigip-url=192.168.200.83",            "--bigip-partition=OpenShift",            "--pool-member-type=cluster",            "--openshift-sdn-name=/Common/openshift_vxlan",            '--manage-routes=true'
            '--route-http-vserver=testroute'
            '--route-https-vserver=testroute_https'
            ]

给vs手动绑定Policies F5

  • Openshift F5控制器创建好后,在F5上会自动创建两条Policies, 分别为:openshift_insecure_routes、openshift_secure_routes。
  • openshift_insecure_routes为HTTP应用服务
  • openshift_secure_routes为HTTPS应用服务。

绑定Policies与iRule

创建应用(Project名为testapp,Service名为f5-nginx-v1与f5-nginx-v2)

oc new-project testapp
oc new-app harbor.example.com/public/nginx:1.14 --name=f5-nginx-v1 --allow-missing-images
oc expose dc/f5-test-v1 --port=8080oc expose svc/f5-test-v1 test1.apps.openshift.com

oc new-app harbor.example.com/public/nginx:1.14 --name=f5-nginx-v2 --allow-missing-images
oc expose dc/f5-test-v2 --port=8080

创建iRule,并绑定到VS F5

说明:请求域名test1.apps.openshift.com时,如果客户端IP为192.168.100.23,则访问testapp项目下的f5-nginx-v2服务,否则访问testapp项目下的f5-nginx-v1服务 注意:iRule规则需要在Common的Partition下创建

when HTTP_REQUEST { if { [HTTP::host] equals "test1.apps.openshift.com" }{  log local0.info [HTTP::host]   if {[IP::addr [IP::client_addr] equals 192.168.100.23/32 ]} {  log local0.info "enter 2 pool before"
  log local0.info [HTTP::host]
  pool /f5-openShift/openshift_testapp_f5-nginx-v2  log local0.info "enter 2 pool later"
  } else {  log local0.info "enter 3"
   pool /f5-openShift/openshift_testapp_f5-nginx-v1
  }
 }
}

测试访问服务

本地(192.168.100.23)与另一台非192.168.100.23的机器上绑定hosts

VS的IP地址 test1.apps.openshift.com

再访问test1.apps.openshift.com,查看页面显示,访问不同的Service。

原文发布于微信公众号 - 大魏分享(david-share)

原文发表时间:2018-08-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吉浦迅科技

放下王者农药这锅,玩一把Tensorflow吧

暑期开始了!对于Lady姐来说,如何安排儿子的暑期生活是一件大事,显然是不能沉迷于王者农药, ? 于是Lady姐随手扔了一个教程给他:按照这份教程,在家里Win...

40310
来自专栏落影的专栏

iOS性能优化——图片加载和处理

本文基于WWDC2018-Image and Graphics Best Practices,对图片加载和处理的思考和总结。 本文不是WWDC翻译,如果需要了解...

70117
来自专栏人工智能头条

基于容器的AI系统开发——百度PaddlePaddle解析

1452
来自专栏编程

无数据库权限下载文献攻略大全

阅读完本篇文章你就会学会了在家里,在路上,在可以连接到网络的任何地点都轻松下载您所需要的文献!!! 在之前的内容中,我们为大家推送过两篇关于如何在没有权限的情况...

2348
来自专栏沃趣科技

容器化RDS|调度策略

导 语 前文数据库容器化|未来已来我们介绍了基于Kubernetes实现的下一代私有 RDS。其中,调度策略是具体实现时至关重要的一环,它关系到RDS 集群的服...

51110
来自专栏Python爬虫与算法进阶

Cookies池的后续解决方案

在上一篇文章: 从cookie池搭建说起,简单说明了自己对于该网站的想法,在经过两天的测试与研究之后,我有了更多的想法.

1191
来自专栏沃趣科技

容器化RDS|调度策略

前文我们介绍了基于 Kubernetes 实现的下一代私有 RDS. 其中, 调度策略是具体实现时至关重要的一环, 它关系到 RDS 集群的服务质量和部署密度....

38310
来自专栏恰童鞋骚年

操作系统核心原理-3.进程原理(中):进程调度

PS:在多进程并发的环境里,虽然从概念上看,有多个进程在同时执行,但在单个CPU下,在任何时刻只能有一个进程处于执行状态,而其他进程则处于非执行状态。那么问题来...

1075
来自专栏SAP最佳业务实践

想学FM系列(16)-SAP FM模块:预算结构(7)-预算结构操作-多层预算结构维护

3.2.2.3 多层预算结构的维护 ? 1)FMHIE_HIEID- 编辑层次结构标识 功能为多层预算结构备用树定义一相标识ID,并定义相关属性,为之后生成备...

4978
来自专栏LET

谈谈3D Tiles(1):渲染调度

4396

扫码关注云+社区

领取腾讯云代金券