专栏首页腾讯云TStack专栏k8s网络开发丨k8s与OpenStack网络如何打通?

k8s网络开发丨k8s与OpenStack网络如何打通?

点击上方“腾讯云TStack”关注我们

获取最in云端资讯和海量技术干货

本文作者 / ice yao

喜欢看动漫的IT男

还是火影迷、海贼迷、死神迷、妖尾迷、全职猎人迷、龙珠迷、网球王子迷~

左手一个OpenStack,右手一个K8s~

背 景

有OpenStack, 又有Kubernetes; 网络想做统一管理,k8s集群运行在OpenStack VM下, 如何做到更深层面的网络打通,典型的原因有:

1、 VM防arp欺骗,默认OpenStack虚拟机端口都开启了此功能;处于OpenStack VM里的k8s集群私有ip就无法扩节点通信,通过配置neutron port的allow_address_pairs可以放行私有ip;

2、Overlay网络损耗,再加上在虚拟机里部署k8s集群,又跑了一层overlay网络,网络开销又增大了;

可选方案

k8s网络使用underlay网络 

对现有应用需大量改造,应用内部大量使用内部service机制来调用其它服务,不兼容旧模型,pod使用的是underlay网络,性能卓越;

k8s网络使用多种cni 

k8s node运行ipvlan或macvlan+ptp的cni, node节点同时加载两个cni插件,ptp cni的作用是创建一对veth, 连接pod和宿主机,并设置条路由,可以实现pod也能访问k8s service. 如果是OpenStack、k8s融合场景下,考虑到 ipvlan稳定内核推荐版本是>=4.2,可以再实现一种cni,把虚拟机的网卡映射给pod;

使用Kuryr-kubernetes 

k8s node宿主机运行neutron-agent, 能够使用Neutron L3与Security Group来对网络进行路由,过滤访问;node宿主机是OpenStack虚拟机的话,那就是嵌套vlan/vxlan,把网络又变复杂了. 适用于OpenStack和k8s集群是独立的环境,相当于由OpenStack接管service和NetworkPolicy,OpenStack实现变复杂;

最终选择k8s网络使用多种cni方案,基于保留k8s原生特性,只需要改动k8s cni这部分。

任务划分:

1、基于neutron的cni ipam plugin(如果OpenStack和K8s是融合的,还需要考虑频繁更新port的ip列表)

2、ipvlan+ptp多cni运行,ptp cni实现pod与宿主机用veth连接

3、实现一种虚拟机的网卡映射给pod的cni(OpenStack、k8s融合场景)

为什么用ipvlan?ipvlan的子接口mac地址和父网卡一样,ipvlan很符合neutron port属性,一个port可以带多个ip且mac地址相同。

cni ipam neutron 

环境版本:

· Kubernetes:v1.14.6

· Etcd:3.3.12

· Docker:18.09.9

· dlv:1.4.0

· Golang:1.12.7

实 现

k8s v1.14.6对应github.com/containernetworking/cni版本是v0.6.0;其它k8s版本找其对应的cni版本即可,应该变化不大;

参考host-local ipam(v0.6.0)插件实现 - 使用neutron作为一个统一的ipam;

# git clone https://github.com/containernetworking/plugins.git

调用流程图如下:

参考实现: https://github.com/yaoice/cni-ipam-neutron

ipam验证测试

# 创建port$ echo '{"cniVersion": "0.3.1","name": "examplenet","ipam": {"name": "myipam","type": "ipam-neutron","openstackConf": {"username": "admin","password": "c111f3c44f352e91ce76","project": "admin","domain": "default","authUrl": "http://10.125.224.21:35357/v3"},"neutronConf": {"networks": ["782ec9ac-44f9-4318-8c67-a2fed2ccca4f"]}}}' | CNI_COMMAND=ADD CNI_CONTAINERID=example CNI_NETNS=/dev/null CNI_IFNAME=dummy0 CNI_PATH=. ./cni-ipam-neutron
{    "ips": [        {            "version": "4",            "address": "203.0.113.2/24",            "gateway": "203.0.113.1"        }    ],    "dns": {}
# 删除port$ echo '{"cniVersion": "0.3.1","name": "examplenet","ipam": {"name": "myipam","type": "ipam-neutron","openstackConf": {"username": "admin","password": "c111f3c44f352e91ce76","project": "admin","domain": "default","authUrl": "http://10.125.224.21:35357/v3"},"neutronConf": {"networks": ["782ec9ac-44f9-4318-8c67-a2fed2ccca4f"]}}}' | CNI_COMMAND=DEL CNI_CONTAINERID=example CNI_NETNS=/dev/null CNI_IFNAME=dummy0 CNI_PATH=. ./cni-ipam-neutron

参考链接

· https://github.com/lyft/cni-ipvlan-vpc-k8s/blob/master/plugin/unnumbered-ptp/unnumbered-ptp.go

· kubernetes的clusterip机制调研及macvlan网络下的clusterip坑解决方案:

https://zhuanlan.zhihu.com/p/67384482

· K8S CNI之——利⽤ ipvlan + host-local 打通容器与宿主机的平⾏⽹络:

https://juejin.cn/post/6844903801057443853

· 完善cni的ipam方案:

https://jeremyxu2010.github.io/2019/07/%E5%AE%8C%E5%96%84cni%E7%9A%84ipam%E6%96%B9%E6%A1%88/

没看过瘾?这里还有

ice yao系列大作

●K8s远程调试,你的姿势对了吗?

●玩转K8S AdmissionWebhook

还在为容器时区困扰?送你一剂良药!

听说长得好看的人都点了赞和在看!

本文分享自微信公众号 - 腾讯云TStack(gh_035269c8aa5f),作者:iceyao

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-11-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于Tungsten Fabric打通异构资源网络

    作为开源SDN的代表,不少厂商都基于Tungsten Fabric开发出了成熟的应用方案,华胜天成异构混合云管理平台就是其中一例。由华胜天成自主开发的统一云平台...

    Tungsten Fabric
  • 6年!我对赖以挣小钱度日的OpenStack淌过的河...

    看了世民(Sammy Liu)的 OpenStack的八年之痒一文后,作为从2012年起从E版本就开始使用OpenStack的一个相对老手,我倒是想附和一篇文章...

    SammyLiu
  • 杨雨:Tungsten Fabric如何增强Kubernetes的网络性能

    在混合多云的世界里,Kubernetes是如此流行,已经成为应用统一部署和管理的事实标准,而Tungsten Fabric与Kubernetes的集成,更增强了...

    Tungsten Fabric
  • 王峻:借助开源SDN利器打通异构混合云

    https://tungstenfabric.org.cn/assets/uploads/files/tf-live4-sdn.pdf

    Tungsten Fabric
  • 干货 | 云计算时代携程的网络架构变迁

    赵亚楠,携程云平台资深架构师。2016 年加入携程云计算部门,先后从事 OpenStack、SDN、容器网络(Mesos、K8S)、容器镜像存储、分布式存储等产...

    携程技术
  • OpenStack与K8s结合的几种方案之比较

    OpenStack与K8S结合主要有两种方案。一是K8S部署在OpenStack平台之上,二是K8S和OpenStack组件集成。

    小小科
  • 技术实录 | 灵雀云基于 OVN 的 Kubernetes 网络架构解析

    本文为3月26日灵雀云Kubernetes专家刘梦馨在Dockone社区的主题分享。他从Kubernetes网络的局限性、OVS和OVN网络方案的能力、OVN和...

    灵雀云
  • 基于 OVN 的 Kubernetes 网络

    基于3月26号,在 Dockone 社区的分享整理的内容,效果还不错,最后的QA环节问题超级多,据说是之前最多一次的两倍。这次只是基本概念的介绍,具体我们的架构...

    Oilbeater
  • OpenStack 与 Kubernetes 的共存

    OpenStack是面向资源层的IaaS云平台管理软件,可以帮助用户构建和管理私有云和公有云。

    灵雀云
  • 千人围观 | Kube-OVN打破网络擎制,让K8s真正编排一切!

    5月12日,2021容器网络技术大会暨Kube-OVN社区周年庆成功举办。Kube-OVN社区联合CNCF、木兰开源社区一起,携手Kube-OVN社区建设者、最...

    灵雀云
  • TF功能开发路线图:盘点2021年Tungsten Fabric聚焦领域

    在Linux基金会主办的“LFN技术会议”上,Tungsten Fabric社区进行了一系列演讲,介绍最新的功能和未来发展方向。今天带来第一篇演讲,看看Tung...

    Tungsten Fabric
  • 为OpenStack和K8s集群提供无缝虚拟网络

    现实情况下,可能会发生虚拟机和容器需要相互“交谈”的情况。如果是这样,我们需要以某种方式实现两个独立集群之间的通信。

    Tungsten Fabric
  • Kubernetes系列学习文章 - 学习K8S的基础(三)

    | 导语 上一篇文章我们讲解了什么是kubernetes(K8S) ,你对K8S的概念目前已经有个初步的了解。很多同学估计想开始着手学习了,这篇文章我们来了解...

    宝哥@上云专家
  • Tungsten Fabric架构和最新技术进展

    本文整理自瞻博网络杰出工程师Sukhdev Kapur在“TF中文社区成立暨第一次全员大会”上的演讲,增加了对于TF功能的描述。

    Tungsten Fabric
  • Tungsten Fabric:连接CMP的金钥匙丨TF Meetup演讲实录

    本文所有相关资料 https://tungstenfabric.org.cn/assets/uploads/files/cmp-key-shuxun.pdf

    Tungsten Fabric
  • Tungsten Fabric与K8s集成指南丨创建隔离命名空间

    K8s与Tungsten Fabric集成后有四种配置模式,分别为:默认模式、自定义隔离模式、命名空间隔离模式、嵌套模式。

    Tungsten Fabric
  • Kube-OVN 社区规划Roadmap 2021-2022 | What’s the next?

    作为全球首个被CNCF纳入托管的开源CNI网络项目,Kube-OVN已经成为K8s生态中功能最完备、对传统基础设施兼容性最佳的开源网络组件。

    灵雀云
  • 看懂云计算、虚拟化和容器,这一篇就够啦!

    作为信息科技发展的主流趋势,它频繁地出现在我们的眼前。伴随它一起出现的,还有这些概念名词——OpenStack、Hypervisor、KVM、Docker、K8...

    鲜枣课堂
  • 云计算到底是怎么玩的?

    作为IT行业的热门技术,它频繁出现在各大媒体的新闻报道中。BAT这样的互联网企业,也经常把它挂在嘴边。

    鲜枣课堂

扫码关注云+社区

领取腾讯云代金券