专栏首页虚拟化笔记ovs vxlan实现代码分析

ovs vxlan实现代码分析

惠伟:ovs vxlan 时延和吞吐​zhuanlan.zhihu.com

接前面这个写起,比较过linux kernel vxlan device和ovs vxlan的性能,很好奇ovs vxlan是怎么实现的,linux kernel vxlan device是用如下命令创建的。

ip link add vxlan0 type vxlan id 1111 dstport 5799 remote 10.145.69.49 local 10.145.69.26 dev eth4
[root@openstack607 huiwei]#  ip -d link show vxlan0
375: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT qlen 1000
    link/ether ba:6f:38:6f:bf:9a brd ff:ff:ff:ff:ff:ff promiscuity 0
    vxlan id 1111 remote 10.145.69.49 local 10.145.69.26 dev eth4 srcport 0 0 dstport 5799 ageing 300

发现ovs也创建了一个vxlan device

[root@openstack607 huiwei]# ip -d link show vxlan_sys_4789
241: vxlan_sys_4789: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65000 qdisc noqueue master ovs-system state UNKNOWN mode DEFAULT qlen 1000
    link/ether 56:bc:a6:9b:c2:fd brd ff:ff:ff:ff:ff:ff promiscuity 1
    vxlan id 0 srcport 0 0 dstport 4789 nolearning ageing 300 udp6zerocsumrx
    openvswitch_slave

ovsdb-server存储数据,ovs-vsctl通过ovsdb协议读写ovsdb-server,ovs-vswitchd进行报文转发,ovs-ofctl通过openflow信息给ovs-vswitchd添加/删除flow,那ovs-vsctl添加一个vxlan port,ovs-vswitchd怎么知道的,答案就是ovs-vswitch和ovsdb-server之间也有连接,ovs-vswitch通过IDL感知ovsdb-server的变化。

ovs-vswitchd main线程一直while处理ovsdb-server变化和ovs-appctl命令,ovs-vsctl创建一个ovs vxlan port,最终调用到了dpif_netlink_port_add。

main
 ├─unixctl_server_create
 ├─bridge_init
 └─while//特别注意这个while循环
    ├─bridge_run
    |  ├─ovsdb_idl_run
    |  └─bridge_reconfigure
    |     └─bridge_add_ports
    |        └─iface_create
    |           └─ofproto_port_add
    |              └─(ofproto_class->port_add)port_add
    |                 └─dpif_port_add
    |                     └─(dpif_class->port_add)dpif_netlink_port_add
    ├─unixctl_server_run
    |   └─run_connection
    |      └─process_command
    |         └─(command->cb)
    ├─netdev_run
    ├─memory_wait
    ├─bridge_wait
    ├─unixctl_server_wait
    ├─netdev_wait
    └─pool_block

dpif_netlink_port_add用netlink发送给内核,是不是和ip link add道理一样。

dpif_netlink_port_add
  └─dpif_netlink_rtnl_port_create_and_add
      └─dpif_netlink_rtnl_port_create
          ├─dpif_netlink_rtnl_create
          |   └─dpif_netlink_rtnl_create//注意这个RTM_NEWLINK和IFF_UP
          └─dpif_netlink_port_add__//通知内核ovs添加vxlan_vport

内核ovs模块初始化,内核处理ovs route netlink发送来的添加vxlan口的消息

vxlan_init_module
  └─rtnl_link_register(&vxlan_link_ops)
rtnl_newlink
  ├─rtnl_create_link
  |   ├─dev=kzalloc()
  |   └─alloc_netdev_mqs
  |       └─vxlan_setup
  ├─(ops->newlink)vxlan_newlink
  └─rtnl_configure_link
      └─__dev_change_flags
          └─__dev_open
              └─(ops->ndo_open)vxlan_open

内核除了创建一个vxlan device还要创建一个vport device,vport device里嵌套 vxlan device,内核openvswitch模块处理添加vport, 如果内核不支持RTM_NEWLINK,这儿还可以创建出vxlan device并且UP它。

ovs_vport_cmd_new
  └─new_vport
      └─ovs_vport_add
           └─vxlan_create
               ├─vxlan_tnl_create
               |   ├─vxlan_dev_create//等价于ip link add vxlan0 type vxlan
               |   └─dev_change_flags
               |       └─__dev_change_flags//UP这个口
               |           └─__dev_open
               |               ├─(ops->ndo_open)也就是vxlan_open
               |               └─netpoll_rx_enable
               └─ovs_netdev_link
                   ├─vport->dev = dev_get_by_name(ovs_dp_get_net(vport->dp), name);
                   ├─netdev_rx_handler_register(vport->dev, netdev_frame_hook,vport);
                   ├─dev_disable_lro
                   └─dev_set_promiscuity

最终都调用到这个三个函数vxlan_netlink/vxlan_setup/vxlan_open

vxlan_newlink
  └─vxlan_dev_configure
      ├─vxlan_ether_setup
      ├─__vxlan_change_mtu
      └─register_netdevice

vxlan_setup
  └─gro_cells_init
      ├─netif_napi_add
      └─napi_enable

vxlan_open
  └─vxlan_sock_add
     └─__vxlan_sock_add
          ├─vxlan_socket_create
          |   └─vxlan_create_sock
          |      └─udp_sock_create                                                     
          ├─udp_tunnel_notify_add_rx_port
          ├─setup_udp_tunnel_sock
          └─udp_tunnel_encap_enable

现在一个报文来到了物理网卡,收包,vxlan decap,查流表,然后交给虚拟机。

看这儿有多少次softirq就知道性能怎样了,一个物理网卡pps大时softirq就承受不住了。

#物理网卡处理中断,触发softirq
i40e_intr
  └─napi_schedule_irqoff

#i40e softirq把包放到per cpu backlog,触发softirq
i40e_napi_poll
  └─i40e_clean_rx_irq
      ├─i40e_fetch_rx_buffer
      |   └─__napi_alloc_skb
      |       └─skb->dev = napi->dev;
      ├─i40e_process_skb_fields
      └─i40e_receive_skb
          └─napi_gro_receive
              └─napi_skb_finish
                  └─netif_receive_skb_internal
                      └─__netif_receive_skb

#rx softirq处理,一起捅到udp层,把skb上的dev切换成vxlan device,再入backlog,触发softirq
process_backlog
  └─__netif_receive_skb
      └─__netif_receive_skb_core
         └─deliver_skb
            └─(pt_prev->func)ip_rcv
              └─ip_rcv_finish
                  └─ip_route_input_noref
                      └─ip_route_input_slow
                         └─ip_local_deliver
                             └─ip_local_deliver_finish
                                └─(ipprot->handler)udp_rcv
                                    └─__udp4_lib_rcv
                                       └─udp_queue_rcv_skb
                                           └─vxlan_rcv
                                              ├─skb->dev = vxlan->dev;//这儿skb的切换到vxlan device
                                              └─gro_cells_receive
                                                 └─netif_rx
                                                     └─netif_rx_internal
                                                         └─enqueue_to_backlog
                                                            └─____napi_schedule

#softirq处理,终于走到查流表了,查完流表output到qvo口,走veth pair,再到qbr,
#qbr再wakeup vhost worker,到此这个softirq的活终于干完了。
#接下来就是vhost worker把skb copy到virtio,再通知kvm irq inject。
process_backlog
  └─__netif_receive_skb
    └─__netif_receive_skb_core
       └─(rx_handler)netdev_frame_hook
           └─netdev_port_receive
               └─ovs_vport_receive
                   ├─ovs_flow_key_extract
                   └─ovs_dp_process_packet

再看发包,包从虚拟机来,进入ovs查流表,然后从vxlan port出去。

#不管怎样给datapath安装流表时需要把vxlan的local_ip和remote_ip下发给datapath   
ovs_flow_cmd_set
   └─sw_flow_actions─┐
      ovs_flow_cmd_new─┤
ovs_packet_cmd_execute─┤
                        └─ovs_nla_copy_actions
                            └─__ovs_nla_copy_actions
                               └─validate_set
                                   └─case OVS_KEY_ATTR_TUNNEL:validate_and_copy_set_tun//填好ovs_tunnel_info
                                       └─__add_action(OVS_KEY_ATTR_TUNNEL_INFO)

把tunnel信息加入skb,按道理dst_entry在ip lookup后找到,难道这儿类似于dst_entry的缓存???

do_execute_actions
  └─case OVS_ACTION_ATTR_SET:execute_set_action
      └─skb_dst_set//把ovs_tunnel_info加到skb上

datapath执行output,vport device中嵌套的vxlan device在这儿就发挥作用了。

do_execute_actions
  └─do_output
      └─ovs_vport_send
          ├─skb->dev = vport->dev;//没有这就不知道用哪个ndo_start_xmit
          └─dev_queue_xmit
              └─__dev_queue_xmit
                 ├─validate_xmit_skb
                 ├─dev_hard_start_xmit
                 |   └─xmit_one
                 |       └─netdev_start_xmit
                 |           └─ndo_start_xmit就是vxlan_xmit
                 └─dev_xmit_complete

vxlan encap,然后一口气把包从物理网卡发送出去。

vxlan_xmit
  └─vxlan_xmit_one
      ├─vxlan_build_skb
      └─udp_tunnel_xmit_skb
          └─iptunnel_xmit
             └─ip_local_out_sk
                └─dst_output_sk
                    └─ip_output
                        └─ip_finish_output
                            └─dst_neigh_output
                                └─neigh_direct_output
                                    └─dev_queue_xmit
                                         └─dev_hard_start_xmit
                                             └─netdev_start_xmit
                                                 └─i40e_lan_xmit_frame
                                                      └─i40e_xmit_frame_ring
                                                           └─i40e_tx_map
                                                              ├─dma_map_single
                                                              └─netdev_tx_sent_queue

经过代码分析,发现ovs kernel datapath vxlan完全利用了kernel vxlan,那ovs dpdk datapath vxlan怎么实现的呢,vxlan encap ip lookup和arp怎么处理的呢,vpp的vxlan怎么实现的,相比ovs实现有什么区别,请听后面分解。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Open vSwitch源码阅读笔记(下)

    引言 本文主要对OpenvSwitch(基于2.3.90版本)重点模块的源码实现流程做了简要的阅读记录,Open vSwitch源码阅读笔记(上)已提供,此篇是...

    SDNLAB
  • ovs小tag实现OpenStack大网络

    ovs软件交换机可以基于端口tag号实现vlan的隔离,功能上类似于物理交换机的vlan隔离。而tag号在openstack的各种网络发挥着十分重要的作用,几乎...

    SDNLAB
  • 基于OpenDaylight和OVSDB搭建VxLAN网络

    1 简介 本文主要介绍基于OpenDaylight子项目OVSDB中的southbound组件来搭建VxLAN网络,包括初始环境搭建和southbound Re...

    SDNLAB
  • 理解OpenShift(3):网络之SDN

    为了OpenShift 集群中 pod 之间的网络通信,OpenShift 以插件形式提供了三种符合Kubernetes CNI 要求的 SDN实现:

    SammyLiu
  • SDNLAB群分享(四):利用ODL下发流表创建VxLAN网络

    今天想跟大家分享如何通过ODL控制器下发流表来创建VxLAN网络。ODL作为当前流行的控制器,已经有广泛的应用。基于ODL提供了丰富的北向接口,使得应用对网络有...

    SDNLAB
  • SDNLAB群分享(四):利用ODL下发流表创建VxLAN网络

    今天想跟大家分享如何通过ODL控制器下发流表来创建VxLAN网络。ODL作为当前流行的控制器,已经有广泛的应用。基于ODL提供了丰富的北向接口,使得应用对网络有...

    SDNLAB
  • Open vSwitch源码解析之基于VxLAN实现NSH解析功能

    1. NSH-SFC概述 当前SFC的实现方案主要分为两种:一种基于NSH(network service header)。数据封装时,在L2或者L3数据后添加...

    SDNLAB
  • openflow group实现vip主主模式

    租户创建vpc,租户创建虚拟机,租户创建数据库实现,返回访问的vip,vip主主模式,vip流量尽量负载均衡,同一session保持到固定的LB节点,而且虚拟机...

    惠伟
  • 基于Open vSwitch的VxLAN隧道实验网络

    1 实验目的 该实验通过Open vSwitch构建Overlay的VxLAN网络,更直观的展现VxLAN的优势。在实验过程中,可以了解如何建立VxLAN隧道并...

    SDNLAB

扫码关注云+社区

领取腾讯云代金券