FreeBSD下的工具(sysctl、netstat等)如何移植到F-Stack

F-Stack基于DPDK,绕过内核的协议栈,移植了FreeBSD协议栈到用户态,在大幅提高性能的同时,常规网络设置分析工具(如sysctl、netstat、ifconfig、route等)都无法直接使用。但是由于在用户态运行了FreeBSD的协议栈,我们可以移植FreeBSD下的这些工具到F-Stack。

移植的关键是这些工具要能与F-Stack进程通信,在之前的文章中,我们介绍了如何使用DPDK rte_ring来进行多进程的通信,tools/ipc目录就是基于rte_ring实现了一个简单的ipc框架。下面以sysctl为例,介绍一下如何移植到F-Stack。

查看FreeBSD 11.0.1 /sbin/sysctl的源码,可以发现是通过系统调用sysctl来与内核进行通信的,我们需要替换掉的就是这个函数。

首先在lib/ff_msg.h中,定义了用于通信的结构体struct ff_msg,暂时只实现了sysctl,后续会加上sysctlbyname、ioctl等其他工具移植需要的系统调用。

/* MSG TYPE: sysctl, sysctlbyname, etc.. */
enum FF_MSG_TYPE {
    FF_UNKNOWN = 0,
    FF_SYSCTL,
};

struct ff_sysctl_args {
    int *name;
    unsigned namelen;
    void *old;
    size_t *oldlenp;
    void *new;
    size_t newlen;
};

#define MAX_MSG_BUF_SIZE 10240

/* structure of ipc msg */
struct ff_msg {
    enum FF_MSG_TYPE msg_type;
    /* Result of msg processing */
    int result;
    /* Length of segment buffer. */
    uint16_t buf_len;
    /* Address of segment buffer. */
    char *buf_addr;

    union {
        struct ff_sysctl_args sysctl;
    };
} __attribute__((packed)) __rte_cache_aligned;

lib/ff_dpdk_if.c中,F-Stack初始化时会创建单个元素长度为MAX_MSG_BUF_SIZE的内存池message_pool,通信时从message_pool里取出元素,转换成struct ff_msg,这里有个要注意的地方,ff_msg.sysctl里的指针成员(name、old等)必须指向ff_msg.buf_addr到ff_msg.buf_addr+ff.msg_buf_len之间的地址(ff_msg.buf_len=MAX_MSG_BUF_SIZE-sizeof(struct ff_msg)),不能使用自己申请的内存地址,这是因为用于通信的数据必须使用rte_mempool中的共享内存,否则另一端会出现未知的错误。

处理流程:从ring中出队列,取出msg,判断是FF_SYSCTL类型,然后执行ff_sysctl函数获取或设置FreeBSD内核的状态参数,最后再把msg入队列。这里出入的ring是单生产者单消费者模式的,使用了两个,一个用于F-Stack出,工具入,一个用于F-Stack入,工具出。

static inline void
handle_sysctl_msg(struct ff_msg *msg, uint16_t proc_id)
{
    int ret = ff_sysctl(msg->sysctl.name, msg->sysctl.namelen,
        msg->sysctl.old, msg->sysctl.oldlenp, msg->sysctl.new,
        msg->sysctl.newlen);

    if (ret < 0) {
        msg->result = errno;
    } else {
        msg->result = 0;
    }

    rte_ring_enqueue(msg_ring[proc_id].ring[1], msg);
}

static inline void
handle_default_msg(struct ff_msg *msg, uint16_t proc_id)
{
    msg->result = EINVAL;
    rte_ring_enqueue(msg_ring[proc_id].ring[1], msg);
}

static inline void
handle_msg(struct ff_msg *msg, uint16_t proc_id)
{
    switch (msg->msg_type) {
        case FF_SYSCTL:
            handle_sysctl_msg(msg, proc_id);
            break;
        default:
            handle_default_msg(msg, proc_id);
            break;
    }
}

static inline int
process_msg_ring(uint16_t proc_id)
{
    void *msg;
    int ret = rte_ring_dequeue(msg_ring[proc_id].ring[0], &msg);

    if (unlikely(ret == 0)) {
        handle_msg((struct ff_msg *)msg, proc_id);
    }

    return 0;
}

然后看下sysctl中的处理,这里我们实现了一个新的函数sysctl_ipc用来替换原来的系统调用sysctl:

int sysctl_ipc(uint16_t proc_id, int *name, unsigned namelen, void *old,
    size_t *oldlenp, const void *new, size_t newlen);

因为F-Stack是多进程架构,并且每个进程都有一个独立的FreeBSD栈,所以新增了一个参数proc_id,用于指定与哪个F-Stack进程通信,这个算是一个不方便的地方。其他参数都与原生sysctl的一样。

sysctl_ipc的实现流程:从mempool中获取ff_msg对象,设置参数,入ring队列,出ring队列,输出返回信息。

struct ff_msg *msg = ff_ipc_msg_alloc();

char *buf_addr = msg->buf_addr;
msg->msg_type = FF_SYSCTL;
msg->sysctl.name = (int *)buf_addr;
msg->sysctl.namelen = namelen;
memcpy(msg->sysctl.name, name, namelen*sizeof(int));
buf_addr += namelen*sizeof(int);

........

ff_ipc_send(msg, proc_id);

ff_ipc_recv(&retmsg, proc_id);

.....

ff_ipc_msg_free(msg);

另外由于是移植的FreeBSD下的sysctl,所以它的头文件、结构体在Linux下可能没有,需要根据实际情况进行增删。 具体的代码可以查看tools/ipctools/sysctl目录。

运行效果:

除了新增加了一个-p参数用于指定与哪个F-Stack进程通信外,其他参数与原生FreeBSD一致,具体可参考man page。

根据这个例子,我们可以对其他工具进行移植,如ifconfig、route、netstat等。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏牛肉圆粉不加葱

Spark 内存管理的前世今生(上)

作为打着 “内存计算” 旗号出道的 Spark,内存管理是其非常重要的模块。作为使用者,搞清楚 Spark 是如何管理内存的,对我们编码、调试及优化过程会有很大...

772
来自专栏机器学习从入门到成神

关于hibernate中对象的三种状态分析

一、首先Hibernate中对象的状态有三种:瞬态、游离态和持久态,三种状态转化的方法都是通过session来调用,瞬态到持久态的方法有save()、saveO...

561
来自专栏个人分享

MapReduce格式与类型

  MapReduce是一个简单的数据处理模型,map与reduce的输入和输出类型都为key-value形式的键值对。

841
来自专栏简单聊聊Spark

Spark性能调优篇五之使用fastUtil工具包

        今天再来介绍一个小的优化点,是一个通过使用fastutil工具包对数据格式进行优化。首先来明确一个东西,什么是fastutil?

791
来自专栏F-Stack的专栏

FreeBSD下的工具(sysctl、netstat等)如何移植到F-Stack

F-Stack基于DPDK,绕过内核的协议栈,移植了FreeBSD协议栈到用户态,在大幅提高性能的同时,常规网络设置分析工具(如sysctl、netstat、i...

2918
来自专栏编程心路

SSH框架之旅-spring(4)

下面对 SSH 框架做一个整合,所用的三大框架的版本号 Struts2.3.x,Spring4.x,hibernate5.x。

774
来自专栏积累沉淀

XFire发布Web Services

步骤 1. 把XFire依赖的jar包放入lib文件夹下。 2. 在web.xml中加入如下代码: 3. 编写程序代码 首先编写一个功能的接口类。 pac...

1736
来自专栏SDNLAB

Ryu:OpenFlow协议源码分析

Ryu支持OpenFlow所有的版本,是所有SDN控制器中对OpenFlow支持最好的控制器之一。这得益于Ryu的代码设计,Ryu中关于OpenFlow协议的代...

38411
来自专栏ImportSource

Spring Boot处理REST API错误的正确姿势

如何正确的处理API的返回信息,让返回的错误信息提供更多的含义是一个非常值得做的功能。 默认一般返回的都是难以理解的堆栈信息,然而这些信息也许对于API的客户...

48313
来自专栏余林丰

Spring入门导读——IoC和AOP

和MyBatis系列不同的是,在正式开始Spring入门时,我们先来了解两个关于Spring核心的概念,IoC(Inverse of Control)控制反转和...

17410

扫码关注云+社区