FreeBSD下的工具(sysctl、netstat等)如何移植到F-Stack

F-Stack基于DPDK,绕过内核的协议栈,移植了FreeBSD协议栈到用户态,在大幅提高性能的同时,常规网络设置分析工具(如sysctl、netstat、ifconfig、route等)都无法直接使用。但是由于在用户态运行了FreeBSD的协议栈,我们可以移植FreeBSD下的这些工具到F-Stack。

移植的关键是这些工具要能与F-Stack进程通信,在之前的文章中,我们介绍了如何使用DPDK rte_ring来进行多进程的通信,tools/ipc目录就是基于rte_ring实现了一个简单的ipc框架。下面以sysctl为例,介绍一下如何移植到F-Stack。

查看FreeBSD 11.0.1 /sbin/sysctl的源码,可以发现是通过系统调用sysctl来与内核进行通信的,我们需要替换掉的就是这个函数。

首先在lib/ff_msg.h中,定义了用于通信的结构体struct ff_msg,暂时只实现了sysctl,后续会加上sysctlbyname、ioctl等其他工具移植需要的系统调用。

/* MSG TYPE: sysctl, sysctlbyname, etc.. */
enum FF_MSG_TYPE {
    FF_UNKNOWN = 0,
    FF_SYSCTL,
};

struct ff_sysctl_args {
    int *name;
    unsigned namelen;
    void *old;
    size_t *oldlenp;
    void *new;
    size_t newlen;
};

#define MAX_MSG_BUF_SIZE 10240

/* structure of ipc msg */
struct ff_msg {
    enum FF_MSG_TYPE msg_type;
    /* Result of msg processing */
    int result;
    /* Length of segment buffer. */
    uint16_t buf_len;
    /* Address of segment buffer. */
    char *buf_addr;

    union {
        struct ff_sysctl_args sysctl;
    };
} __attribute__((packed)) __rte_cache_aligned;

lib/ff_dpdk_if.c中,F-Stack初始化时会创建单个元素长度为MAX_MSG_BUF_SIZE的内存池message_pool,通信时从message_pool里取出元素,转换成struct ff_msg,这里有个要注意的地方,ff_msg.sysctl里的指针成员(name、old等)必须指向ff_msg.buf_addr到ff_msg.buf_addr+ff.msg_buf_len之间的地址(ff_msg.buf_len=MAX_MSG_BUF_SIZE-sizeof(struct ff_msg)),不能使用自己申请的内存地址,这是因为用于通信的数据必须使用rte_mempool中的共享内存,否则另一端会出现未知的错误。

处理流程:从ring中出队列,取出msg,判断是FF_SYSCTL类型,然后执行ff_sysctl函数获取或设置FreeBSD内核的状态参数,最后再把msg入队列。这里出入的ring是单生产者单消费者模式的,使用了两个,一个用于F-Stack出,工具入,一个用于F-Stack入,工具出。

static inline void
handle_sysctl_msg(struct ff_msg *msg, uint16_t proc_id)
{
    int ret = ff_sysctl(msg->sysctl.name, msg->sysctl.namelen,
        msg->sysctl.old, msg->sysctl.oldlenp, msg->sysctl.new,
        msg->sysctl.newlen);

    if (ret < 0) {
        msg->result = errno;
    } else {
        msg->result = 0;
    }

    rte_ring_enqueue(msg_ring[proc_id].ring[1], msg);
}

static inline void
handle_default_msg(struct ff_msg *msg, uint16_t proc_id)
{
    msg->result = EINVAL;
    rte_ring_enqueue(msg_ring[proc_id].ring[1], msg);
}

static inline void
handle_msg(struct ff_msg *msg, uint16_t proc_id)
{
    switch (msg->msg_type) {
        case FF_SYSCTL:
            handle_sysctl_msg(msg, proc_id);
            break;
        default:
            handle_default_msg(msg, proc_id);
            break;
    }
}

static inline int
process_msg_ring(uint16_t proc_id)
{
    void *msg;
    int ret = rte_ring_dequeue(msg_ring[proc_id].ring[0], &msg);

    if (unlikely(ret == 0)) {
        handle_msg((struct ff_msg *)msg, proc_id);
    }

    return 0;
}

然后看下sysctl中的处理,这里我们实现了一个新的函数sysctl_ipc用来替换原来的系统调用sysctl:

int sysctl_ipc(uint16_t proc_id, int *name, unsigned namelen, void *old,
    size_t *oldlenp, const void *new, size_t newlen);

因为F-Stack是多进程架构,并且每个进程都有一个独立的FreeBSD栈,所以新增了一个参数proc_id,用于指定与哪个F-Stack进程通信,这个算是一个不方便的地方。其他参数都与原生sysctl的一样。

sysctl_ipc的实现流程:从mempool中获取ff_msg对象,设置参数,入ring队列,出ring队列,输出返回信息。

    struct ff_msg *msg = ff_ipc_msg_alloc();

    char *buf_addr = msg->buf_addr;
    msg->msg_type = FF_SYSCTL;
    msg->sysctl.name = (int *)buf_addr;
    msg->sysctl.namelen = namelen;
    memcpy(msg->sysctl.name, name, namelen*sizeof(int));
    buf_addr += namelen*sizeof(int);

    ........

    ff_ipc_send(msg, proc_id);

    ff_ipc_recv(&retmsg, proc_id);

    .....

    ff_ipc_msg_free(msg);

另外由于是移植的FreeBSD下的sysctl,所以它的头文件、结构体在Linux下可能没有,需要根据实际情况进行增删。 具体的代码可以查看tools/ipc 和 tools/sysctl目录。

运行效果:

除了新增加了一个-p参数用于指定与哪个F-Stack进程通信外,其他参数与原生FreeBSD一致,具体可参考man page:https://www.freebsd.org/cgi/man.cgi?sysctl。

根据这个例子,我们可以对其他工具进行移植,如ifconfig、route、netstat等,欢迎大家提交pull request

项目地址:https://github.com/F-Stack/f-stack

原文发布于微信公众号 - FStack(F-Stack)

原文发表时间:2017-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏linux驱动个人学习

动态链接

要解决空间浪费和更新困难这两个问题最简单的办法就是把程序的模块相互分割开来,形成独立的文件,而不再将它们静态地链接在一起。简单地讲,就是不对那些组成程序的目标文...

1592
来自专栏前端之心

为什么全球只有13组根域名服务器?

根域名服务器是域名解析系统(DNS)中最为顶级的域名服务器,它们负责管理顶级域的权威域名服务器地址。作为互联网基础设施的重要部分,所有域名的解析操作均离不开它们...

7377
来自专栏orientlu

VIM 操作记录

选择指定符号 (", ', ), }, ]) 区域内的内容 举个例子 : [ a + cda [daff ] ], 当前光标在 [daff] 范围

4012
来自专栏大数据杂谈

非常实用的九个程序员工具网站

2034
来自专栏james大数据架构

springmvc注入类 NoUniqueBeanDefinitionException: No qualifying bean of type [] is defined: expected sin

在springmvc中注入服务时用@Service 当有两个实现类时都标明@Service后则会出现异常: nested exception is org.sp...

2187
来自专栏LhWorld哥陪你聊算法

Nginx篇--解读nginx配置

之前讲解了Nginx的源码安装与加载到系统服务中去,http://www.cnblogs.com/LHWorldBlog/p/8298226.html 今天详细...

1553
来自专栏数据结构与算法

利用MingW检验程序运行内存

今天zhx老师在讲课的时候提到了一种检验程序内存的方法 一般计算内存的方法就是手算,手动计算代码中每个变量所占的内存然后加起来 具体可以参考这篇文章 zhx老师...

2806
来自专栏陈纪庚

SPA页面初试

982
来自专栏容器云生态

shell脚本实例

'使用sed 去除以空格开头的行,第一个sort进行整理输出,uniq -c进行统计,sort -rn进行从大到小排列 # cat cat.ip | awk -...

2636
来自专栏程序员的知识天地

Python实现一个代码行数统计工具

我们经常想要统计项目的代码行数,但是如果想统计功能比较完善可能就不是那么简单了, 今天我们来看一下如何用python来实现一个代码行统计工具。

1681

扫码关注云+社区

领取腾讯云代金券