前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >OpenvSwitch系列之浅析main函数

OpenvSwitch系列之浅析main函数

作者头像
SDNLAB
发布2018-04-03 10:42:11
1.7K0
发布2018-04-03 10:42:11
举报
文章被收录于专栏:SDNLABSDNLAB

通过前面几篇解析OpenvSwitch内部主要数据结构和流程,对OpenvSwitch有了相对简单的了解,由于本人不是专业搞OpenvSwitch的,纯属业余爱好,今天可能是OpenvSwitch最后一篇了,我们要做到有始有终嘛,所以我们来分析一下main函数。然而main函数里面涉及内容比较多,而且比较深入,所以这篇文章只是浅析,不能算深入剖析,希望以后能有哪位大神能够做一个深入剖析。

自己在学习开源软件总是喜欢看一下main函数,认为不把main函数搞明白了,就不算一个好程序员!!其实把main函数搞明白了,所有东西都会被串起来了,软件架构也就清晰啦。

我们先看一下openvswitch默认启动时候的参数:

整理一下参数如下: ovs-vswitchd: monitoring pid 2155 (healthy) ovs-vswitchd unix:/var/run/openvswitch/db.sock -vconsole:emer -vsyslog:err -vfile:info --mlockall --no-chdir --log-file=/var/log/openvswitch/ovs-vswitchd.log --pidfile=/var/run/openvswitch/ovs-vswitchd.pid --detach –monitor 由此可知,上面是openvswitch会启动两个进程,一个进程是管理进程(2154),一个是业务处理进程(2155)。

我们开始进入正题吧,main函数虽然不是很长,但是最复杂的函数,里面涉及很多与操作系统相关的功能和函数,比如,守护进程,信号,dpdk,pipe等。如果熟悉linux环境编程,看main函数可能比较轻松一点。我们采用分段介绍:

代码语言:javascript
复制
int main(int argc, char *argv[])
{
    char *unixctl_path = NULL;
    struct unixctl_server *unixctl;
    char *remote;
    bool exiting;
    int retval;
    set_program_name(argv[0]);/* ovs-vswitchd */
    retval = dpdk_init(argc,argv); /* Netdev-dpdk.c 只有设置--dpdk的参数才开启dpdk功能 */
    if (retval < 0) {
        return retval;
    }
    argc -= retval;
    argv += retval;
    ovs_cmdl_proctitle_init(argc, argv);/* windows函数是空 */
    service_start(&argc, &argv);/* linux函数这个是空 */
    remote = parse_options(argc, argv, &unixctl_path);
    fatal_ignore_sigpipe(); /* linux设置 信号 */
ovsrec_init();
daemonize_start(); /* 守护进程 */

以上代码主要完成: 1、dpdk初始化(如果系统支持),命令行参数解析,信号设置等,以便于openvswitch能够正常启动。参数解析比较枯燥,我们完全可以通过gdb调试跟踪,这样也比较方便理解。对于参数解析函数,我也没有深入研究,有兴趣网友可以分析一下。 2、daemonize_start启动守护进程。这个函数我深入研究了一下,这里我会深入展开的。

我们在这里就展开daemonize_start函数 : 我们假定进入函数daemonize_start的进程是进程A(PID=1005)

代码语言:javascript
复制
void
daemonize_start(void)
{
    assert_single_threaded();
    daemonize_fd = -1;
    if (detach) {/* 根据命令行参数(命令行参数设置detach),则全局变量detach是1 因此会进入if分支。*/
        pid_t pid;/* 保存子进程ID */
        /* fork_and_wait_for_ startup这个函数用于创建一个子进程,下面我着重分析的。通过函数名可知,父进程被挂起了。 */
        if (fork_and_wait_for_startup(&daemonize_fd, &pid)) {
            VLOG_FATAL("could not detach from foreground session");
        }
        /* 进程A(PID=1005)一直阻塞在管道那里,等待数据可读。当管道有可读数据时候,进程A就会跳出阻塞状态,然后进入if分支,最后进程A(PID=1005)就结束了。 */
        if (pid > 0) {
            /* Running in parent process. */
            exit(0);
        }
        /* 执行到下面是进程A(PID=1004)的子进程,我们称作进程B(PID=1007)
 * 执行完下面函数,使得进程B与进程A脱离进程组关系。换句话说,
* 如果进程A退出,进程B不会变成孤儿进程。
 */
        setsid(); /* 子进程--进程B 与父进程脱离 进程组关系 */
    }
    /* 下面的代码 进程B会执行,父进程A一直阻塞,等待管道的输入 */
    if (monitor) {/* 根据命令行参数可知,全局变量monitor是1 */
        int saved_daemonize_fd = daemonize_fd;/* 管道的输入端文件描述符 */
        pid_t daemon_pid;
        /* 进程B创建一个子进程--进程C (PID=1010)*/
        if (fork_and_wait_for_startup(&daemonize_fd, &daemon_pid)) {
            VLOG_FATAL("could not initiate process monitoring");
        }
        /* 进入if分支,是进程B(PID=1007),但是进程B一直等待中。 */
        if (daemon_pid > 0) {
            /* Running in monitor process. */
            fork_notify_startup(saved_daemonize_fd);/* 在管道写入数据以便通知原始的父进程—进程A,这样进程A就会退出 */
            close_standard_fds();
 /* 进程B 阻塞这函数中,主要为了监控子进程—进程C(PID=1010) */
            monitor_daemon(daemon_pid); 
        }
        /* Running in daemon process. */
    }
    forbid_forking("running in daemon process");
    if (pidfile) {
        make_pidfile(); /* 创建pid文件 进程号是进程C的进程号 */
    }
    /* Make sure that the unixctl commands for vlog get registered in a
     * daemon, even before the first log message. */
    vlog_init();
}
我们来看一下,这个fork函数,比较欣慰的是这个函数有英文注释,而且英文注释说的也非常清楚,下面也有我自己添加的注释。
/* Forks, then:
 *
 *   - In the parent, waits for the child to signal that it has completed its
 *     startup sequence.  Then stores -1 in '*fdp' and returns the child's
 *     pid in '*child_pid' argument.
 *     父进程一直等待子进程的完成信号,当收到子进程的信号后,文件描述符(*fdp)
 *     保存-1,child_pid保存子进程的进程号。
 *
 *   - In the child, stores a fd in '*fdp' and returns 0 through '*child_pid'
 *     argument.  The caller should pass the fd to fork_notify_startup() after
 *     it finishes its startup sequence.
 *     子进程返回:*fdp保存有效的文件描述符,child_pid保存0。
 *
 *
 * Returns 0 on success.  If something goes wrong and child process was not
 * able to signal its readiness by calling fork_notify_startup(), then this
 * function returns -1. However, even in case of failure it still sets child
 * process id in '*child_pid'. 
 *
 * fdp = 文件描述符
 */
static int
fork_and_wait_for_startup(int *fdp, pid_t *child_pid)
{
    int fds[2];
    pid_t pid;
    int ret = 0;
    xpipe(fds); /* 初始化管道 */
    pid = fork_and_clean_up(); /* 创建子进程 */
    if (pid > 0) {
        /* Running in parent process. 父进程 */
        size_t bytes_read;
        char c;
        close(fds[1]);/* 关闭写入端 也就是说父进程负责读 */
        if (read_fully(fds[0], &c, 1, &bytes_read) != 0) {/* 父进程一直,等待读取数据 */
            int retval;
            int status;
            do {
                retval = waitpid(pid, &status, 0);/* 等待子进程信号 */
            } while (retval == -1 && errno == EINTR);
            if (retval == pid) {
                if (WIFEXITED(status) && WEXITSTATUS(status)) {
                    /* Child exited with an error.  Convey the same error
                     * to our parent process as a courtesy. */
                    exit(WEXITSTATUS(status));
                } else {
                    char *status_msg = process_status_msg(status);
                    VLOG_ERR("fork child died before signaling startup (%s)",
                             status_msg);
                    ret = -1;
                }
            } else if (retval < 0) {
                VLOG_FATAL("waitpid failed (%s)", ovs_strerror(errno));
            } else {
                OVS_NOT_REACHED();
            }
        }
        close(fds[0]); /* 关闭读取端 并且返回 */
        *fdp = -1;
    } else if (!pid) {
        /* Running in child process. 子进程 */
        close(fds[0]); /* 关闭读取端 也就是说子进程负责写 */
        *fdp = fds[1];
    }
    *child_pid = pid; /* 保存进程 */
    return ret;
}

通过上面的分析可知,某个时刻,会有三个进程同事存在,为了验证准确性,我进行了gdb调试,调试截图如下:

再启动另外一个终端查看,ovs-vswitchd进程是否为三个,如下图所示:

通过查看,果然是存在三个进程。那么问题来了,当启动完成后,只有两个进程,那么什么时候进程A才会退出呢?

我们现在回到main函数中,通过阅读代码,我现在是这下面这个函数中,进程C会通知进程B完成初始化,然后进程B在通知进程A,最终进程A退出。下面代码主要是main函数中死循环,具体函数说明如下:

代码语言:javascript
复制
exiting = false;
    while (!exiting) {
        memory_run();
        if (memory_should_report()) {
            struct simap usage;
            simap_init(&usage);
            bridge_get_memory_usage(&usage);
            memory_report(&usage);
            simap_destroy(&usage);
        }
/* 这个函数是vswitchd入口函数,所有虚拟交换机都是通过这个函数一点一点
* 构建出来。之前几篇文件,如果查看函数调用,最终都会被这个函数调用。 
* 这个函数里面会调用函数daemonize_complete,这个函数是通知进程B初始化
* 完成。
*/
        bridge_run(); 
        unixctl_server_run(unixctl);/* 针对上面命令行参数,unixctl是null. */
        netdev_run();
        memory_wait();
        bridge_wait();
        unixctl_server_wait(unixctl);
        netdev_wait();
        if (exiting) {
            poll_immediate_wake();
        }
        poll_block(); /* 当初始化完成后,进程C 一直在这里进程轮询 */
        if (should_service_stop()) {
            exiting = true;
        }
    }
    bridge_exit();
    unixctl_server_destroy(unixctl);
    service_stop();
    return 0;
}

我们总结一下

1、任何程序都是可以调试,当我们通过看代码无法分析出层次关系,往往调试工具、日志是我们最好的伙伴。比如说,我当初不知道进程A是如何在什么情况下退出的,这个时候我就通过gdb调试,一步一步断点跟踪。

2、对于main函数还是有很多需要仔细推敲的,这里个人水平有限,加上工作中又有很多事情无法进一步分析。这里有几个疑惑地方,在这里向大家说明一下,如果有哪位大神知道,请一定要指点迷津。

疑惑1:函数unixctl_server_create会创建一个socket文件,这个socket文件默认是"punix:/usr/local/var/run/openvswitch/ovs-vswitchd.12861.ctl",用于通过和其他进程(主要是openvswitch相关工具),具体是哪些工具呢??

疑惑2:在main函数中,注册了一个命令行exit,使得openvswitchd能够安全退出,不知道这个命令行怎么用??

以上就是我分析openvswitchd源代码全部内容,有些地方分析不是很透彻,有些地方分析的也比较混乱。通过我这最近两月学习,有一些心得体会拿出来和大家分享一下:

1、个人觉得openvswitchd中代码含金量还是很高的,无论是从个人还是公司角度,都是值得我们学习与阅读。强烈建议有相关需求的人去阅读一下。

2、如果想深入学习openvswitchd,需要特别关注一下这几个方面,用户态和内核态程序间通信(Netlink),dpdk,netdev等。如果熟悉内核的人,对这些内容可能不是很陌生,然而很多人都不是搞内核的,所以这些内容需要我们个个突破。

3、我前面几篇都是分析用户态程序(ovs-vswitchd),内核态程序没有分析,其实内核态程序占得比重也非常大。

4、我建议在看我源码分析文章时,最好能够自己先看一下源代码,这样能够跟上我文章的思路,不然有的文章看着会很枯燥。

这里感谢大家支持,感谢sdnlab支持,希望大家在SDN道路上越走越光明!!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2016-02-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 SDNLAB 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档