OpenvSwitch系列之浅析main函数

通过前面几篇解析OpenvSwitch内部主要数据结构和流程,对OpenvSwitch有了相对简单的了解,由于本人不是专业搞OpenvSwitch的,纯属业余爱好,今天可能是OpenvSwitch最后一篇了,我们要做到有始有终嘛,所以我们来分析一下main函数。然而main函数里面涉及内容比较多,而且比较深入,所以这篇文章只是浅析,不能算深入剖析,希望以后能有哪位大神能够做一个深入剖析。

自己在学习开源软件总是喜欢看一下main函数,认为不把main函数搞明白了,就不算一个好程序员!!其实把main函数搞明白了,所有东西都会被串起来了,软件架构也就清晰啦。

我们先看一下openvswitch默认启动时候的参数:

整理一下参数如下: ovs-vswitchd: monitoring pid 2155 (healthy) ovs-vswitchd unix:/var/run/openvswitch/db.sock -vconsole:emer -vsyslog:err -vfile:info --mlockall --no-chdir --log-file=/var/log/openvswitch/ovs-vswitchd.log --pidfile=/var/run/openvswitch/ovs-vswitchd.pid --detach –monitor 由此可知,上面是openvswitch会启动两个进程,一个进程是管理进程(2154),一个是业务处理进程(2155)。

我们开始进入正题吧,main函数虽然不是很长,但是最复杂的函数,里面涉及很多与操作系统相关的功能和函数,比如,守护进程,信号,dpdk,pipe等。如果熟悉linux环境编程,看main函数可能比较轻松一点。我们采用分段介绍:

int main(int argc, char *argv[])
{
    char *unixctl_path = NULL;
    struct unixctl_server *unixctl;
    char *remote;
    bool exiting;
    int retval;
    set_program_name(argv[0]);/* ovs-vswitchd */
    retval = dpdk_init(argc,argv); /* Netdev-dpdk.c 只有设置--dpdk的参数才开启dpdk功能 */
    if (retval < 0) {
        return retval;
    }
    argc -= retval;
    argv += retval;
    ovs_cmdl_proctitle_init(argc, argv);/* windows函数是空 */
    service_start(&argc, &argv);/* linux函数这个是空 */
    remote = parse_options(argc, argv, &unixctl_path);
    fatal_ignore_sigpipe(); /* linux设置 信号 */
ovsrec_init();
daemonize_start(); /* 守护进程 */

以上代码主要完成: 1、dpdk初始化(如果系统支持),命令行参数解析,信号设置等,以便于openvswitch能够正常启动。参数解析比较枯燥,我们完全可以通过gdb调试跟踪,这样也比较方便理解。对于参数解析函数,我也没有深入研究,有兴趣网友可以分析一下。 2、daemonize_start启动守护进程。这个函数我深入研究了一下,这里我会深入展开的。

我们在这里就展开daemonize_start函数 : 我们假定进入函数daemonize_start的进程是进程A(PID=1005)

void
daemonize_start(void)
{
    assert_single_threaded();
    daemonize_fd = -1;
    if (detach) {/* 根据命令行参数(命令行参数设置detach),则全局变量detach是1 因此会进入if分支。*/
        pid_t pid;/* 保存子进程ID */
        /* fork_and_wait_for_ startup这个函数用于创建一个子进程,下面我着重分析的。通过函数名可知,父进程被挂起了。 */
        if (fork_and_wait_for_startup(&daemonize_fd, &pid)) {
            VLOG_FATAL("could not detach from foreground session");
        }
        /* 进程A(PID=1005)一直阻塞在管道那里,等待数据可读。当管道有可读数据时候,进程A就会跳出阻塞状态,然后进入if分支,最后进程A(PID=1005)就结束了。 */
        if (pid > 0) {
            /* Running in parent process. */
            exit(0);
        }
        /* 执行到下面是进程A(PID=1004)的子进程,我们称作进程B(PID=1007)
 * 执行完下面函数,使得进程B与进程A脱离进程组关系。换句话说,
* 如果进程A退出,进程B不会变成孤儿进程。
 */
        setsid(); /* 子进程--进程B 与父进程脱离 进程组关系 */
    }
    /* 下面的代码 进程B会执行,父进程A一直阻塞,等待管道的输入 */
    if (monitor) {/* 根据命令行参数可知,全局变量monitor是1 */
        int saved_daemonize_fd = daemonize_fd;/* 管道的输入端文件描述符 */
        pid_t daemon_pid;
        /* 进程B创建一个子进程--进程C (PID=1010)*/
        if (fork_and_wait_for_startup(&daemonize_fd, &daemon_pid)) {
            VLOG_FATAL("could not initiate process monitoring");
        }
        /* 进入if分支,是进程B(PID=1007),但是进程B一直等待中。 */
        if (daemon_pid > 0) {
            /* Running in monitor process. */
            fork_notify_startup(saved_daemonize_fd);/* 在管道写入数据以便通知原始的父进程—进程A,这样进程A就会退出 */
            close_standard_fds();
 /* 进程B 阻塞这函数中,主要为了监控子进程—进程C(PID=1010) */
            monitor_daemon(daemon_pid); 
        }
        /* Running in daemon process. */
    }
    forbid_forking("running in daemon process");
    if (pidfile) {
        make_pidfile(); /* 创建pid文件 进程号是进程C的进程号 */
    }
    /* Make sure that the unixctl commands for vlog get registered in a
     * daemon, even before the first log message. */
    vlog_init();
}
我们来看一下,这个fork函数,比较欣慰的是这个函数有英文注释,而且英文注释说的也非常清楚,下面也有我自己添加的注释。
/* Forks, then:
 *
 *   - In the parent, waits for the child to signal that it has completed its
 *     startup sequence.  Then stores -1 in '*fdp' and returns the child's
 *     pid in '*child_pid' argument.
 *     父进程一直等待子进程的完成信号,当收到子进程的信号后,文件描述符(*fdp)
 *     保存-1,child_pid保存子进程的进程号。
 *
 *   - In the child, stores a fd in '*fdp' and returns 0 through '*child_pid'
 *     argument.  The caller should pass the fd to fork_notify_startup() after
 *     it finishes its startup sequence.
 *     子进程返回:*fdp保存有效的文件描述符,child_pid保存0。
 *
 *
 * Returns 0 on success.  If something goes wrong and child process was not
 * able to signal its readiness by calling fork_notify_startup(), then this
 * function returns -1. However, even in case of failure it still sets child
 * process id in '*child_pid'. 
 *
 * fdp = 文件描述符
 */
static int
fork_and_wait_for_startup(int *fdp, pid_t *child_pid)
{
    int fds[2];
    pid_t pid;
    int ret = 0;
    xpipe(fds); /* 初始化管道 */
    pid = fork_and_clean_up(); /* 创建子进程 */
    if (pid > 0) {
        /* Running in parent process. 父进程 */
        size_t bytes_read;
        char c;
        close(fds[1]);/* 关闭写入端 也就是说父进程负责读 */
        if (read_fully(fds[0], &c, 1, &bytes_read) != 0) {/* 父进程一直,等待读取数据 */
            int retval;
            int status;
            do {
                retval = waitpid(pid, &status, 0);/* 等待子进程信号 */
            } while (retval == -1 && errno == EINTR);
            if (retval == pid) {
                if (WIFEXITED(status) && WEXITSTATUS(status)) {
                    /* Child exited with an error.  Convey the same error
                     * to our parent process as a courtesy. */
                    exit(WEXITSTATUS(status));
                } else {
                    char *status_msg = process_status_msg(status);
                    VLOG_ERR("fork child died before signaling startup (%s)",
                             status_msg);
                    ret = -1;
                }
            } else if (retval < 0) {
                VLOG_FATAL("waitpid failed (%s)", ovs_strerror(errno));
            } else {
                OVS_NOT_REACHED();
            }
        }
        close(fds[0]); /* 关闭读取端 并且返回 */
        *fdp = -1;
    } else if (!pid) {
        /* Running in child process. 子进程 */
        close(fds[0]); /* 关闭读取端 也就是说子进程负责写 */
        *fdp = fds[1];
    }
    *child_pid = pid; /* 保存进程 */
    return ret;
}

通过上面的分析可知,某个时刻,会有三个进程同事存在,为了验证准确性,我进行了gdb调试,调试截图如下:

再启动另外一个终端查看,ovs-vswitchd进程是否为三个,如下图所示:

通过查看,果然是存在三个进程。那么问题来了,当启动完成后,只有两个进程,那么什么时候进程A才会退出呢?

我们现在回到main函数中,通过阅读代码,我现在是这下面这个函数中,进程C会通知进程B完成初始化,然后进程B在通知进程A,最终进程A退出。下面代码主要是main函数中死循环,具体函数说明如下:

exiting = false;
    while (!exiting) {
        memory_run();
        if (memory_should_report()) {
            struct simap usage;
            simap_init(&usage);
            bridge_get_memory_usage(&usage);
            memory_report(&usage);
            simap_destroy(&usage);
        }
/* 这个函数是vswitchd入口函数,所有虚拟交换机都是通过这个函数一点一点
* 构建出来。之前几篇文件,如果查看函数调用,最终都会被这个函数调用。 
* 这个函数里面会调用函数daemonize_complete,这个函数是通知进程B初始化
* 完成。
*/
        bridge_run(); 
        unixctl_server_run(unixctl);/* 针对上面命令行参数,unixctl是null. */
        netdev_run();
        memory_wait();
        bridge_wait();
        unixctl_server_wait(unixctl);
        netdev_wait();
        if (exiting) {
            poll_immediate_wake();
        }
        poll_block(); /* 当初始化完成后,进程C 一直在这里进程轮询 */
        if (should_service_stop()) {
            exiting = true;
        }
    }
    bridge_exit();
    unixctl_server_destroy(unixctl);
    service_stop();
    return 0;
}

我们总结一下

1、任何程序都是可以调试,当我们通过看代码无法分析出层次关系,往往调试工具、日志是我们最好的伙伴。比如说,我当初不知道进程A是如何在什么情况下退出的,这个时候我就通过gdb调试,一步一步断点跟踪。

2、对于main函数还是有很多需要仔细推敲的,这里个人水平有限,加上工作中又有很多事情无法进一步分析。这里有几个疑惑地方,在这里向大家说明一下,如果有哪位大神知道,请一定要指点迷津。

疑惑1:函数unixctl_server_create会创建一个socket文件,这个socket文件默认是"punix:/usr/local/var/run/openvswitch/ovs-vswitchd.12861.ctl",用于通过和其他进程(主要是openvswitch相关工具),具体是哪些工具呢??

疑惑2:在main函数中,注册了一个命令行exit,使得openvswitchd能够安全退出,不知道这个命令行怎么用??

以上就是我分析openvswitchd源代码全部内容,有些地方分析不是很透彻,有些地方分析的也比较混乱。通过我这最近两月学习,有一些心得体会拿出来和大家分享一下:

1、个人觉得openvswitchd中代码含金量还是很高的,无论是从个人还是公司角度,都是值得我们学习与阅读。强烈建议有相关需求的人去阅读一下。

2、如果想深入学习openvswitchd,需要特别关注一下这几个方面,用户态和内核态程序间通信(Netlink),dpdk,netdev等。如果熟悉内核的人,对这些内容可能不是很陌生,然而很多人都不是搞内核的,所以这些内容需要我们个个突破。

3、我前面几篇都是分析用户态程序(ovs-vswitchd),内核态程序没有分析,其实内核态程序占得比重也非常大。

4、我建议在看我源码分析文章时,最好能够自己先看一下源代码,这样能够跟上我文章的思路,不然有的文章看着会很枯燥。

这里感谢大家支持,感谢sdnlab支持,希望大家在SDN道路上越走越光明!!

原文发布于微信公众号 - SDNLAB(SDNLAB)

原文发表时间:2016-02-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏个人分享

数据集成中间件知识点总结

  数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。

4551
来自专栏张善友的专栏

用Sysctl 调整Linux操作系统的性能

Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项, 这可以让有经验的管理员提高引人注目的系统...

24510
来自专栏大数据和云计算技术

HBase框架基础(二)

HBase的基础框架,将分成几个章节对HBase进行描述,不当之处还望大家批评指正。下面是了解HBase基础架构的第二部分。

1502
来自专栏Java帮帮-微信公众号-技术文章全总结

15.MVC/业务代表模式

15.MVC/业务代表模式 MVC 模式 MVC 模式代表 Model-View-Controller(模型-视图-控制器) 模式。这种模式用于应用程序的分层开...

4407
来自专栏纯洁的微笑

一次线上问题排查所引发的思考

之前或多或少分享过一些内存模型、对象创建之类的内容,其实大部分人看完都是懵懵懂懂,也不知道这些的实际意义。

1211
来自专栏Danny的专栏

VMware10下安装CentOS 6.5+基本网络配置

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

1293
来自专栏蓝天

揭开Linux的Swap之谜

为什么选择Linux?因为Linux能让你掌握你所做的一切!   为什么痛恨Windows?因为Windows让你不知道自己在做什么!   这就是我喜欢Linu...

1583
来自专栏北京马哥教育

HTTP/2 十分钟速知

升级到 HTTP/2 后,那些针对HTTP/1.x 的优化手段需要如何变化? 答:总结来说,除了多域名增加并行 TCP 连接数不再适用以外,启用 HTTP/2...

4168
来自专栏玄魂工作室

Kali Linux Web渗透测试手册(第二版) - 2.3 - 使用Nmap进行扫描和识别应用服务

thr0cyte,Gr33k,花花,MrTools,R1ght0us,7089bAt,

2323
来自专栏JAVA技术zhai

分享30道Redis面试题,面试官能问到的我都找到了

Redis本质上是一个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到...

2822

扫码关注云+社区

领取腾讯云代金券