[Doris核心原理] -- FE启动过程原理分析2 -- 启动类PaloFe.java

小伟

发布于 2022-07-24 09:32:43

8060

发布于 2022-07-24 09:32:43

文章被收录于专栏：魔都程序缘魔都程序缘

整个Doris Fe的启动是通过start_fe.sh调用org.apache.doris.PaloFe.main(String[] args)函数开始的. main()函数中初始化和启动了Fe全部的服务, 如下图所示:

下面依次简单讲解这个图中发生的核心初始化逻辑: PaloFe.java的初始化过程, 其他类的初始化见其他文章

1. 处理启动参数

这里主要通过parseArgs(args)方法将 start_fe.sh 传递过来的参数转化为CommandLineOptions对象, 方便后续处理. 比如第7点.

2. 处理PID文件

pid文件主要是防止启动相同的Fe进程. 在启动Fe时会检查pid文件所在目录是否存在fe.pid文件, 存在的话告诉用户已经启动一个进程了. 不存在的话则获取当前Fe启动进程号, 写入该文件.

3. 加载fe.conf

fe.conf我们都知道是Fe的配置文件, 通过以下代码将fe文件路径传入init()方法后初始化.

new Config().init(dorisHomeDir + "/conf/fe.conf");

这个方法以Properties文件的格式读取fe.conf文件, 并将内容加载到ConfigBase.java类中的一个静态变量props中.

public static Properties props;  
public static Class<? extends ConfigBase> confClass;    
public void init(String propfile) throws Exception {
    props = new Properties();
    confClass = this.getClass();
    props.load(new FileReader(propfile));
    replacedByEnv();
    setFields();
}

confClass = this.getClass(): 这个主要是获取当前类的class信息, 并保存到全局变量confClass中, 这里是Config.java的class, 以待后用.
replacedByEnv(): 这个方法会将配置文件中的配置value为shell变量的的数据从系统环境变量中取出, 替换为真实的值保存在props中. 为啥这么做呢, 目前我还有点没有想明白.(难解1).
setFields(): 这个方法会将配置加载完成的props变量中的key、value按照key名字与Config.java中打了@ConfField标记的字段名相同的方式, 设置对应的value. 具体是通过setConfigField()方法设置的具体value.

4. 校验java版本

这个比较简单, 主要代码在JdkUtils.checkJavaVersion()中, 大家可以自行查看.

5. 初始化日志配置

这里通过Log4jConfig.initLogging()方法实现, 逻辑比较简单, 唯一难解的是log4j的配置文件模板是HARD CODE在java代码中的, 从目前java的方便处理和主要处理方法来看, 基本都是放在一个配置文件中.

这里也有一个非常棒的地方, 每个模块可以单独配置日志生效级别, 原理是log4j的verbose modules机制, 具体是实现方式可以google关键字: StrSubstitutor+Interpolator了解

6. DNS缓存过期设置

java.security.Security.setProperty("networkaddress.cache.ttl" , "60");

7.处理bdb查看命令

在PaloFe.java中, 可以通过命令行查看当前doris Fe的编译信息和bdb中的一些信息. 主要通过dorischeckCommandLineOptions()方法实现.

查看FE的编译信息. cmdLineOpts变量是第1点中解析命令行参数的结果. 代码如下:

cmdLineOpts.runBdbTools(), 如果是运行的bdb工具, 则会根据命令, 去bdb中查询结果, 打印, 关闭控制台. 注意System.exit(0)与System.exit(-1)的区别.

BDBTool bdbTool = new BDBTool(Catalog.getCurrentCatalog().getBdbDir(), cmdLineOpts.getBdbToolOpts());
if (bdbTool.run()) {
   System.exit(0);
} else {
   System.exit(-1);
}

8. 初始化Fe服务

这里是通过调用FrontendOptions.init()方法实现的, 逻辑是获取了当前服务器可以提供Fe服务的ip或者host.

9. 初始化Fe执行环境

这里的执行环境, 我理解为主要是jdbc协议的执行环境. 通过ExecuteEnv.setup()方法实现. ConnectScheduler.java这个类是jdbc连接管理的主要场地, 这里规定了最大的jdbc连接数, 这些连接如何执行(线程池)、如何验证用户、如何授权等.

10. Catalog初始化

这个是Fe中最复杂的一个初始化, 通过Catalog.getCurrentCatalog().initialize(args)方法初始化. 这里面主要初始化了元数据加载、editlog回放等, 后面会单独讲解.

11. 启动Qe服务、Fe Thrift服务、Http服务

这些是Fe中的核心服务,