dolphinscheduler单机化改造
dolphinscheduler单机化改造
转载请注明出处: https://cloud.tencent.com/developer/article/2062650
前面
其实如果单机的话直接走standalone-server就可以了，简单又快捷，如果更改的话 后期要升级可能又需要维护个版本才可，所以简单用standalone-server是最合适的。
好了，就说说我碰到的standalone-server模式下的一些不便的地方以及解决思路,还有种种折腾😓
standalone-server下没有日志
这是个很坑的问题，非常不利于调试，以下这是官方 dolphinscheduler-daemon.sh 的代码片段
elif [ "$command" = "standalone-server" ]; then
CLASS=org.apache.dolphinscheduler.server.StandaloneServer
export SPRING_PROFILES_ACTIVE="${SPRING_PROFILES_ACTIVE},standalone,${DATABASE_TYPE}"所以你大概需要改成这样:
elif [ "$command" = "standalone-server" ]; then
LOG_FILE="-Dlogging.config=classpath:logback-master.xml"
CLASS=org.apache.dolphinscheduler.server.StandaloneServer
export SPRING_PROFILES_ACTIVE="${SPRING_PROFILES_ACTIVE},standalone,${DATABASE_TYPE}"对于ide调试需要添加此参数:
任务执行用户与系统用户强绑定问题
你是不是系统搭建起来了，也创建worker账户了 而且也正确创建任务了 发现任务总执行失败呢😂，这个时候就该注意是不是linux没有创建对应worker同名的账户呢/(ㄒoㄒ)/~~ ，我也碰到了，也是看源码才知道的，所以在单机模式下有必要将这个限制去掉哈😂
（TaskExecuteThread）
这样下来，以后不管什么账户都是可以执行任务了，注意这功能不要在集群模式下去掉，至少为了安全吧~
standalone-server下用的是h2数据库
这是个坑，h2你可以理解为应用级别的内存表，很显然当你重启应用了数据就全丢失啦😂，刺不刺激意不意外🤣
对于这个问题，很显然需要将数据库改为mysql或者postgresql(主要是目前官方只支持这两款数据库作为项目数据库)，需要改的地方大致有两处:
- 一个地方是配置文件，在部署服务器
config目录下
- 还一个地方是启动类
StandaloneServer
对于配置文件肯定是要改的，至于这个配置文件也可以在启动命令行中指定此配置文件，以上只是个投机取巧的做法，也避免了修改启动脚本😂
去掉zookeeper client及依赖
因为集群环境的复杂性，所以需要任务有zookeeper，但对于单机也就冗余复杂了，所以就索性去掉之
这里是从MasterServer开始移除zk支持，所以代码也是大改，所有关联的全部被我去掉了,太麻烦了。。。具体你们可以试试
日志可以不用rpc
本来到这一步应该也结束了，跑了几个任务发现没得日志，检查了下才发现代码告诉我他们是用 netty 实现了个rpc，使用前需要启动日志模块(standalone-server下默认不会启动此模块)，日志用rpc调用logger模块来查询日志。。。，咋办，继续改。。。
主要也就以上两个地方需要修改，具体的可以参见我的源码(开头有提~)
简化不必要的启动模块
这其实是顺带做的，启动类 StandaloneServer 我去掉了TestingServer、AlertServer、PythonGatewayServer ，去掉后启动速度及资源占用有提升😉😉
下面是具体代码：
@EnableAutoConfiguration
@ComponentScan
public class StandaloneServer {
public static void main(String[] args) throws Exception {
// final TestingServer server = new TestingServer(true);
// System.setProperty("registry.servers", server.getConnectString());
new SpringApplicationBuilder(
ApiApplicationServer.class,
MasterServer.class,
WorkerServer.class
// AlertServer.class
// PythonGatewayServer.class
).profiles("master", "worker", "api",/* "alert", "python-gateway", "h2",*/ "standalone","postgresql").run(args);
}
}修改worker执行主机host获取方式
这也是个坑，主要是源码基于集群考虑这个问题，单机还是得修改才可：
以上两处只是关键部分，对于此问题修改的地方不止以上两处，具体可以参见我源码哈😝😝