当前位置：网站首页>Dolphinscheduler stand-alone transformation

Dolphinscheduler stand-alone transformation

2022-07-30 12:52:00 【God】

`dolphinscheduler`单机化改造

转载请注明出处: https://www.cnblogs.com/funnyzpc/p/16466920.html

前面

其实如果单机的话直接走standalone-server就可以了,简单又快捷,如果更改的话后期要升级可能又需要维护个版本才可,所以简单用standalone-server是最合适的. 好了,就说说我碰到的standalone-server模式下的一些不便的地方以及解决思路,还有种种折腾

`standalone-server`下没有日志

这是个很坑的问题,非常不利于调试,以下这是官方 dolphinscheduler-daemon.sh 的代码片段

elif [ "$command" = "standalone-server" ]; then
 CLASS=org.apache.dolphinscheduler.server.StandaloneServer
 export SPRING_PROFILES_ACTIVE="${SPRING_PROFILES_ACTIVE},standalone,${DATABASE_TYPE}"

所以你大概需要改成这样:

elif [ "$command" = "standalone-server" ]; then
 LOG_FILE="-Dlogging.config=classpath:logback-master.xml"
 CLASS=org.apache.dolphinscheduler.server.StandaloneServer
 export SPRING_PROFILES_ACTIVE="${SPRING_PROFILES_ACTIVE},standalone,${DATABASE_TYPE}"

对于ide调试需要添加此参数:

任务执行用户与系统用户强绑定问题

你是不是系统搭建起来了,也创建worker账户了而且也正确创建任务了发现任务总执行失败呢,这个时候就该注意是不是linux没有创建对应worker同名的账户呢/(ㄒoㄒ)/~~ ,我也碰到了,也是看源码才知道的,所以在单机模式下有必要将这个限制去掉哈（TaskExecuteThread）

这样下来,以后不管什么账户都是可以执行任务了,注意这功能不要在集群模式下去掉,至少为了安全吧~

`standalone-server`下用的是`h2`数据库

这是个坑,h2你可以理解为应用级别的内存表,很显然当你重启应用了数据就全丢失啦,刺不刺激意不意外对于这个问题,很显然需要将数据库改为mysql或者postgresql(主要是目前官方只支持这两款数据库作为项目数据库),需要改的地方大致有两处:

一个地方是配置文件,在部署服务器config目录下

还一个地方是启动类 StandaloneServer

对于配置文件肯定是要改的,至于这个配置文件也可以在启动命令行中指定此配置文件,以上只是个投机取巧的做法,也避免了修改启动脚本

去掉`zookeeperclient`及依赖

因为集群环境的复杂性,所以需要任务有zookeeper,但对于单机也就冗余复杂了,所以就索性去掉之

这里是从MasterServer开始移除zk支持,所以代码也是大改,所有关联的全部被我去掉了,太麻烦了...具体你们可以试试

日志可以不用`rpc`

本来到这一步应该也结束了,跑了几个任务发现没得日志,检查了下才发现代码告诉我他们是用 netty 实现了个rpc,使用前需要启动日志模块(standalone-server下默认不会启动此模块),日志用rpc调用logger模块来查询日志...,咋办,继续改...

主要也就以上两个地方需要修改,具体的可以参见我的源码(开头有提~)

简化不必要的启动模块

这其实是顺带做的,启动类 StandaloneServer 我去掉了TestingServer、AlertServer、PythonGatewayServer ,去掉后启动速度及资源占用有提升下面是具体代码：

 @EnableAutoConfiguration
@ComponentScan
public class StandaloneServer {
   public static void main(String[] args) throws Exception {
//        final TestingServer server = new TestingServer(true);
//        System.setProperty("registry.servers", server.getConnectString());

       new SpringApplicationBuilder(
           ApiApplicationServer.class,
           MasterServer.class,
           WorkerServer.class
//            AlertServer.class
//            PythonGatewayServer.class
       ).profiles("master", "worker", "api",/* "alert", "python-gateway", "h2",*/ "standalone","postgresql").run(args);
   }
}