当前位置:网站首页>dolphinscheduler3.x本地启动

dolphinscheduler3.x本地启动

2022-07-07 01:52:00 HuntFalcon

一、 基础软件安装(必装项请自行安装)

  • PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
  • JDK (1.8+) : 必装
  • ZooKeeper (3.4.6+) :必装

在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh

  • Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
  • Maven: v3.5+,配阿里云仓库地址即可
  • Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)

二、下载源码到本地

https://github.com/apache/dolphinscheduler.git

三、切换到指定分支,例如 3.0.0-xxx

        

四、切换到 dolphinscheduler-ui 目录下执行 npm install

      

        成功后提示如下:

        

五、跳过测试编译

    

     

         编译成功后提示如下 ​​​​​​​

六、执行数据库脚本

-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`;

        

 七、将父级 pom 中的mysql 依赖 scope 注释

        

         刷新pom依赖

八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置

driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8

  九、启动本地 ZooKeeper 

     

 十、启动程序

(1)启动前端 npm run dev

 (2)启动 MasterServer

(3)启动 WorkerServer

(4)启动ApiApplicationServer

十一、访问前端页面

   http://localhost:3000/   

admin  dolphinscheduler123

======================================================================== 

十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置

(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml

(2)修改 dolphinscheduler-common 模块下的 common.properties 配置

需要修改的参数有 

 # 服务器上按照后软件的位置

data.basedir.path=/data/software/dolphins3

# 修改 为 HDFS 文件服务器存储模式

resource.storage.type=HDFS


# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3

# hdfs 集群通信url

fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020

# yarn 资源管理器ips

yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx

配置好之后就可以新建文件以及上传资源了

十三、源码打包,供服务器部署

# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease

原网站

版权声明
本文为[HuntFalcon]所创,转载请带上原文链接,感谢
https://blog.csdn.net/october_sky13/article/details/125515689