当前位置:网站首页>dolphinscheduler3.x本地启动
dolphinscheduler3.x本地启动
2022-07-07 01:52:00 【HuntFalcon】
一、 基础软件安装(必装项请自行安装)
- PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
- JDK (1.8+) : 必装
- ZooKeeper (3.4.6+) :必装
在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh
- Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
- Maven: v3.5+,配阿里云仓库地址即可
- Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)
二、下载源码到本地
https://github.com/apache/dolphinscheduler.git
三、切换到指定分支,例如 3.0.0-xxx
四、切换到 dolphinscheduler-ui 目录下执行 npm install
成功后提示如下:
五、跳过测试编译
编译成功后提示如下
六、执行数据库脚本
-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`;
七、将父级 pom 中的mysql 依赖 scope 注释
刷新pom依赖
八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
九、启动本地 ZooKeeper
十、启动程序
(1)启动前端 npm run dev
(2)启动 MasterServer
(3)启动 WorkerServer
(4)启动ApiApplicationServer
十一、访问前端页面
admin dolphinscheduler123
========================================================================
十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置
(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml
(2)修改 dolphinscheduler-common 模块下的 common.properties 配置
需要修改的参数有
# 服务器上按照后软件的位置
data.basedir.path=/data/software/dolphins3
# 修改 为 HDFS 文件服务器存储模式
resource.storage.type=HDFS
# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3# hdfs 集群通信url
fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020
# yarn 资源管理器ips
yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx
配置好之后就可以新建文件以及上传资源了
十三、源码打包,供服务器部署
# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease
边栏推荐
- C语言整理(待更新)
- Rk3399 platform development series explanation (WiFi) 5.52. Introduction to WiFi framework composition
- 直击2022ECDC萤石云开发者大会:携手千百行业加速智能升级
- Check point: the core element for enterprises to deploy zero trust network (ztna)
- JVM命令之 jstat:查看JVM统计信息
- [SQL practice] a SQL statistics of epidemic distribution across the country
- 10W word segmentation searches per second, the product manager raised another demand!!! (Collection)
- DC-7靶机
- Oracle迁移中关于大容量表使用数据泵(expdp、impdp)导出导入容易出现的问题和注意事项
- c语言(结构体)定义一个User结构体,含以下字段:
猜你喜欢
关于STC单片机“假死”状态的判别
蚂蚁庄园安全头盔 7.8蚂蚁庄园答案
[FPGA tutorial case 13] design and implementation of CIC filter based on vivado core
力扣62 不同路径(从矩阵左上到右下的所有路径数量) (动态规划)
【GNN】图解GNN: A gentle introduction(含视频)
When we talk about immutable infrastructure, what are we talking about
【OpenCV】形态学滤波(2):开运算、形态学梯度、顶帽、黑帽
开发者别错过!飞桨黑客马拉松第三期链桨赛道报名开启
JVM命令之 jstat:查看JVM統計信息
From "running distractor" to data platform, Master Lu started the road of evolution
随机推荐
职场经历反馈给初入职场的程序员
C语言面试 写一个函数查找两个字符串中的第一个公共字符串
Jstat pour la commande JVM: voir les statistiques JVM
缓存在高并发场景下的常见问题
ST表预处理时的数组证明
Redis(一)——初识Redis
Jstat of JVM command: View JVM statistics
LM小型可编程控制器软件(基于CoDeSys)笔记二十三:伺服电机运行(步进电机)相对坐标转换为绝对坐标
安装mongodb数据库
一名普通学生的大一总结【不知我等是愚是狂,唯知一路向前奔驰】
K8s running Oracle
C语言整理(待更新)
POI excel export, one of my template methods
Symmetric binary tree [tree traversal]
Handling hardfault in RT thread
测试开发基础,教你做一个完整功能的Web平台之环境准备
Jinfo of JVM command: view and modify JVM configuration parameters in real time
Redis(二)—Redis通用命令
字符串常量与字符串对象分配内存时的区别
When we talk about immutable infrastructure, what are we talking about