当前位置:网站首页>dolphinscheduler3.x本地启动
dolphinscheduler3.x本地启动
2022-07-07 01:52:00 【HuntFalcon】
一、 基础软件安装(必装项请自行安装)
- PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
- JDK (1.8+) : 必装
- ZooKeeper (3.4.6+) :必装
在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh
- Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
- Maven: v3.5+,配阿里云仓库地址即可
- Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)
二、下载源码到本地
https://github.com/apache/dolphinscheduler.git三、切换到指定分支,例如 3.0.0-xxx

四、切换到 dolphinscheduler-ui 目录下执行 npm install

成功后提示如下:

五、跳过测试编译


编译成功后提示如下

六、执行数据库脚本
-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`; 
七、将父级 pom 中的mysql 依赖 scope 注释

刷新pom依赖
八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8


九、启动本地 ZooKeeper

十、启动程序
(1)启动前端 npm run dev

(2)启动 MasterServer

(3)启动 WorkerServer

(4)启动ApiApplicationServer

十一、访问前端页面
admin dolphinscheduler123

========================================================================
十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置
(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml

(2)修改 dolphinscheduler-common 模块下的 common.properties 配置

需要修改的参数有
# 服务器上按照后软件的位置
data.basedir.path=/data/software/dolphins3
# 修改 为 HDFS 文件服务器存储模式
resource.storage.type=HDFS
# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3# hdfs 集群通信url
fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020
# yarn 资源管理器ips
yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx
配置好之后就可以新建文件以及上传资源了
十三、源码打包,供服务器部署
# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease边栏推荐
- Oracle迁移中关于大容量表使用数据泵(expdp、impdp)导出导入容易出现的问题和注意事项
- ML's shap: Based on the adult census income binary prediction data set (whether the predicted annual income exceeds 50K), use the shap decision diagram combined with the lightgbm model to realize the
- Calculation model FPS
- 关于STC单片机“假死”状态的判别
- [Shell]常用shell命令及测试判断语句总结
- Storage of dental stem cells (to be continued)
- When we talk about immutable infrastructure, what are we talking about
- [SOC FPGA] custom IP PWM breathing lamp
- 谷歌 Chrome 浏览器发布 103.0.5060.114 补丁修复 0-day 漏洞
- 【OpenCV】形态学滤波(2):开运算、形态学梯度、顶帽、黑帽
猜你喜欢

Software testing knowledge reserve: how much do you know about the basic knowledge of "login security"?

一段程序让你明白什么静态内部类,局部内部类,匿名内部类

VMware安装后打开就蓝屏

【OpenCV】形态学滤波(2):开运算、形态学梯度、顶帽、黑帽

基于ADAU1452的DSP及DAC音频失真分析

Laravel uses Tencent cloud cos5 full tutorial

postgresql 数据库 timescaledb 函数time_bucket_gapfill()报错解决及更换 license

Markdown 并排显示图片

Check point: the core element for enterprises to deploy zero trust network (ztna)

Redis(二)—Redis通用命令
随机推荐
Party A's requirements for those who have lost 800 yuan
Chain storage of stack
C语言整理(待更新)
Financial risk control practice - decision tree rule mining template
A freshman's summary of an ordinary student [I don't know whether we are stupid or crazy, but I know to run forward all the way]
3531. 哈夫曼树
Oracle迁移中关于大容量表使用数据泵(expdp、impdp)导出导入容易出现的问题和注意事项
Convert numbers to string strings (to_string()) convert strings to int sharp tools stoi();
Qt多线程的多种方法之一 QThread
职场经历反馈给初入职场的程序员
生活中的开销,怎么记账合适
对称的二叉树【树的遍历】
面试中有哪些经典的数据库问题?
JVM监控及诊断工具-命令行篇
3531. Huffman tree
rt-thread 中对 hardfault 的处理
The boss always asks me about my progress. Don't you trust me? (what do you think)
哈趣投影黑马之姿,仅用半年强势突围千元投影仪市场!
Several key steps of software testing, you need to know
Qtthread, one of many methods of QT multithreading