当前位置:网站首页>dolphinscheduler3.x本地启动
dolphinscheduler3.x本地启动
2022-07-07 01:52:00 【HuntFalcon】
一、 基础软件安装(必装项请自行安装)
- PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
- JDK (1.8+) : 必装
- ZooKeeper (3.4.6+) :必装
在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh
- Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
- Maven: v3.5+,配阿里云仓库地址即可
- Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)
二、下载源码到本地
https://github.com/apache/dolphinscheduler.git
三、切换到指定分支,例如 3.0.0-xxx
四、切换到 dolphinscheduler-ui 目录下执行 npm install
成功后提示如下:
五、跳过测试编译
编译成功后提示如下
六、执行数据库脚本
-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`;
七、将父级 pom 中的mysql 依赖 scope 注释
刷新pom依赖
八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
九、启动本地 ZooKeeper
十、启动程序
(1)启动前端 npm run dev
(2)启动 MasterServer
(3)启动 WorkerServer
(4)启动ApiApplicationServer
十一、访问前端页面
admin dolphinscheduler123
========================================================================
十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置
(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml
(2)修改 dolphinscheduler-common 模块下的 common.properties 配置
需要修改的参数有
# 服务器上按照后软件的位置
data.basedir.path=/data/software/dolphins3
# 修改 为 HDFS 文件服务器存储模式
resource.storage.type=HDFS
# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3# hdfs 集群通信url
fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020
# yarn 资源管理器ips
yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx
配置好之后就可以新建文件以及上传资源了
十三、源码打包,供服务器部署
# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease
边栏推荐
- A freshman's summary of an ordinary student [I don't know whether we are stupid or crazy, but I know to run forward all the way]
- 牛客小白月赛52 E.分组求对数和(二分&容斥)
- A very good JVM interview question article (74 questions and answers)
- 360 Zhiyu released 7.0 new products to create an exclusive "unified digital workspace" for the party, government and army, and central and state-owned enterprises
- 高并发大流量秒杀方案思路
- POI excel export, one of my template methods
- Calculation model FPS
- 软件测试知识储备:关于「登录安全」的基础知识,你了解多少?
- 生活中的开销,怎么记账合适
- [FPGA tutorial case 13] design and implementation of CIC filter based on vivado core
猜你喜欢
安装VMmare时候提示hyper-v / device defender 侧通道安全性
postgresql 数据库 timescaledb 函数time_bucket_gapfill()报错解决及更换 license
Convert numbers to string strings (to_string()) convert strings to int sharp tools stoi();
Ideas of high concurrency and high traffic seckill scheme
【GNN】图解GNN: A gentle introduction(含视频)
Jstack of JVM command: print thread snapshots in JVM
蚂蚁庄园安全头盔 7.8蚂蚁庄园答案
Redis(二)—Redis通用命令
Introduction to the extension implementation of SAP Spartacus checkout process
How to set up in touch designer 2022 to solve the problem that leap motion is not recognized?
随机推荐
tkinter窗口选择pcd文件并显示点云(open3d)
Jstat of JVM command: View JVM statistics
3428. Put apples
Niuke Xiaobai monthly race 52 E. sum logarithms in groups (two points & inclusion and exclusion)
3531. 哈夫曼树
360 Zhiyu released 7.0 new products to create an exclusive "unified digital workspace" for the party, government and army, and central and state-owned enterprises
Crudini 配置文件编辑工具
Solve pod install error: FFI is an incompatible architecture
vim映射大K
FlexRay通信协议概述
Knight defeats demon king (Backpack & DP)
POI excel export, one of my template methods
对称的二叉树【树的遍历】
Apple CMS V10 template /mxone Pro adaptive film and television website template
Jstat pour la commande JVM: voir les statistiques JVM
关于STC单片机“假死”状态的判别
Chain storage of stack
当我们谈论不可变基础设施时,我们在谈论什么
博士申请 | 上海交通大学自然科学研究院洪亮教授招收深度学习方向博士生
Markdown displays pictures side by side