当前位置:网站首页>dolphinscheduler3.x本地启动
dolphinscheduler3.x本地启动
2022-07-07 01:52:00 【HuntFalcon】
一、 基础软件安装(必装项请自行安装)
- PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可
- JDK (1.8+) : 必装
- ZooKeeper (3.4.6+) :必装
在 ZooKeeper 的目录下新建 zkData、zkLog文件夹
将 conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:
dataDir=/data/zookeeper/data ## 此处使用绝对路径
dataLogDir=/data/zookeeper/datalog
运行 ./bin/zkServer.sh
- Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or MinIO集群上
- Maven: v3.5+,配阿里云仓库地址即可
- Node: v16.13+ (dolphinScheduler 版本低于 3.0, 请安装 node v12.20+)
二、下载源码到本地
https://github.com/apache/dolphinscheduler.git
三、切换到指定分支,例如 3.0.0-xxx
四、切换到 dolphinscheduler-ui 目录下执行 npm install
成功后提示如下:
五、跳过测试编译
编译成功后提示如下
六、执行数据库脚本
-- 执行脚本前,创建数据库
CREATE DATABASE `dolphinscheduler`;
七、将父级 pom 中的mysql 依赖 scope 注释
刷新pom依赖
八、修改 dolphinscheduler-master 和 dolphinscheduler-worker 以及 dolphinscheduler-api配置,改为自己本地的数据库配置
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
九、启动本地 ZooKeeper
十、启动程序
(1)启动前端 npm run dev
(2)启动 MasterServer
(3)启动 WorkerServer
(4)启动ApiApplicationServer
十一、访问前端页面
admin dolphinscheduler123
========================================================================
十二、如果需要本地启动调度任务需要修改 Hadoop 的一些配置
(1)dolphinscheduler-dao 模块下放入 core-site.xml 和 hdfs-site.xml
(2)修改 dolphinscheduler-common 模块下的 common.properties 配置
需要修改的参数有
# 服务器上按照后软件的位置
data.basedir.path=/data/software/dolphins3
# 修改 为 HDFS 文件服务器存储模式
resource.storage.type=HDFS
# hdfs 文件服务器上存储调度系统上传资源的位置 resource.upload.path=/data/dolphinscheduler3# hdfs 集群通信url
fs.defaultFS=hdfs://xxx.xxx.xxx.xxx:8020
# yarn 资源管理器ips
yarn.resourcemanager.ha.rm.ids=xxx.xxx.xxx.xxx
配置好之后就可以新建文件以及上传资源了
十三、源码打包,供服务器部署
# 打包
mvn -Dmaven.test.skip=true clean package install -Prelease
边栏推荐
- jvm命令之 jcmd:多功能命令行
- laravel 使用腾讯云 COS5全教程
- Audio distortion analysis of DSP and DAC based on adau1452
- 基于FPGA的VGA协议实现
- 职场经历反馈给初入职场的程序员
- JVM 全面深入
- JMeter function assistant - random value, random string, fixed value random extraction
- 骑士战胜魔王(背包&dp)
- "Parse" focalloss to solve the problem of data imbalance
- Introduction to the extension implementation of SAP Spartacus checkout process
猜你喜欢
软件测试的几个关键步骤,你需要知道
博士申请 | 上海交通大学自然科学研究院洪亮教授招收深度学习方向博士生
Understand the deserialization principle of fastjson for generics
Test the foundation of development, and teach you to prepare for a fully functional web platform environment
Jinfo of JVM command: view and modify JVM configuration parameters in real time
3531. 哈夫曼树
Find duplicate email addresses
Apple CMS V10 template /mxone Pro adaptive film and television website template
3531. Huffman tree
If you don't know these four caching modes, dare you say you understand caching?
随机推荐
Niuke Xiaobai monthly race 52 E. sum logarithms in groups (two points & inclusion and exclusion)
改变ui组件原有样式
A freshman's summary of an ordinary student [I don't know whether we are stupid or crazy, but I know to run forward all the way]
Markdown 并排显示图片
laravel 使用腾讯云 COS5全教程
Cloud acceleration helps you effectively solve attack problems!
postgresql 数据库 timescaledb 函数time_bucket_gapfill()报错解决及更换 license
Crudini 配置文件编辑工具
On the discrimination of "fake death" state of STC single chip microcomputer
软件测试知识储备:关于「登录安全」的基础知识,你了解多少?
Qt多线程的多种方法之一 QThread
VMware安装后打开就蓝屏
vim映射大K
"Parse" focalloss to solve the problem of data imbalance
k8s运行oracle
雷特智能家居龙海祁:从专业调光到全宅智能,20年专注成就专业
Jmeter自带函数不够用?不如自己动手开发一个
Symmetric binary tree [tree traversal]
When we talk about immutable infrastructure, what are we talking about
【GNN】图解GNN: A gentle introduction(含视频)