Flink 1.15.1 集群搭建（StandaloneSession）

一 、准备

1、Flink版本

 Apache Flink 1.15.1 for Scala 2.12

2、系统平台

linux debian11.4_64。

3、节点

• 192.168.1.25（flink-master、flink-worker-1）
• 192.168.1.26（flink-worker-2）
• 192.168.1.27（flink-worker-3）

4、配置

(1) 本地DNS设置

分别在三个节点的/etc/hosts文件中添加如下内容：

192.168.1.25 flink-master
192.168.1.25 flink-worker-1
192.168.1.26 flink-worker-2
192.168.1.27 flink-worker-3

(2) ssh免密登录设置

Flink独立集群通过运行 sshd 以执行用于管理 Flink 各组件的脚本。

1）生成秘钥

分别在三个节点上执行如下命令：

ssh-keygen

2）安装公钥

把当前节点的公钥安装到其他节点上（包含当前节点），即将本节点的~/.ssh /id_rsa.pub文件内容添加到其他集群节点的~/.ssh/authorized_keys文件中，则其他集群节点就可以免密登录本节点。

分别在三个节点上执行如下三条命令：

ssh-copy-id flink-worker-1
ssh-copy-id flink-worker-2
ssh-copy-id flink-worker-3

二、搭建集群

1、安装路径

将下载的Flink二进制包解压，复制到/opt/flink-1.15.1路径下。三个节点相同。

2、配置集群节点列表

在master节点上配置即可。

1）主节点（jobmanager）

修改/opt/flink-1.15.1/conf/masters文件，添加master节点地址，内容如下:

flink-master:8081

2）工作节点(taskmanager)

修改/opt/flink-1.15.1/conf/workers文件，添加worker节点地址，内容如下:

flink-worker-1
flink-worker-2
flink-worker-3

通过配置masters、workers，就可以通过start-cluster.sh和stop-cluster.sh脚本来统一管理（启动、关闭等）所有集群的节点，方便、快捷。

我们也可以不配置masters、workers，不通过start-cluster.sh和stop-cluster.sh脚本来管理集，直接通过执行 “ jobmanager.sh start | stop ”、“ taskmanager.sh start | stop ” 来启动主节点和工作节点（通过start-cluster.sh启动的集群，也可以通过taskmanager.sh动态添加或移除工作节点）。

3、集群参数配置

分别修改三个节点的/opt/flink-1.15.1/conf/flink-conf.yaml文件，关键内容如下（其他参数视情况设定）：

# master地址
jobmanager.rpc.address: flink-master
 
# master端口
jobmanager.rpc.port: 6123

# master地址绑定设置（master节点参数）
jobmanager.bind-host: 0.0.0.0

# worker地址绑定设置
taskmanager.bind-host: 0.0.0.0

# worker地址（注意：三个worker节点的host不一样）
taskmanager.host: flink-worker-1
 
# worker槽位数设置
taskmanager.numberOfTaskSlots: 2
 
# 默认并行度
parallelism.default: 2

# WEB UI 端口（master节点参数）
rest.port: 8081

# WEB UI 管理地址
rest.address: flink-master

# WEB UI 地址绑定设置，想让外部访问，可以设置具体的IP，或者直接设置成“0.0.0.0”（master节点参数）
rest.bind-address: 0.0.0.0

# Job文件目录（master节点参数）
web.upload.dir: /opt/flink-1.15.1/usrlib

# IO临时目录，默认：/tmp
io.tmp.dirs: /opt/flink-1.15.1/tmp

# 集群节点进程ID存放目录，默认：/tmp
env.pid.dir: /opt/flink-1.15.1/pids

注意：

三个worker节点的"taskmanager.host"参数是不一样的，改成各自的地址即可。每个worker节点的槽位数和并行度也可以根据节点自身的条件进行设置。

4、启动集群

在master节点上，通过/opt/flink-1.15.1/bin/start-cluster.sh脚本即可启动集群（standalonesession模式）。运行该脚本，会自动启动jobmanager节点和集群中的其他三个taskmanager（无需在其他节点上启动taskmanager）。

启动过程：

管理界面（概览）：

管理界面（jobmanager）：

 管理界面（taskmanager）：

 5、关闭集群

在master节点上，运行/opt/flink-1.15.1/bin/stop-cluster.sh脚本即可，会同时停止jobmanager和所有的taskmanager。

二、执行JOB

上传任务JAR：

任务状态：