Flink的安装部署

想让APP和微信一样，可以流畅运行小程序？ | 体验即送大疆、华为、樱桃键盘！>>>

一. Flink的下载

安装包下载地址 ，选择对应Hadoop的Flink版本下载

 

 

 

 Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。

二. Local模式

对于 Local 模式来说，JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。如果要验证一个简单的应用，Local 模式是最方便的。实际应用中大多使用 Standalone 或者 Yarn Cluster，而local模式只是将安装包解压启动（./bin/start-local.sh）即可，在这里不在演示。

三. Standalone HA模式

Standalone模式顾名思义，是在本地集群上调度执行，不依赖于外部调度机制例如YARN, 一般需要配置为HA，防止Jobmanager突然挂掉，导致整个集群或者任务执行失败的情况发生。下面介绍一下Standalone HA模式的搭建安装

当Flink程序运行时，如果jobmanager崩溃，那么整个程序都会失败。为了防止jobmanager的单点故障，借助于zookeeper的协调机制，可以实现jobmanager的HA配置—-1主（leader）多从（standby）。这里的HA配置只涉及standalone模式，yarn模式暂不考虑。 

本例中规划Jobmanager:hadoop01,hadoop02(一个active，一个standby)；Taskmanager：hadoop02，hadoop03；zookeeper集群

1.  集群部署规划

节点名称	master	worker	zookeeper
hadoop01	master	worker	zookeeper
hadoop02	master	worker	zookeeper
hadoop03		woker	zookeeper

 

 

 

 

 

 

 

2. 解压

[hadoop@hadoop01 apps]$ tar -zxvf flink-1.7.2-bin-scala_2.11.tgz -C ./

  [hadoop@hadoop01 apps]$ ls
  azkaban flink-1.7.2 flink-1.7.2-bin-scala_2.11.tgz flume-1.8.0 hadoop-2.7.4 jq kafka_2.11-0.11 zkdata zookeeper-3.4.10 zookeeper.out

3. 修改配置文件

配置masters文件

　　该文件用于指定主节点及其web访问端口，表示集群的Jobmanager，vi masters，添加master:8081

[hadoop@hadoop01 conf]$ vim masters hadoop01:8081
hadoop02:8081

配置slaves文件，该文件用于指定从节点，表示集群的taskManager。添加以下内容

[hadoop@hadoop01 conf]$ vim slaveshadoop01hadoop02hadoop03

配置文件flink-conf.yaml