Azkaban实战

单一job案例

1.创建job描述文件

• vim job1.job

#first.job
type=command
command=echo 'this is my first job'

2.将job资源文件打包成zip文件

• 安装zip,unzip命令

yum install -y unzip zip

• 压缩

zip job1.zip job1.job

• Azkaban上传的工作流文件只支持xxx.zip文件，zip应包含xxx.job运行作业所需的文件和任何文件（文件名后缀必须是.job，否则无法识别）,作业名称在项目中必须是唯一的

3.通过azkaban的web管理平台创建project并上传job的zip包

• 创建project
  
• 上传zip包
  
• 启动执行该job
  
  
  
• Job执行成功
  
• 点击查看job日志
  

多job工作流案例

1.创建job描述文件

• 第一个job：start.job

vim start.job
	#start.job
	type=command
	command=touch /usr/local/azkaban/jobs/t2test.txt

• 第二个job：step1.job依赖start.job

vim step1.job
	#step1.job
	type=command
	dependencies=start
	command=echo "this is step1 job"

• 第三个job：step2.job依赖start.job

vim step2.job
	#step2.job
	type=command
	dependencies=start
	command=echo "this is step2 job"

• 第四个job：finish.job依赖step1.job和step2.job

vim finish.job
	#finish.job
	type=command
	dependencies=step1,step2
	command=echo "this is finish job"

2.将job资源文件打包成zip文件

• zip jobs.zip start.job step1.job step2.job finish.job

3.通过azkaban的web管理平台创建project并上传job的zip包

Java操作任务

1.编写java程序

import java.io.FileOutputStream;
import java.io.IOException;

public class AzkabanTest {
    
	public void run() throws IOException {
    
		FileOutputStream fos = new FileOutputStream("/usr/local/azkaban/t3test.txt");
		fos.write("this is a java progress".getBytes());
		fos.close();
    }

	public static void main(String[] args) throws IOException {
    
		AzkabanTest azkabanTest = new AzkabanTest();
		azkabanTest.run();
	}
}

2.java程序打成jar

• 生成class文件
  
• jar -cvf AzkabanTest.jar AzkabanTest.class
  
• 移动到linux内
  
• 试运行

java -jar AzkabanTest.jar

3.编写job

• vim java.job

type=javaprocess
java.class=AzkabanTest
classpath=/usr/local/azkaban/jobs/t3/jar/* 

4.将job打成zip

• zip java.zip java.job

5.web操作

HDFS操作任务

1.创建job描述文件

• vim fs.job

type=command
command=/usr/local/hadoop-2.7.1/bin/hadoop fs -mkdir /azkaban

2.将job资源文件打包成zip文件

zip fs.zip fs.job

3.web操作

MapReduce任务

1.创建job描述文件

• vim mapreduce.job

#mapreduce job
type=command
command=/usr/local/hadoop-2.7.1/bin/hadoop jar /usr/local/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcountinput /wordcountinputazkaban

2.将job资源文件打包成zip文件

zip mapreduce.zip mapreduce.job

3.web操作