Azkaban概述

什么是azkaban

1.术语

• 批量工作流任务调度器

2.解释

• 主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies来设置依赖关系
• Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流

为什么需要工作流调度系统

1.解决任务单元之间的依赖关系

• 一个完整的数据分析系统通常都是由大量任务单元组成(shell脚本程序，java程序，mapreduce程序、hive脚本等)
• 各任务单元之间存在时间先后及前后依赖关系
• 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行
  

2.定时调度器

• 整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置crontab执行
• 其实，整个过程类似于一个有向无环图（DAG）
• 每个子任务相当于大任务中的一个节点，也就是，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器

Azkaban特点

1.兼容任何版本的hadoop

2.易于使用的Web用户界面，方便简单傻瓜化操作

3.模块化和可插拔的插件机制

4.认证/授权(权限的工作)

5.能够杀死并重新启动工作流

6.有关失败和成功的电子邮件提醒

常见工作流调度系统

1.简单的任务调度

• 直接使用crontab实现

2.复杂的任务调度

• 开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等

Ooize和Azkaban特性对比

Azkaban的架构

1.架构图

2.解释

• AzkabanWebServer：AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务
• AzkabanExecutorServer：负责具体的工作流的提交、执行，它们通过MySQL数据库来协调任务的执行
• 关系型数据库(MySQL)：存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库