⼯作流调度系统

⼀个完整的数据分析系统通常都是由⼤量任务单元组成：如shell脚本程序，java程序，mapreduce程序，hive脚本等

各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执⾏计划，需要⼀个⼯作流调度系统来调度任务的执⾏。

假如，我有这样⼀个需求，某个业务系统每天产⽣20G原始数据，每天都要对其进⾏处理，处理步骤如下所示：

  • 通过Hadoop先将原始数据同步到HDFS上；

  • 借助MapReduce计算框架对原始数据进⾏转换，⽣成的数据以分区表的形式存储到多张Hive表中；

  • 需要对Hive中多个表的数据进⾏JOIN处理，得到⼀个明细数据Hive⼤表；

  • 将明细数据进⾏各种统计分析，得到结果报表信息；

  • 需要将统计分析得到的结果数据同步到业务系统中，供业务调⽤使⽤。

⼯作流调度实现⽅式

  • 简单的任务调度

    • 直接使⽤linux的crontab；

  • 复杂的任务调度

    • 开发调度平台或使⽤现成的开源调度系统，⽐如Ooize、Azkaban、Airflow等

Azkaban与Oozie对⽐

对市⾯上最流⾏的两种调度器，进⾏对⽐分析。总体来说，Ooize相⽐Azkaban是⼀个重量级的任务调度系统，功能全⾯，但配置使⽤也更复杂(xml)。如果可以不在意某些功能的缺失，轻量级调度器Azkaban是很不错的候选对象。

  • 功能

    • 两者均可以调度mapreduce,pig,java,脚本⼯作流任务

    • 两者均可以定时执⾏⼯作流任务

  • ⼯作流定义

    • Azkaban使⽤Properties⽂件定义⼯作流

    • Oozie使⽤XML⽂件定义⼯作流

  • ⼯作流传参

    • Azkaban⽀持直接传参，例如${input}

    • Oozie⽀持参数和EL表达式，例如${fs:dirSize(myInputDir)}

  • 定时执⾏

    • Azkaban的定时执⾏任务是基于时间的

    • Oozie的定时执⾏任务基于时间和输⼊数据

  • 资源管理

    • Azkaban有较严格的权限控制，如⽤户对⼯作流进⾏读/写/执⾏等操作

    • Oozie暂⽆严格的权限控制

  • ⼯作流执⾏

    • Azkaban有两种运⾏模式，分别是solo server mode(executor server和web server部署在同⼀台节点)和multi server mode(executor server和web server可以部署在不同节点)

    • Oozie作为⼯作流服务器运⾏，⽀持多⽤户和多⼯作流

Azkaban介绍

Azkaban是由linkedin（领英）公司推出的⼀个批量⼯作流任务调度器，⽤于在⼀个⼯作流内以⼀个特定的顺序运⾏⼀组⼯作和流程。Azkaban使⽤job配置⽂件建⽴任务之间的依赖关系，并提供⼀个易于使⽤的web⽤户界⾯维护和跟踪你的⼯作流。


Azkaban定义了⼀种KV⽂件(properties)格式来建⽴任务之间的依赖关系，并提供⼀个易于使⽤的web⽤户界⾯维护和跟踪你的⼯作流。

  • 功能特点

    • Web⽤户界⾯

    • ⽅便上传⼯作流

    • ⽅便设置任务之间的关系

    • 调度⼯作流

  • 架构⻆⾊

    • mysql服务器: 存储元数据，如项⽬名称、项⽬描述、项⽬权限、任务状态、SLA规则等

    • AzkabanWebServer:对外提供web服务，使⽤户可以通过web⻚⾯管理。职责包括项⽬管理、权限授权、任务调度、监控executor。

    • AzkabanExecutorServer:负责具体的⼯作流的提交、执⾏。