2020-08-14：数据任务的执行引擎用的哪些？

5行代码，即可让微信小程序上架到自己的APP中 | 注册送大疆、华为、樱桃键盘！>>>

福哥答案2020-08-14：

知乎答案

最基础的是 crontab 定时任务。
考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。
大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中，就是基于DAG描述rdd之间的依赖关系。