Data Lake: each module component

         Mainly based on the collation of some common big data open source framework technologies at this stage , Just a brief introduction , It's not a detailed technical review . There may be omissions , Find and rearrange . Too many references , I don't want to list them one by one . It's just as a carding , Make a reference for future model selection or expansion .

system platform （Hadoop、CDH、HDP）

Monitoring management （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）

file system （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）

Resource scheduling （YARN、Mesos、）

Coordination framework （ZooKeeper、Etcd、Consul）

data storage （HBase、Cassandra、ScyllaDB、MongoDB、Accumulo、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData）

Data processing （MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron）

Query analysis （Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix）

data collection （Flume、Filebeat、Logstash、Chukwa）

Data exchange （Sqoop 、Kettle、DataX、NiFi）

The messaging system （Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ）

Task scheduling （Azkaban、Oozie、Airflow）

Data governance （Ranger 、Sentry、Atlas） visualization （Kibana 、D3.js、ECharts）

data mining （Mahout 、MADlib、Spark ML、TensorFlow、Keras）

Cloud platform （Amazon S3、GCP、Microsoft Azure）