数据湖：各模块组件

        主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。

系统平台 （Hadoop、CDH、HDP）

监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）

文件系统 （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）

资源调度 （YARN、Mesos、）

协调框架 （ZooKeeper、Etcd、Consul）

数据存储 （HBase、Cassandra、ScyllaDB、MongoDB、Accumulo、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData）

数据处理 （MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron）

查询分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix）

数据收集 （Flume、Filebeat、Logstash、Chukwa）

数据交换 （Sqoop 、Kettle、DataX、NiFi）

消息系统 （Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ）

任务调度 （Azkaban、Oozie、Airflow）

数据治理 （Ranger 、Sentry、Atlas） 可视化 （Kibana 、D3.js、ECharts）

数据挖掘 （Mahout 、MADlib、Spark ML、TensorFlow、Keras）

云平台 （Amazon S3、GCP、Microsoft Azure）