离线数仓-用户行为采集

一.写总体用户采集脚本
1）在/home/atguigu/bin目录下创建脚本cluster.sh
[[email protected] bin]$ vim cluster.sh
在脚本中填写如下内容
#!/bin/bash

case $1 in
“start”){
echo ================== 启动 集群 ==================

    #启动 Zookeeper集群
    zk.sh start

    #启动 Hadoop集群
    hdp.sh start

    #启动 Kafka采集集群
    kf.sh start

    #启动 Flume采集集群
    f1.sh start

    #启动 Flume消费集群
    f2.sh start

    };;

“stop”){
echo ================== 停止 集群 ==================

    #停止 Flume消费集群
    f2.sh stop

    #停止 Flume采集集群
    f1.sh stop

    #停止 Kafka采集集群
    kf.sh stop

    #停止 Hadoop集群
    hdp.sh stop

    #停止 Zookeeper集群
    zk.sh stop

};;
esac
（2）增加脚本执行权限
[[email protected] bin]$ chmod u+x cluster.sh
（3）cluster集群启动脚本
[[email protected] module]$ cluster.sh start
（4）cluster集群停止脚本
[[email protected] module]$ cluster.sh stop

二。常见问题及解决方案
1 2NN页面不能显示完整信息
1）问题描述
访问2NN页面http://hadoop104:9868，看不到详细信息
2）解决办法
（1）在浏览器上按F12，查看问题原因。定位bug在61行
（2）找到要修改的文件
[[email protected] static]$ pwd
/opt/module/hadoop-3.1.3/share/hadoop/hdfs/webapps/static

[[email protected] static]$ vim dfs-dust.js
:set nu
修改61行
return new Date(Number(v)).toLocaleString();
（3）分发dfs-dust.js
[[email protected] static]$ xsync dfs-dust.js
（4）在http://hadoop104:9868/status.html 页面强制刷新