集群使用规范

1.数据尽量用应用层的库表，减少贴源层库表的访问；或者自建应用层表并定时更新；

2."spark查询，pandas处理、拼接"和"spark查询、处理、拼接"要平衡好运算速度、集群资源占用两者；

3.避免将spark.dataframe转pd.dataframe并to_csv；将spark.dataframe直接以csv方式存到hdfs：

192.168.101.11是master的ip，默认web UI界面端口50070，文件上传下载端口8020

3.1选择要储存的集群位置：例如 hdfs://192.168.101.11:8020/tmp/123.csv

3.2保存
spark_df.write.format(“csv”).options(header=‘true’, inferschema=‘true’).save(‘hdfs://192.168.101.11:8020/tmp/’ + “123.csv”)

3.3查看
df = od.spark.read.format(‘com.databricks.spark.csv’).options(header=‘true’, inferschema=‘true’).load(‘hdfs://192.168.101.11:8020/tmp/123.csv’)