Idea中运行sparkSQL

这是一个wordcount例子

1.准备wordcount的文本

 

2.hadoop环境搭建

下载

 解压，hadoop到某个目录

将hadoop.dll和winutils.exe放入C:\Windows\System32目录下

将hadoop.dll和winutils.exe放入解压后的hadoop\bin目录下

配置环境变量

cmd，输入hadoop -version

成功显示版本

重启IDEA 

3.scala环境搭建

离线在idea中安装scala插件_我要用代码向我喜欢的女孩表白的博客-CSDN博客_idea离线安装scala插件

4.spark的相关依赖

4.你很可能会遇到的问题

5.代码部分（最简单）

6.将测试好的代码，打包成jar

7.打包后，想在linux上跑