【MapReduce】一个完整MR程序案例教你如何用IDEA打包及运行

本文通过一个统计”通讯录“文件内容的MapReduce程序案例来教大家如何使用IDEA打包MR程序并在集群里执行。

我们假设已经安装配置好了Hadoop。我们要做的就是在IDEA里写MapReduce代码并打包后放到我们的集群上执行。

一、环境准备

我们在IDEA里新建一个maven项目，然后在新建的maven项目的pom.xml里添加如下依赖，其中hadoop的版本视自己情况而定。

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>