DataNode Decommision

 目录

 1、配置文件 hdfs-site.xml 

2、退役节点名单

3、刷新NameNode、刷新ResourceManager

4、检查Web浏览器，退役节点的状态为decommission in progress（退役中） 

5、调整参数加速Decommission DataNode

---

Hadoop集群中管理员经常需要向集群中添加节点，或从集群中移除节点，例如:为了扩大存储容量，需要上线一个境界点，相反的，如果想要缩小集群规模，则需要解除节点，如果某些节点出现反常，例如故障率过高或者性能过于低下，则需要下线节点，在上线新节点(而且保证不关闭集群和不损害集群中某一天机器的数据节点数据块丢失情况下)，我们需要采用以下方式来解决这些问题

 1、配置文件 hdfs-site.xml 

在Active Namenode节点，把需要Decommission的DataNode的主机名加入到dfs.hosts.exclude(该配置项在hdfs-site.xml)所指定的文件中，有多个Decommission DataNode以换行分割，建议一次Decommission节点小于hdfs备份数。

2、退役节点名单

3、刷新NameNode、刷新ResourceManager

在Active NameNode节点，执行以下命令:

[[email protected] ~]# hdfs dfsadmin -refreshNodes
[[email protected] ~]# yarn rmadmin -refreshNodes

4、检查Web浏览器，退役节点的状态为decommission in progress（退役中） 

5、调整参数加速Decommission DataNode

参数名称	默认值	参数含义
dfs.namenode.decommission.interval	30	每次启动monitor线程处理退服节点的间隔
dfs.namenode.decommission.blocks.per.interval	500000	每个批次最多处理多少个文件块
dfs.namenode.decommission.max.concurrent.tracked.nodes	100	同时处理退服的节点个数
dfs.namenode.replication.work.multiplier.per.iteration	32	每次复制的块的个数为 dn的个数* 该参数
dfs.namenode.replication.max-streams	64	进行复制任务分配时，单个DN 任务的最大值
dfs.namenode.replication.max-streams-hard-limit	128	若DN 的复制任务大于改值时，不会将其选为复制的源节点

<property>
  <name>dfs.namenode.replication.max-streams</name>
  <value>2</value>
  <description>
    Hard limit for the number of highest-priority replication streams.
  </description>
</property>
 
<property>
  <name>dfs.namenode.replication.max-streams-hard-limit</name>
  <value>4</value>
  <description>
    Hard limit for all replication streams.
  </description>
</property>
 
 
<property>
  <name>dfs.namenode.replication.work.multiplier.per.iteration</name>
  <value>2</value>
  <description>
    *Note*: Advanced property. Change with caution.
    This determines the total amount of block transfers to begin in
    parallel at a DN, for replication, when such a command list is being
    sent over a DN heartbeat by the NN. The actual number is obtained by
    multiplying this multiplier with the total number of live nodes in the
    cluster. The result number is the number of blocks to begin transfers
    immediately for, per DN heartbeat. This number can be any positive,
    non-zero integer.
  </description>
</property>

dfs.namenode.replication.work.multiplier.per.iteration，默认为2，即每次处理datanode数量*2个block