spark算子-repartition算子

源码

def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
    
    coalesce(numPartitions, shuffle = true)
  }

1. 底层调用coalesce()实现重分区操作
2. 强制必须进行shuffle操作

repartition与coalesce的关系

1. 都是用于重新设置分区数的算子
2. repartition底层调用coalesce()实现重分区功能
3. repartition强制必须进行shuffle操作
4. coalesce根据参数决定是否进行shuffle操作

参考文件

spark算子-coalesce算子