NCCL 集合通信--Collective Operations

集合通信 Collective Operations

AllReduce

ncclResult_t ncclBroadcast(const void* sendbuff, void* recvbuff, size_t count, ncclDataType_t datatype, int root, ncclComm_t comm, cudaStream_t stream)

• N 个设备参加的AllReduce，没有root，初始状态下，所有的N个设备上sendbuffer 长度为 count（函数中定义 size_t count），N个sendbuffer中的内容记为 in_0,in_1,…,in_N-1， 运行结束后，所有sendbuffer中内容经过op操作，使得N个设备上的recv buffer中有相同的结果副本，长度均为count，即out。
• 以op操作为ncclSum为例， out[i] 来自于所有sendbuffer的 in_k[i] 的和，即 out[i] = sum(in_k[i])

Broadcast

ncclResult_t ncclBroadcast(const void* sendbuff, void* recvbuff, size_t count, ncclDataType_t datatype, int root, ncclComm_t comm, cudaStream_t stream)

N个设备参与的broadcast，root 是 函数中指定的 int root（以上图为例则是2)，初始状态下，rank 为 root（上图中2）的设备上的send buffer 长度为count。运行结束后，所有参与broadcast 的N个设备上的recv buffer 长度为 count， 且所有N个rank 的 recv buffer 部分的数据均来自于 root设备的send buffer 的拷贝。

Reduce

ncclResult_t ncclReduce(const void* sendbuff, void* recvbuff, size_t count, ncclDataType_t datatype, ncclRedOp_t op, int root, ncclComm_t comm, cudaStream_t stream)

• N个设备参与的reduce ，root 是 函数中指定的 int root（上图中为2)，初始状态下，N个设备上的send buffer 长度为 count，记为数组 in_0,in_1,…in_N-1。 运行结束后，rank 为 root （上图中为2）的设备的recv buffer长度为count，记为数组out 。其中 recv buffer的数据来自于N个的send buffer经op操作后的结果。
• 以op操作为 ncclSum为例，out[i] 为各个send buffer 中 in_X[i] 的和，即out[i] = sum(in_X[i])

AllGather

ncclResult_t ncclAllGather(const void* sendbuff, void* recvbuff, size_t sendcount, ncclDataType_t datatype, ncclComm_t comm, cudaStream_t stream)

N个设备参与AllGather，没有root，初始状态下，N个设备上的send buffer 长度为 sendcount，记为数组 in_0,int_1,…,in_N-1，运行结束后，N个设备上的recv buffer 内容均相同，长度均为 $N\ast sendcount$，记为 数组out 。其中每个设备上的recv buffer中的$out[Y\ast sendcout+i]$来自于rank为 Y 的设备的send buffer中的 in_Y[i] , 即 out[Y*count + i] = in_Y[i]

ReduceScatter

ncclResult_t ncclReduceScatter(const void* sendbuff, void* recvbuff, size_t recvcount, ncclDataType_t datatype, ncclRedOp_t op, ncclComm_t comm, cudaStream_t stream)

• N 个设备参与的ReduceScatter，没有root设备。初始状态下，N个设备的sendbuffer 长度均为 N*recvcount。运行结束后，N个设备的recv buffer长度为 recvcount，记为数组out_0,out_1,…,out_N-1。其中，N个 send buffer中数据经过op 操作得到 reduced result，将其散布在 N 个设备中，每个设备仅包含 reduced result中一部分。
• 以op操作为 ncclSum为例， rank为Y的设备中数据 out_Y[i] 为 reduced result 中 Yrecvcount+i 位置的数据，即 out_Y[i] = sum(in_X[Ycount + i])