Dataset 和 Dataloader数据加载

初学pytorch, 一直分不清数据是如何加载的，分不清Dataset 和 Dataloader的联系。

utils包含Dataset和Dataloader两个类。自定义数据集需要继承这个类，并实现两个函数，一个是__len__,另一个是__getitem__，前者提供数据的大小，后者通过索引获取数据和标签。
__getitem__一次只能获取一个数据，所以需要通过Dataloader来定义一个新的迭代器，实现batch读取。

下面举一个直观的小例子来搞明白是怎么回事！

import torch
from torch.utils import data
import numpy as np
''' 数据集： label：data 0：[1, 2], 1：[3, 4], 0：[2, 1], 1：[3, 4], 2：[4, 5] '''


class TextDataset(data.Dataset):  # 继承Dataset
    def __init__(self):
        self.Data = np.asarray([[1, 2], [3, 4], [2, 1], [3, 4], [4, 5]])  # 一些由2维向量表示的数据集
        self.Label = np.asarray([0, 1, 0, 1, 2])  # 数据集对应的标签

    def __getitem__(self, item):
        text = torch.from_numpy(self.Data[item])  # 把numpy转化为Tensor
        label = torch.tensor(self.Label[item])
        return text, label

    def __len__(self):
        return len(self.Data)


# 获取数据集中数据
Test = TextDataset()
print(Test[3])  # 相当于调用getitem(3)
# 输出：
# (tensor([3, 4], dtype=torch.int32), tensor(1, dtype=torch.int32))

以上数据以tuple 返回，每次只返回一个样本，如果希望批量处理batch,需要用到DataLoader

test_loader = data.DataLoader(Test,batch_size=2,shuffle=False)
for i, traindata in enumerate(test_loader):
    print("i:",i)
    Data, Label = traindata
    print("data:", Data)   # 其中一个data包含2组数据，一个batch大小
    print("label:", Label)  

# 输出：
# i: 0
# data: tensor([[1, 2],
# [3, 4]], dtype=torch.int32)
# label: tensor([0, 1], dtype=torch.int32)
# i: 1
# data: tensor([[2, 1],
# [3, 4]], dtype=torch.int32)
# label: tensor([0, 1], dtype=torch.int32)
# i: 2
# data: tensor([[4, 5]], dtype=torch.int32)
# label: tensor([2], dtype=torch.int32)

其中一个data变成原来两组data的组成
相应的label也变成了原来对应的两个label的组成
.

参考于吴茂贵的python深度学习