【MindSpore】多卡训练保存权重问题

问题描述：

多卡训练的epoch更多吗？单卡训练只需要5个epoch就可以训练好，8卡训练反而需要85epoch?

训练采用数据并行模式。

如下图，我按rank id分开保存的权重是单卡训练的还是多卡合并的结果？/0/crnn-85_4.ckpt和 /1/crnn-85_4.ckpt是同样的吧？

数据并行，每张卡上的ckpt数据是一样的。

/0/crnn-85_4.ckpt和 /1/crnn-85_4.ckpt 应该是一样的。(只有bn的moving_mean和moving_variance可能有差别，但是不影响推理）

​单卡训练只需要5个epoch就可以训练好，8卡训练反而需要85epoch?
这个结论是如何来的呢？比较loss值？

每隔一定step 验证一次模型，发现多卡训练反而需要更多epoch才能达到同样精度.单卡可以5epoch达到0.9，多卡需要40-50epoch。学习率，batchsize不变情况下

我的数据集很小，训练集只有5000样本。batchsize是32.验证码集样本500. 学习率是0.0001。是不是数据集小了，切分数据集反而导致每张卡更难收敛，需要的epoch更多？

解决方案：

batch size一致，是总batch一致，还是单卡的bs和数据并行的其中一张卡bs一致呢。如果是第二种情况，那么数据并行的总bs是比单卡大的，所以收敛会变慢，需要适当调整学习率