问为什么在以下情况下，分布式深度学习能够提供比非分布式深度学习更高的精度(更低的误差)？

EN

基于我读到的一些论文，分布式深度学习可以提供更快的训练时间。此外，它还提供了更好的准确性或较低的预测误差。原因是什么？

问题编辑：

我使用Tensorflow运行分布式深度学习( DL )，并将其性能与非分布式DL进行比较。我使用dataset 1000个样本的数量和步骤大小10000。分布式DL使用2个工作人员和1个参数服务器。然后，在运行代码时考虑以下情况：

1. 每个员工和非分布式DL使用1000个样本作为培训集，相同的小批量大小为200。
2. 每个员工使用500个样本作为培训集(前500个样本用于工人1，其余500个样本用于工作人员2)，非分布式DL使用1000个样本用于培训集，相同的小批量大小为200。
3. 每个员工使用500个样本作为培训集(前500个样本用于工作人员1，其余500个样本用于工作人员2)，其馀500个样本为小批次大小为100，而非分布式DL使用1000个样本用于小批次大小为200的培训集。

仿真结果表明，在所有情况下，分布式DL比非分布DL具有更低的RMSE .在这种情况下，分布式DL的RMSE为:情况2中的分布式DL <案例1中的分布式DL <情况3中的分布式DL <非分布式DL。

此外，对于非分布DL，我还增加了训练时间(即步骤数为2x10000)，结果仍然不如分布式DL。

一个原因可以是小批量大小，然而，我想知道为什么分布式DL有更好的性能使用上述情况？