问通过网络将文件夹复制到多个服务器的最快方法是什么(Python)

EN

假设你的机器有1Gbit的连接。如果你幸运的话，你会得到800Mbit/s的速度，复制每个1GByte需要大约10s，更新这些机器需要6-7分钟。如果这已经足够好了，你唯一需要做的就是有效地使用1Gbit来达到这个目标(你从你当前的脚本中看到了什么？好吧，1Gbit在WAN上可能是有限的，但您可以进行类似的分析)。在这里，多处理可能有帮助，也可能没有帮助。但它不会神奇地为你带来更多的带宽。

如果它不够好，我会考虑：

• go P2P (参见miku；的答案)，所以一旦一台机器有了一些数据，它就可以使用自己的带宽与其他机器共享。这在一定程度上取决于您的网络拓扑结构(是否存在其他瓶颈)。
• 查看多播，如果网络在您的控制下足够，您可以适当地路由(这对于广域网来说似乎不太可能，但也许有一天在IPv6仙境中...)。而不是复制相同的数据40次(假设每次都是相同的)，您只需广播一次，所有接收器同时接收它。组播UDP并不可靠(我想更多的是为IPTV设计的)，但是已经有了attempts to build reliable file transfer tools using multicast技术，例如OpenPGM和MS's own implementation.

。

1)我对此没有经验，但它看起来很适合您的用例：

• http://code.google.com/p/pysendfile/

sendfile(2)是一个系统调用，它提供了一种将数据从一个文件描述符复制到另一个文件描述符(套接字)的“零复制”方式。短语“零复制”指的是两个描述符之间的所有数据复制完全由内核完成，而不是将数据复制到用户空间缓冲区中。这在通过套接字(例如FTP)发送文件时特别有用。

和

你想什么时候使用它？基本上任何通过网络发送文件的应用程序都可以利用

(2)。

2)另一种选择是使用some torrent library。我最近learned (跳到31:00的torrent内容)，facebook通过torrent分发他们的日常软件更新(在大约15分钟内用1.5 so的二进制文件更新上千个服务器)。