我正试图使用Java中的多部分上传低级API方法将一个.bak文件(24 in )上传到amazon。我成功地写了这个文件,但是花了大约7-8个小时。我想知道上传这么大的文件的平均/理想时间是多少,是预期的时间还是可以改进的时间?如果有一个改进的余地,可以采取什么方法呢?
发布于 2017-08-30 06:58:28
如果您使用传输管理器的默认设置,那么对于多部分上传,大小是5MB,对于一个24 is的文件来说太低了。这在本质上意味着您最终将有数千个小部分上传到s3。因为每个部分都是由不同的工作线程上传的,所以您的应用程序将花费太多的时间在网络通信上。这不会给你最佳上传速度。
您必须将上载部件的最小大小提高到100 MB到500 MB之间。使用此设置:setMinimumUploadPartSize
设置MinimumUploadPartSize的正式文档:
减小最小部件大小将导致多部分上传被分割成更多的更小的部分。设置此值过低会对传输速度产生负面影响,因为它将导致每个部分的额外延迟和网络通信。
如果您目前正在使用默认设置,我相信您将看到通过调优此设置来提高上传吞吐量。如果这提高了吞吐量,请告诉我。
上传快乐!
https://stackoverflow.com/questions/43097630
复制相似问题