首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >亚马逊S3多部分上传

亚马逊S3多部分上传
EN

Stack Overflow用户
提问于 2017-03-29 15:17:49
回答 1查看 1.4K关注 0票数 0

我正试图使用Java中的多部分上传低级API方法将一个.bak文件(24 in )上传到amazon。我成功地写了这个文件,但是花了大约7-8个小时。我想知道上传这么大的文件的平均/理想时间是多少,是预期的时间还是可以改进的时间?如果有一个改进的余地,可以采取什么方法呢?

EN

回答 1

Stack Overflow用户

发布于 2017-08-30 06:58:28

如果您使用传输管理器的默认设置,那么对于多部分上传,大小是5MB,对于一个24 is的文件来说太低了。这在本质上意味着您最终将有数千个小部分上传到s3。因为每个部分都是由不同的工作线程上传的,所以您的应用程序将花费太多的时间在网络通信上。这不会给你最佳上传速度。

您必须将上载部件的最小大小提高到100 MB到500 MB之间。使用此设置:setMinimumUploadPartSize

设置MinimumUploadPartSize的正式文档:

减小最小部件大小将导致多部分上传被分割成更多的更小的部分。设置此值过低会对传输速度产生负面影响,因为它将导致每个部分的额外延迟和网络通信。

如果您目前正在使用默认设置,我相信您将看到通过调优此设置来提高上传吞吐量。如果这提高了吞吐量,请告诉我。

上传快乐!

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43097630

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档