我的任务是从网上下载大型文件并保存在S3中。我使用m4.xlarge下载和保存,下载速度约为11 of /s。但是,当我启动多个实例(m4.xlarge)并尝试并行下载文件时,下载速度将在实例之间共享。例如,在两个实例中,我每个得到~5.5MB/s。
我想,例子是相互独立的。是否有任何配置,我需要改变,以获得~11 Is /s在所有的实例并行?我遗漏了什么吗?
我正在尝试将大量文件(~50 to )下载到S3桶中。问题是,这些文件只能通过网站上的各种下载链接访问(它们还没有在我的硬盘上)。我可以直接下载一小部分数据到我自己电脑的硬盘上,把它上传到S3桶中,从我的硬盘中删除它,再用另一部分重复,但我担心这样做会花费太多的时间和太多的带宽。相反,我希望我可以使用一个EC2实例来做同样的事情,就像这个的答案所建议的那样,但是我很难用来完成这个任务。
使用Java,请求和启动EC2实例似乎非常清楚;但是,实际使用该实例有点模糊。据我所知,您可以使用EC