在TransferConfig中,增加或减少max_io_queue对boto3.transfer.download_file()有什么作用?
我试着研究源代码。它似乎与MultipartDownloader中的队列大小有关。如果max_concurrency是固定的,我看不出只要max_io_queue > max_currency这个max_io_queue会有什么效果。如果我错了,请纠正我。
 class TransferConfig(object):
    def __init__(self,
                 multipart_threshold=8 * MB,
                 max_concurrency=10,
                 multipart_chunksize=8 * MB,
                 num_download_attempts=5,
                 max_io_queue=100):发布于 2015-12-03 18:45:31
队列同步文件写入。给定的线程可以将任意数量的写入推送到队列上,而不会阻塞队列,直到队列达到最大大小为止。此时,对put的调用将阻塞线程,直到剩余空间。如果队列没有大小限制,那么连接速度快、速度慢的人会在未来的写作中耗尽他们所有的内存。
https://stackoverflow.com/questions/34054318
复制相似问题