EC2主机类型用于DynamoDB batchWrite调用
EC2主机类型用于DynamoDB batchWrite调用
提问于 2020-06-03 16:10:45
我需要将excel表大容量上传到DynamoDB表，最大行数为200,000行。该网站的批量上传将使用较少的频率，所以我们可以假设只有1-2个批量上传正在处理的时间。在后端，我使用Apache将excel表解析为DynamoDB项。
因为我们只能在一个batchWriteItem调用中发送多达25个条目，所以当前的延迟大约是15分钟(900秒)来完全上传所有的200000个条目。因此，我计划实现多线程，并行执行多个batchWriteItem API调用。您能帮助我理解哪种EC2主机类型最适合用于此目的的多线程处理。
任何参考资料都会很有帮助。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-06-04 07:46:39
通常，多线程将通过使用具有多个CPU的实例类型来帮助。
但是，您描述的是等待网络而不是CPU的行为。因此，您所描述的操作很可能不会受到CPU利用率的严重影响。
回答问题的最佳方法是建议您对不同实例类型的进行实验，以找到最适合您的应用程序组合需求的方法：
- 选择一个实例系列(如m5)，并尝试几个不同大小的
- ，将其与另一个家族(例如c5)进行比较，以确定改进的性能是否值得额外成本
- 监视应用程序来查找瓶颈，即RAM、CPU、网络或磁盘访问
。
请注意，较小的实例具有较少的网络带宽，因此您可能需要选择更大的实例类型，以避免受到网络带宽的限制。这可能会导致过多的CPU没有被充分利用。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62177510
复制相关文章
相似问题
腾讯云开发者
