迭代dynamodb表时出现ProvisionedThroughputExceededException错误
我正在尝试将一个DynamoDB表备份到S3。由于某些原因，我是通过亚马逊网络服务控制台上的导出来完成的，而且表也不是很大，所以我尝试使用基于boto的脚本。下面是我的脚本的主要部分：
import boto.dynamodb2
from boto.dynamodb2.table import Table
c_ddb2 = boto.dynamodb2.connect_to_region(...)
table = Table("myTable",connection=c_ddb2)
# also connect to S3
scanres = table.scan()
for item in scanres:
# process and store next item我得到了以下异常：
Traceback (most recent call last):
File "/home/.../ddb2s3.py", line 155, in <module>
main()
File "/home/.../ddb2s3.py", line 124, in main
for it in scanres:
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/results.py", line 62, in next
self.fetch_more()
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/results.py", line 144, in fetch_more
results = self.the_callable(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/table.py", line 1213, in _scan
**kwargs
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 1712, in scan
body=json.dumps(params))
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 2100, in make_request
retry_handler=self._retry_handler)
File "/usr/local/lib/python2.7/dist-packages/boto/connection.py", line 932, in _mexe
status = retry_handler(response, i, next_sleep)
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 2134, in _retry_handler
response.status, response.reason, data)
boto.dynamodb2.exceptions.ProvisionedThroughputExceededException: ProvisionedThroughputExceededException: 400 Bad Request
{u'message': u'The level of configured provisioned throughput for the table was exceeded. Consider increasing your provisioning level with the UpdateTable API', u'__type': u'com.amazonaws.dynamodb.v20120810#ProvisionedThroughputExceededException'}读配置的吞吐量设置为1000，因此应该足够了。当我运行脚本并得到异常时，写入配置的t/p被设置为一个较低的值，我不想调整它，因为它会干扰偶尔批量写入到表中，但我为什么需要接触它？
为什么我会得到这个错误？亚马逊网络服务控制台对MyTable的监控显示读取非常少，因此远低于预置的1000。我做错了什么？
回答 2
Stack Overflow用户
发布于 2015-03-17 22:37:06
如果您已检查AWS管理控制台，并验证即使在读取容量远低于预置容量时，也会发生节流事件，则最有可能的答案是您的散列键分布不均匀。随着您的DynamoDB表的大小和容量的增长，DynamoDB服务将自动将您的表拆分为多个分区。然后，它将使用该项的散列键来确定存储该项的分区。此外，您预置的读容量也会在分区之间平均分配。
如果你有一个分布良好的散列键，这一切都可以很好地工作。但是，如果您的散列键没有很好地分布，可能会导致所有或大部分读取来自单个分区。因此，例如，如果您有10个分区，并且表上的预配读容量为1000，则每个分区的读容量将为100。如果您的所有读操作都命中一个分区，那么您将被限制在100个读取单元，而不是1000个。
不幸的是，真正解决这个问题的唯一方法是选择一个更好的散列值，并用这些散列值重写表。
Stack Overflow用户
发布于 2018-06-04 01:48:34
现在可以将aws-sdk重试逻辑应用于DynamoDB (请参阅the config docs)。
因此，考虑使用以下设置作为可能的帮助。
AWS.config.update({
maxRetries: 15,
retryDelayOptions: {base: 500}
});https://stackoverflow.com/questions/29101371
复制相似问题