迭代dynamodb表时获取ProvisionedThroughputExceededException错误怎么解决?

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (2)
  • 关注 (0)
  • 查看 (317)

我正在尝试将DynamoDB表备份到S3。由于某种原因在AWS控制台上通过导出来执行此操作不起作用,而且由于表格不是那么大,我正尝试使用基于boto的脚本来完成此操作。这是我的脚本的主要部分:

import boto.dynamodb2
from boto.dynamodb2.table import Table
c_ddb2 = boto.dynamodb2.connect_to_region(...)
table  = Table("myTable",connection=c_ddb2)
# also connect to S3 
scanres = table.scan()
for item in scanres:
    # process and store next item

我收到以下例外情况:

Traceback (most recent call last):
  File "/home/.../ddb2s3.py", line 155, in <module>
    main()
  File "/home/.../ddb2s3.py", line 124, in main
    for it in scanres:
  File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/results.py", line 62, in next
    self.fetch_more()
  File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/results.py", line 144, in fetch_more
    results = self.the_callable(*args, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/table.py", line 1213, in _scan
    **kwargs
  File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 1712, in scan
    body=json.dumps(params))
  File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 2100, in make_request
    retry_handler=self._retry_handler)
  File "/usr/local/lib/python2.7/dist-packages/boto/connection.py", line 932, in _mexe
    status = retry_handler(response, i, next_sleep)
  File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 2134, in _retry_handler
    response.status, response.reason, data)
boto.dynamodb2.exceptions.ProvisionedThroughputExceededException: ProvisionedThroughputExceededException: 400 Bad Request
{u'message': u'The level of configured provisioned throughput for the table was exceeded. Consider increasing your provisioning level with the UpdateTable API', u'__type': u'com.amazonaws.dynamodb.v20120810#ProvisionedThroughputExceededException'}

读取配置吞吐量设置为1000,因此应该足够了。当我运行脚本并得到异常时,写配置t / p被设置为一个低值,我不想调整它,因为它会干扰偶尔批量写入表中,但为什么我需要触摸它?

为什么我得到这个错误?AWS控制台监控MyTable显示的读取量很少,因此低于配置的1000.我做错了什么?

提问于
用户回答回答于

如果你已签入AWS管理控制台并验证即使读取容量远低于配置容量也发生节流事件,最可能的答案是散列密钥不均匀分布。随着DynamoDB表的大小和容量的增长,DynamoDB服务会自动将表分区为分区。然后它将使用该项目的散列键来确定要存储该项目的分区。另外,预配读取容量也在各个分区之间均匀分配。

如果你有一个分布良好的哈希键,这一切工作正常。但是,如果散列密钥分布不均匀,它可能会导致你的所有或大部分读取来自单个分区。

不幸的是,真正解决这个问题的唯一方法是选择一个更好的散列并用这些散列值重写表。

用户回答回答于

aws-sdk

因此,将以下设置视为可能的帮助。

AWS.config.update({
  maxRetries: 15,
  retryDelayOptions: {base: 500}
});

所属标签

可能回答问题的人

  • 优惠活动秘书

    0 粉丝2 提问8 回答
  • 天使的炫翼

    17 粉丝531 提问7 回答
  • 最爱开车啦

    8 粉丝503 提问6 回答
  • uncle_light

    5 粉丝518 提问5 回答

扫码关注云+社区

领取腾讯云代金券