Dynamo -写入期间增加了读取延迟
Dynamo是亚马逊AWS提供的一种高可用、高可扩展的分布式键值存储系统。它在写入数据期间增加了读取延迟，这是为了保证数据的一致性和可靠性。
Dynamo的核心特点包括：
- 高可用性：Dynamo采用了分布式架构，数据被复制到多个节点上，当某个节点发生故障时，系统可以自动切换到其他可用节点，保证数据的可用性。
- 高可扩展性：Dynamo采用了分区和复制的策略，可以根据需求动态扩展存储容量和吞吐量，以适应不断增长的数据量和访问压力。
- 一致性：Dynamo使用了一种称为“最终一致性”的模型，即在写入数据后，系统会异步地将数据复制到其他节点，这会导致在写入期间增加读取延迟。但是，一旦数据被复制到足够数量的节点上，系统会保证数据的一致性。
- 灵活的数据模型：Dynamo提供了灵活的数据模型，可以存储任意类型的数据，包括结构化数据、半结构化数据和非结构化数据。
Dynamo适用于以下场景：
- 高可用性要求：对于需要保证数据的高可用性和可靠性的应用，如在线购物、社交网络等，可以使用Dynamo来存储和管理数据。
- 大规模数据存储：对于需要存储大规模数据的应用，如日志分析、大数据处理等，Dynamo的分布式架构和可扩展性可以满足需求。
- 高并发读写：对于需要支持高并发读写操作的应用，如实时数据分析、实时推荐等，Dynamo的分布式架构和高可扩展性可以提供良好的性能。
腾讯云提供了类似于Dynamo的产品，称为TencentDB for TDSQL，它是一种高可用、高可扩展的分布式数据库服务。您可以通过以下链接了解更多关于TencentDB for TDSQL的信息：https://cloud.tencent.com/product/tdsql
相关·内容
1回答
Dynamo -写入期间增加了读取延迟
amazon-dynamodb、dynamodb-queries、amazon-dynamodb-index
每当我们收到一批create/update请求时，我们首先使用GSI读取现有数据，然后写入主表，这最终也会更新GSI表。在此期间，我们还可以为来自GSI的一些并行读请求提供服务。我们看到一个问题，在这段时间内，主表和GSI表的延迟从200ms增加到10-15秒(批量写入+读取)。我无法在表中的连续读取和写入之间建立相互关系。该表设置为使用按需容量，并且没有限制。"DDB客户端方法具有以秒为单位的延迟。它不做任何数据
浏览 25提问于2020-10-06得票数 0
1回答
利用发电机在网络负载繁重的拓扑风暴中提高吞吐量
bigdata、amazon-dynamodb、apache-storm
我的拓扑很简单，我从kafka spout -> db o/p1 -> db o/p2 ->发电机获取->发电机写入& kafka写入kafka但是我从来没有达到过超过300 msgs/sec的吞吐量。
需要进行哪些配置更改才能获得超过3k msgs/sec的吞吐量？dynamo fetch螺栓执行延迟约为150 - 220ms，而dynamo
浏览 1提问于2015-07-07得票数 0
1回答
无法为我的Dynamo DB表的读取容量找到合适的值
java、amazon-web-services、amazon-s3、amazon-dynamodb、aws-lambda
我有一个Dynamo表，它使用Lambda函数填充。我还为从Dynamo表中删除行创建了lambda函数。但是现在Dynamo DB正在节流显示节流读取请求，我在Dynamo DB表中发现了一些未删除的行。我增加了读取请求容量，但不确定增加了多少。
浏览 2提问于2016-11-01得票数 0
回答已采纳
2回答
DynamoDB:高SuccessfulRequestLatency
amazon-dynamodb、latency
我们的应用程序中有一段时间的延迟与DynamoDB中的延迟直接相关，我们正在试图找出导致这种延迟的原因。
在此期间，表的已消耗读取和已消耗写入是正常的(远低于预置容量)，限制的请求数量也为0或1。高延迟发生在我们进行大量自动写入的一段时间内。在我们的用例中，对发电机的写入还包括一些读取(以获取任何现有记录)。但是，我们通常在相同的时间段内写入相同数量的数据，而不会导致任何延迟增加。
浏览 0提问于2016-09-13得票数 3
2回答
DynamoDB读取吞吐量低于容量，无任何限制
java、amazon-web-services、amazon-ec2、amazon-dynamodb、throughput
我在使用Dynamo时遇到了一个问题，即读取吞吐量远远低于配置的容量，而图表中没有任何可见的节流。这导致我限制了写入，因为它必须频繁地命中相同的分区，但真正奇怪的是读取吞吐量。该表提供了1000个读取单元，但记录的最大吞吐量为每秒600个读取。这与每秒最多10.000个预配置读取单元一致。在客户端，我每秒发送1000个请求(统一使用速率限制器)，所以从理论上讲，读取吞吐量应该是每秒1000个读取。即使客户端上的请求数量增加了<
浏览 3提问于2017-12-18得票数 1
1回答
如何使用AWS Lambda函数在创建表后重置DynamoDB表写入吞吐量
python、node.js、amazon-web-services、aws-lambda
我想在我的构建使用AWS Lambda函数创建表后重置DynamoDB表的写入和读取吞吐量。我需要在初始运行期间提供200个RCU和600个WCU，以便将数据写入到表中。一旦写入，我的表不需要超过50个WCU和20个RCU。一旦创建了表，我就在dynamoDB控制台中重置了该值。我们想写一个新的lambda函数，一旦在初始运行期间成功创建DyanamoTable就会触发。此新函数应将表通过量值重置为50WCU和20RCU，而不依赖于Dynamo Autoscale。
浏览 24提问于2019-01-08得票数 0
2回答
从dynamoDB表中获取唯一属性
amazon-web-services、aws-lambda、amazon-dynamodb
我正在处理一个回填问题，在这个问题上，我需要获取dynamo表中属性的所有唯一值，并调用一个服务将这些值添加到该服务的存储中。我正在考虑创建一个临时的dynamo db表。我可以在lambda函数中读取原始表，并且只在temp表中写入唯一的值。还有其他可能的方法吗？
dynamo DB表大约有1,400,000行。
浏览 6提问于2022-03-22得票数 0
1回答
从dynamoDB php读取二进制文件
php、binary、amazon-dynamodb
我正在尝试使用SDKphp2从DynamoDB中写入和读取二进制数据。 'Password' => array( 'B' => $encrypt->EncryptER("asdasd") ) ));
当我读取这是在将值存储在Dynamo�LX�
浏览 1提问于2013-02-04得票数 1
回答已采纳
1回答
对于大规模迁移到DynamoDB，我如何获得更好的吞吐量？
java、performance、amazon-dynamodb
我一直在测试一个大型数据迁移到dynamo，我们打算在今年夏天的prod帐户中这样做。我运行了一个测试，将大约32亿个文档批次写入我们的dynamo表，其中包含一个散列键和范围键以及两个部分索引。最初，我用3万写吞吐量创建了dynamo表，但是在测试期间的某个点配置了高达4万写吞吐量，因此我们的理解是，在发电机端至少有40个分区来处理这个问题。在此期间，我们在对batchSave()的调用中看到了非常不同的响应时间。然而，即使增加了更好的响应时间，我们也没有看到
浏览 6提问于2015-05-12得票数 3
回答已采纳
1回答
Java NIO:避免HashMapNode内存分配？
java、nio
由于通道同时涉及读和写，select()调用立即返回，因为它是可写的，在每个select()期间，至少有一个SelectionKey被添加到由SelectedKeys()返回的HashMap中。我更改了设计，在开始时只注册读取，并调用select()，超时较小(例如10ms)，如果写入的缓冲区不为空，则注册写入，执行写入，然后再次注册读取，内存分配问题得到修复，但写入操作将被延迟，因为您必须等待读取选择超时
浏览 3提问于2018-10-10得票数 0
1回答
从Kafka中读取数据并将其存储在发电机数据库中
apache-kafka、amazon-dynamodb、kafka-producer-api、spring-kafka
我需要从Kafka broker中读取多个主题的数据，并将数据存储在Dynamo DB中。任何参考代码或任何我可以使用的特定方法。
我试着使用，但我不能得到太多的帮助，因为我是新手。
浏览 8提问于2018-08-16得票数 1
1回答
DynamoDB如何同时支持键值和文档数据库属性？
nosql、amazon-dynamodb
根据DynamoDB的文档，它既支持NoSQL的键值属性，也支持面向文档的属性，尽管其他NoSQL数据库只属于一种类型，即键值或文档或面向图或列 DynamoDB是“构建在Dynamo原则之上的然而，虽然Dynamo是基于无领导复制的，但是DynamoDB使用单领导者复制。
一组技术，这些技术可以一起形成高度可用的键值结构化存储system1或分布式数据存储。因此，当DynamoDB构建在Dynamo的原则上时，它与面向文档的存储系统无关，并且由于开发人员必须创建主键和表，所以每个项目都需要键，在什么意义上，Dyn
浏览 5提问于2021-05-22得票数 8
回答已采纳
3回答
即使在使用nohup时，也可以在bash中在后台写入大延迟启动"dd“。
linux、bash、dd、write
我编写了一个小脚本，在一个文件的大顺序写入过程中打印内存使用情况。 cat /proc/meminfo | grep Dirtycat nohup.out我应该看到“肮脏”的规模从一开始就增加了但是当我运行脚本时，我经常会看到一个很大的延迟(最多几秒钟)，在此期间“脏”大小没有增加，这可能意味着"dd“程序的启动被延迟了。延迟的时间是不确定的，有时完全没有<em
浏览 0提问于2011-11-08得票数 1
1回答
Dynamo数据库无法部分更新记录
python、amazon-dynamodb、boto
我当前的dynamo-DB配置具有80个读写单元的容量。在完成这项任务后，我检查了&它更新了多达50%的记录，但不是全部。所有更新操作都是在现有索引上执行的，具有80个单位的读取/权限容量。如果我超出了写入容量怎么办？它还会延迟更新记录吗？或者它会半途而废？
浏览 0提问于2018-05-02得票数 0
4回答
弹性缓存与DynamoDb DAX的比较
amazon-dynamodb、amazon-elasticache、amazon-dynamodb-dax
我有一个用例，我用Dynamo在两个表中写入数据，比如t1和t2在transaction.My应用程序中需要多次从这些表中读取数据(1次写，至少4次读取)。我正在考虑DAX和弹性缓存。
浏览 13提问于2019-12-20得票数 2
1回答
什么是WCU和RCU？
amazon-web-services、amazon-dynamodb、dynamodb-queries
Dynamo提供以下免费层：
"25每秒读写“是什么意思？我有一个带有API的web应用程序，它可以从Dynamo读取。这是否意味着它只能处理每秒25个查询和写入？如果是，如果我们在一秒钟内收到26个读取请求，会发生什么情况？
浏览 6提问于2022-03-20得票数 0
回答已采纳
4回答
低延迟读写的持久性策略
java、database、caching、scalability、low-latency
我还需要对这些标记成员的快速读取访问，以及读取模式或多或少是随机的。
下面是我看过的
浏览 1提问于2009-11-19得票数 4
回答已采纳
1回答
编年史地图vs市场数据分销商，
chronicle-map
我所理解的是，它为争用的键提供了更好的延迟。使用MDD over Map时，是否还有其他因素可以作为主要因素？
浏览 24提问于2020-07-24得票数 1
1回答
管理同一个文件的c-共享库
c、linux、shared-libraries
共享库，负责读取包含数据库的文件，并将差异写入其中。但是，对于这种情况，我不知道如何处理文件处理的多处理问题，例如: App1试图将差异写入数据库文件，而App2目前已经打开了带有数据库的文件来读取它。在本例中，我想通知app1，文件当前是打开的，并延迟写入顺序，直到App2完成数据库文件的读取。我在考虑使用一些互斥机制，或者使用全局枚举变量来管理当前的文件状态，但是在我阅读了一些帖子之后，我了解到每个使用共享库的应用程序都会在内存中创建自己的副本，并且它们在工作<em
浏览 3提问于2021-12-13得票数 0
1回答
在Dynamo中如何处理提示的切换
amazon-dynamodb、distributed-system
根据我对Dynamo中提示切换的理解，根据这个，如果一个协调器节点不能写入其中一个副本，它将使用提示将写入传递给另一个节点。因此，假设一个群集的复制因子为5(N)，最小写入数(W)为3。协调器节点将尝试写入所有4个副本。如果其中3个节点返回成功，而其中一个节点由于临时问题而失败，则它会将写操作移交给另一个节点，并提示在其恢复时将其重播到失败的副本。即使此失败的副本现在正在提供过时的信息，Dynamo仍将从minimum read (R) no读取。选择所有3个节点中最新
浏览 4提问于2020-04-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
