Dynamodb表上的聚合统计信息

文章/答案/技术大牛

发布

1回答

amazon-dynamodb、bigdata、amazon-kinesis

我有一个DynamoDB表，每天接收大约15M条浏览记录，如下所示： {"domain": "google.com", "url": "https://google.com/search?，有一个30天的TTL来保存它们。我正在考虑的是聚合allowed和blocked的顶级域名的最好方法。如果它是每天的基本计数，我可以创建一个唯一的分

浏览 27提问于2019-11-17得票数 0

1回答

dynamoDB如何计算一段时间内的读取事件？

amazon-web-services、amazon-dynamodb、amazon-cloudwatch

我已经阅读了有关dynamoDB容量的文档，但我不明白他们是如何计算其指标的。如果你看这张图，当我把它们加起来超过1分钟时，我怎么可能在左边有短的throttled read events脉冲串，但当我在1分钟内对它们进行平均时，它的常数是1(在右边)。这是否意味着大多数节流事件正在被突发容量吸收，和/或这是不是应该增加调配容量的信号？ ?

浏览 10提问于2020-11-30得票数 0

回答已采纳

1回答

为什么DynamoDB不支持简单聚合？

nosql、amazon-dynamodb、dynamodb-queries、nosql-aggregation

为什么DynamoDB不以mongoDB支持的方式支持简单聚合？当然，在小块数据上并行执行聚合与主碎片进行最终聚合是更有效的。而不是在一台机器对整个数据集执行操作的RDS上。那么，为什么dynamoDB不支持简单聚合</e

浏览 5提问于2019-07-09得票数 0

回答已采纳

3回答

如何使用DynamoDB进行基本的聚合？

nosql、amazon-dynamodb、amazon-dynamodb-streams、nosql-aggregation

如何使用dynamodb实现聚合？Mongodb和couchbase有地图减少支持。可以使用EMR、redshift、bigquery、aws等工具。但我认为这些是用于数据仓库的

浏览 1提问于2017-05-24得票数 46

1回答

Dynamodb线程安全更新

amazon-dynamodb、thread-safety

保留的并发性被设置为最大值，这意味着我可以并发执行Lambda。每个Lambda将读取SQS消息，并需要更新保存消息长度总和的Dynamodb表。这是一个递增的数值。虽然我已经实现了乐观锁定，但我仍然看到最终的值与实际的正确总和不匹配。有什么想法吗？下面是执行更新的代码： { using (IDynamoDBContext dbContext = _dataCon

浏览 0提问于2020-08-25得票数 0

1回答

批处理如何获得它在Server 2019中使用的CPU数量

sql-server、query-performance

是否有一条语句可以放在批处理的末尾，以找出它使用了多少毫秒的CPU？类似于SET统计时间，而是针对整个批处理，而不是每条语句。

浏览 0提问于2022-04-16得票数 0

1回答

Dynamo DB -仅从表列中获取唯一值

amazon-dynamodb、dynamodb-queries

我有一个包含两列的表，用户id和图书id。---23 | 456 | 1345 | 1 有没有一种方法可以只获取bookId的唯一值就像sql中的GROUP BY。意思是查询和获取- 1,2,3,4 谢谢。

浏览 17提问于2021-01-05得票数 0

回答已采纳

1回答

在数据库中执行聚合/去聚合的最佳方法是什么？

database、aggregation、denormalization

我们有一个数据库，用来存储点击、视图和达到的目标。您可以猜到，数据库中的点击量达到了数百万，因此我们开始聚合数据以获得更快的统计数据。此时，我们删除所有记录，并在聚合表中写入新记录(您可以正确地猜出mysql键正在快速上升)，但这是不出现任何错误的汇总统计信息的最简单方法。我在数据库聚合上搜索过互联网。我还猜测mysql不是存储聚合数据的合适数

浏览 5提问于2012-09-20得票数 1

回答已采纳

1回答

DynamoDB使用辅助索引获取最后一个项目的计数

java、nosql、amazon-dynamodb、dynamodb-queries

我在DynamoDB中有一个表，它有(1.id，2.item，3.entry time)列，其中id是主键。我需要一种类型的所有项目的计数(有两种类型的项目设为A和B，我需要A的计数)，这些项目是在过去24小时内输入到表中的。我有没有办法使用二级索引来做到这一点呢？我找不到太多与此相关的信息。

浏览 16提问于2021-04-06得票数 0

回答已采纳

2回答

DynamoDB计数器字段统计仅在最后N天进行

java、amazon-web-services、amazon-dynamodb

我有一个包含两个字段的DynamoDB表: entityID (哈希键)和clickedCounter。有了这样的表，我就可以很容易地获得统计数据，每个entityID被点击的次数是多少次，但是我需要只在最后的N天(例如，每7天)获得汇总的统计信息。我怎么才能把这个存档？作为一种潜在的解决方案，我可以再添加两个字段: expiredTime (实际上是一个活动属性

浏览 3提问于2017-07-20得票数 1

回答已采纳

3回答

如何禁用AWS云监视度量

amazon-web-services、amazon-cloudwatch-metrics

我是新来的，正试着和AWS合作。我开发了小型lambda函数，并创建了一些dynamodb表。我不认为会有任何成本，因为我应该在自由层，但从上个月起，我看到了“云监视警报”的成本。不是很贵，但我收到了0.53美元的账单。为什么我得到这个账单，即使我是使用AWS免费层。账单信息：每个警报0.10美元-每月4.277报警0.43美元我现在不想要这些云监视指标。我只想存储日志文件。

浏览 6提问于2019-02-26得票数 8

回答已采纳

2回答

如何在DynamoDB流中使用Apache流

apache-spark、amazon-dynamodb、spark-streaming、amazon-dynamodb-streams

我们有一个要求，每当向最终用户提供广告时，我们都会在DynamoDB表中记录事件。dynamoDB表中每秒有超过250个写入操作。我们希望将这些数据聚合起来，并将其移到Redshift进行分析。我想，对于表中的每个插入，都将调用DynamoDB流。如何将DynamoDB流输入到某些批处理中，然后处理这些批处理。围绕这类用例有什么最佳实践吗？我读到了关于apache的文章，似乎有了Apache，我们就可以进行这种<e

浏览 2提问于2017-07-31得票数 0

回答已采纳

1回答

用于统计体系结构的一个或多个数据库

mysql、database-design

我的主要想法归结为有一个包含所有“事件”的表，该表在执行操作时只需在该表中插入，例如“用户注册”、“用户在私有上放置帐户”、“用户单击X”、.然后，一天一次(可能在午夜左右)，一个CRON作业会在过去的一天中运行在那个表上，并将所有的值聚合成一种可用于我们的统计度量的格式。这些聚合值将存储在一个新表中。这样我们就可以很有规律地清

浏览 1提问于2019-02-13得票数 1

回答已采纳

1回答

Flink聚合和解

amazon-dynamodb、apache-flink、flink-streaming、reconcile

DynamoDB中的事务表DynamoDB中的语句表每一天都会发生数以百万计的交易我正在考虑使用Flink将事务数量

浏览 3提问于2020-01-12得票数 0

回答已采纳

2回答

如何为dynamodb记录操作(get、update、delete)生成审计日志？

amazon-dynamodb、aws-serverless

我正在从事无服务器后端开发，我已经使用aws dynamodb作为数据库，现在我想为记录的所有操作(get，update，delete)生成审计日志，并将其存储在单独的表中。aws是否有内置功能？

浏览 0提问于2019-08-22得票数 2

1回答

外部表:为什么要创建统计数据？

sql-server、execution-plan、polybase

Polybase的文档表示，为外部表创建统计数据将有助于获得更好的执行计划。这个问题是关于何时外部数据源是另一个Server。我想更好的执行计划是在外部数据源上，即下推计算(用于where子句、联接和聚合)。为了获得一个好的执行计划，优化器还必须知道表中有哪些索引。优化器可以在远程服务器(外部数据源)上使用统计信息吗？如果是，在外部表上本地创建

浏览 0提问于2022-08-21得票数 -2

1回答

弹性豆秆上AWS lambda到nodejs项目的用例

node.js、amazon-web-services、express、amazon-s3、lambda

我有一个拇指钉功能运行在lambda上，我想把它部署在弹性豆杆上。Lambda为我做了很多背景工作，所以当我将我的功能部署到弹性豆茎时，它不会像我预期的那样对我正常工作。我的lambda函数可以将给定s3桶的给定文件夹中的所有图像缩略图，并在触发时将它们存储在同一位置的不同大小的图像中。但是，当我将它部署到豆茎时，它不会被任何s3事件触发。我知道修复它的粗略步骤，但我需要知道的是一些具体的<

浏览 5提问于2016-06-14得票数 1

回答已采纳

3回答

NOSQL数据库的聚合和统计功能

mysql、postgresql、cassandra、amazon-dynamodb、amazon-redshift

使用SQL数据库，可以很容易地完成统计/聚合函数，如协方差、标准差、峰度、偏度、偏差、均值和中间值、求和和积等，而无需将数据输出到应用服务器。这些计算是如何有效地完成(尽可能靠近存储，假设映射/减少“作业”不会是实时的)在NoSql数据库上，特别是对于大型数据集的dynamodb(cassandra)。(MySQL，PostgresSQL，.)不是NoSQL和Amazon (ParAccel) --一个列存储区--有一个SQL接口，而且可能是过分的(

浏览 5提问于2013-11-16得票数 1

1回答

如何使用JAVA从Dynamo DB获取列的总和

java、amazon-web-services、amazon-dynamodb

我的表格格式如下：| edfca | 20180101 | 1214 | 81 |我想得到精确度列的总和dynamoDB是否提供类似于SQL的列的总和：SELECT SUM(column_name)

浏览 8提问于2018-02-13得票数 0

2回答

DynamoDB/Redis活动流需要帮助

android-activity、redis、amazon-dynamodb

、本地或全局索引，因为它们基本上都是在Redis中索引的。我们最初的计划是为每个月创建一个DynamoDB表，在那里存储活动数据.然后，当旧表老化时，请拨旧表的准备吞吐量，保持最新数据的快速可用，同时降低旧数据的成本。，用户可以快速提取他们2012年7月的活动历史记录) 数据聚合将脱机进行，我们将分析在给定时间内发生的<

浏览 5提问于2013-12-12得票数 7

回答已采纳

点击加载更多