首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >使用云服务在时间窗口中聚合和分组实时统计信息以触发通知。

使用云服务在时间窗口中聚合和分组实时统计信息以触发通知。
EN

Stack Overflow用户
提问于 2016-02-16 04:58:22
回答 2查看 174关注 0票数 3

我正在尝试构建一个实时的成就处理器,例如:

  1. 每次线程中有一个新参与者时,向最后3个参与者发送一个通知。
  2. 按每天类型分列的组和聚合活动流通知

这种对事件流处理的描述似乎很适合我需要的processing

如果用例只是从单个事件中更新或触发,我可以使用amazon或azure提供的众多云队列或发布服务中的一个,比如Kinesis或SQS,并使用AWS lambda函数来处理队列中的消息。Azure似乎提供了一个叫做事件中心的东西,它可以充当数据流广播机构。本质上,让所有动作/事件和多个通知处理器的云队列作为事件流的订阅者,逻辑触发器、聚合和成就奖励封装在每个成就处理器中。

但是,由于我需要根据一些任意规则对项进行分组(每个实现可以有许多分组参数),所以我不能简单地查看操作队列中的最新事件来实时处理每个成就。为了提高效率,我需要在记忆中设置一个集合吗?另一种方法是让每个成就处理器对每个事件进行数据库查找(例如,选择与此类型匹配的当天的所有事件),但我担心如果这样做,它将不会很好地执行。我听说过诸如星火流和雪犁之类的东西,所以我想知道在AWS或Azure云服务上是否有一种模式和一种产品可以以非常可伸缩和简单的方式解决这个问题--以及现有的azure和aws (事件中心和动态系统)上的数据流服务是否适合这种数据聚合用例。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-01-10 06:50:48

Azure和AWS现在都提供了一些适合这个用例的东西:

https://azure.microsoft.com/en-us/services/stream-analytics/

https://aws.amazon.com/kinesis/analytics/

票数 1
EN

Stack Overflow用户

发布于 2018-02-02 17:03:00

免责声明:我是Striim的产品经理

为了回答这个问题,Striim允许您在生命数据流上运行SQL查询,使用时间/计数/混合窗口聚合它,并触发警报。它也是水平可伸缩的。

Striim可在Azure和AWS市场上使用。THe其他好东西,相同的管道可以很容易地在云之间传输,也可以在前提下运行。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/35433276

复制
相关文章
通过流式数据集成实现数据价值(5)- 流分析
分析是许多流集成案例的最终目标。人们希望他们的数据始终是最新的。因此,在分析数据时,应始终拥有最新数据。
Yunjie Ge
2022/04/23
8430
通过流式数据集成实现数据价值(5)- 流分析
mysql 分组查询和统计
统计一些数据, 分别统计 每个EventNo 在某段FlowNo内的: Coin数, 记录数, 本Event完成的Uid数(同个Uid同个EventNo只记一次)
超级大猪
2019/11/22
3.9K0
duubo分组聚合 原
除了官网上有这部分的简单介绍外,在别的地方几乎找到真正可行的测试了,这里自己捣鼓一下,已做备忘。
尚浩宇
2018/08/17
4470
duubo分组聚合
                                                                            原
MongoDB时间聚合函数使用
这个命令将按照loginTime字段中的小时数进行分组,并计算每个小时数的登录次数。
玖叁叁
2023/04/14
9620
[71]pandas分组与聚合
分组 (groupby) 对数据集进行分组,然后对每组进行统计分析 SQL能够对数据进行过滤,分组聚合 pandas能利用groupby进行更加复杂的分组运算 分组运算过程:split->apply->combine 拆分:进行分组的根据 应用:每个分组运行的计算规则 合并:把每个分组的计算结果合并起来 示例代码: import pandas as pd import numpy as np dict_obj = {'key1' : ['a', 'b', 'a
周小董
2022/04/12
5890
[71]pandas分组与聚合
MySQL使用变量实现部分分组聚合
  在实际应用中经常有这种需求,按照select的字段中的部分字段分组聚合,比如下面的例子:
用户1148526
2022/05/07
6680
MySQL使用变量实现部分分组聚合
Flink Watermark 机制及总结
作者:黄龙,腾讯 CSIG 高级工程师 Flink Watermark 前言 Flink 水印机制,简而言之,就是在 Flink 使用 Event Time 的情况下,窗口处理事件乱序和事件延迟的一种设计方案。本文从基本的概念入手,来看下 Flink 水印机制的原理和使用方式。 Flink 在流应⽤程序中三种 Time 概念 Time 类型备注Processing Time事件被机器处理的系统时间,提供最好的性能和最低的延迟。分支式异步环境下,容易受到事件到达系统的速度,事件在系统内操作流动速度以及中断的影
腾讯云大数据
2022/03/21
1.6K0
PNA | 使用多聚合器聚合图信息结构
今天给大家介绍剑桥大学Pietro Liò团队发表的一项研究工作“Principal Neighbourhood Aggregation for Graph Nets”。作者针对图神经网络(GNNs)的表达力展开研究,将GNN理论框架扩展至连续特征,并从数学上证明了在这种情况下GNN模型对多种聚合函数的需求。基于上述工作,作者还提出主邻域聚合(PNA)网络,将多个聚合器与基于节点度的缩放器相结合, 并通过使用作者新提出的多任务基准以及“encode-process-decode”结构,证明了PNA网络与其他模型相比获得和利用图结构的优越能力。
DrugAI
2021/02/01
1.4K0
PNA | 使用多聚合器聚合图信息结构
基于flink的电商用户行为数据分析【2】| 实时热门商品统计
在上一期内容中,菌哥已经为大家介绍了电商用户行为数据分析的主要功能和模块介绍。本期内容,我们需要介绍的是实时热门商品统计模块的功能开发。
大数据梦想家
2021/01/27
2K0
基于flink的电商用户行为数据分析【2】| 实时热门商品统计
Jenkins触发构建--时间触发
时间触发是指定义一个时间,时间到了就触发pipeline执行。在pipeline中,使用trigger指令来定义时间触发,只能定义在pipeline块下。支持cron pollSCM upstream三种方式。其它方式可以通过插件来实现。
陈不成i
2021/06/02
2.4K0
Pandas的分组聚合groupby
Pandas怎样实现groupby分组统计 groupby:先对数据分组,然后在每个分组上应用聚合函数、转换函数 import pandas as pd import numpy as np %matplotlib inline df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B': ['one', 'one', 'two', 'three', 'two
北山啦
2022/11/27
1.7K0
Pandas的分组聚合groupby
Mysql——分组统计
 💟💟前言 🥇作者简介:友友们大家好,我是你们的小王同学😗😗 🥈个人主页:小王同学🚗 🥉 系列专栏:牛客刷题专栏📖 📑 推荐一款非常火的面试、刷题神器👉牛客刷题 今天给大家带来的系列是:Mysql——分组统计 mysql 刷题 系列 牛客网 牛客网里面有非常多得面试真题 包含 java sql c++等多种语言实现  select语句🎪 使用group   by子句对列进行分组【先创建测试表】 select column1 column2 column3 .....from  ta
王同学要努力
2022/12/21
5.3K0
Mysql——分组统计
Flink Watermark 机制及总结
Flink 水印机制,简而言之,就是在 Flink 使用 Event Time 的情况下,窗口处理事件乱序和事件延迟的一种设计方案。本文从基本的概念入手,来看下 Flink 水印机制的原理和使用方式。
Andy_l
2022/03/20
2K0
Flink Watermark 机制及总结
2020年11月产品动态速览
腾讯云容器服务(Tencent Kubernetes Engine,TKE)是高度可扩展的高性能容器管理服务,您可以在托管的云服务器实例集群上轻松运行应用程序。针对容器集群日常运维复杂度高,排障困难等问题,CLS 日志服务与 TKE 联合推出集群审计与事件日志中心,借助 CLS 日志数据处理能力,用户可通过可视化图表实时查看审计日志和集群事件,轻松提升容器集群运维效率。详细配置可查看开启集群审计指引,开启事件存储指引
日志服务CLS小助手
2020/12/04
5930
2020年11月产品动态速览
awk分组求和分组统计次数
如果第一列相同,则根据第一列来分组,分别打印第二列和第三列的和 如果第一列相同,则根据第一列来分组,分别打印第二列和第三列的和 分组求和 image.png 以第一列 为变量名  第一列为变量,将相同第一列的第二列数据进行累加打印出和. image.png image.png 以第一列和第二列为变量名, 将相同第一列、第二列的第三列数据进行累加打印出和 image.png image.png
用户8639654
2021/08/10
1.9K0
pandas使用技巧-分组统计数据
因为数据是随机生成的,我们需要检查是否有出现这种情况:name、subject、time、grade4个字段相同,但是score出现了两次,防止数据不规范。写了一个循环来进行判断:
皮大大
2021/03/07
2.2K0
mysql 分组统计 case when 及 if 语句使用
需求: 同时:中文名重复了就是1部剧,不重复就是多部剧 需求分析: 这个需要分组、需要统计、需要判断、需要distinct。 分组:根据地区、类别、中文名称分类; 判断:根据类型进行判断同时要求和 因为中文名称重复的就是1部,所以统计的时候,要使用到distinct去重。 表语句: DROP TABLE IF EXISTS `yj_item_plan`; CREATE TABLE `yj_item_plan` (   `id` bigint(20) NOT NULL AUTO_INCREMENT,  
凯哥Java
2022/12/16
2.5K0
mysql 分组统计 case when 及 if 语句使用
点击加载更多

相似问题

Blazeds服务时间统计信息

30

包装时间序列以生成按天分组的滚动统计信息

04

使用聚合MongoDB生成统计信息

119

聚合执行统计信息(Mongo)

111

熊猫按时间窗分组

36
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文