首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何将Kinesis数据流合并为一个数据流以进行Kinesis数据分析?

如何将Kinesis数据流合并为一个数据流以进行Kinesis数据分析?
EN

Stack Overflow用户
提问于 2020-08-25 19:58:33
回答 2查看 559关注 0票数 0

我有多个AWS kinesis数据流/firehose和CSV格式的结构化数据。我需要使用运动数据分析对这些数据执行分析。但是如何将多个流合并为一个流呢?因为Kinesis数据分析仅从一个流中获取数据。数据流可以存在于不同的地域。

问题:如何将Kinesis数据流合并为一个用于Kinesis数据分析的数据流?

EN

回答 2

Stack Overflow用户

发布于 2020-08-29 08:01:58

我不知道是否有来自AWS的“现成”产品可以用来做这件事,但如果你不介意写一点代码,那就相当简单了。

  1. 创建一个kinesis流,该流将成为“合并流”(两个源流的事件将放在此处)。
  2. 使用您选择的编程语言创建一个lambda,并将触发器设置为要合并的kinesis流。
  3. 对lambda进行编码,以将其接收到的所有事件写入步骤1中创建的流。

由此产生的运动流应该具有您正在寻找的合并数据,并可以使用它来注入分析。

票数 1
EN

Stack Overflow用户

发布于 2022-02-22 00:22:24

这是一个迟来的答案,但为了完整性而更新它。

您也可以使用Kinesis Data Analytics for Apache flink执行此操作。https://docs.aws.amazon.com/kinesisanalytics/latest/java/how-it-works.html。这是一个来自AWS的托管Apache Flink服务,如果您不介意用Java/Python语言编写一些代码的话。

如果你正在探索流数据,也就是开发阶段,你可以使用Studio notebook。https://docs.aws.amazon.com/kinesisanalytics/latest/java/how-notebook.html

免责声明:我为Amazon Kinesis团队工作

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63578378

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档