我有多个AWS kinesis数据流/firehose和CSV格式的结构化数据。我需要使用运动数据分析对这些数据执行分析。但是如何将多个流合并为一个流呢?因为Kinesis数据分析仅从一个流中获取数据。数据流可以存在于不同的地域。
问题:如何将Kinesis数据流合并为一个用于Kinesis数据分析的数据流?
发布于 2020-08-29 08:01:58
我不知道是否有来自AWS的“现成”产品可以用来做这件事,但如果你不介意写一点代码,那就相当简单了。
由此产生的运动流应该具有您正在寻找的合并数据,并可以使用它来注入分析。
发布于 2022-02-22 00:22:24
这是一个迟来的答案,但为了完整性而更新它。
您也可以使用Kinesis Data Analytics for Apache flink执行此操作。https://docs.aws.amazon.com/kinesisanalytics/latest/java/how-it-works.html。这是一个来自AWS的托管Apache Flink服务,如果您不介意用Java/Python语言编写一些代码的话。
如果你正在探索流数据,也就是开发阶段,你可以使用Studio notebook。https://docs.aws.amazon.com/kinesisanalytics/latest/java/how-notebook.html
免责声明:我为Amazon Kinesis团队工作
https://stackoverflow.com/questions/63578378
复制相似问题