1回答
我有一个流"dest“，我想要两个消费者，并且两个流都应该使用相同的消息。 但是如果一个流使用了消息，那么消息就会丢失，并且不会去往第二个流。我不想要队列，而是这里的主题。我试着为两个不同的流创建两个不同的组，但是没有帮助。如何在这里进行配置？
浏览 16提问于2019-04-11得票数 0
我有多个运行在同一个微服务上的EC2实例，该服务有一个Kinase使用者运行(使用KCL)。我的问题是，当Kinesis流获得一个新的事件时，由于所有的使用者都在轮询，所有实例的使用者会使用相同的事件吗？
浏览 0提问于2018-06-19得票数 2
回答已采纳
3回答
我想要扇出/链/复制一个输入的AWS动态流到N个新的Kinesis 中，这样写入输入的每个记录都会出现在每个N个流中。如果有现成的解决方案，我宁愿不编写代码。
浏览 9提问于2016-10-15得票数 20
回答已采纳
在Kinesis完成工作之后，下一步就是将这些信息发送到目的地。Kinesis，那么我将向该流附加一个Lambda来处理记录。AWS还提供了将目的地设置为Lambda的能力，从而绕过了此过程的Kinesis步骤。指出：
如果管道的下一个阶段只需要一个使用者，那么使用
浏览 0提问于2018-03-28得票数 3
当Kinesis流使用者遇到错误，并在使用@StreamListener注释的方法中抛出异常时，如何配置绑定以使消息重新排队或发送到DLQ？我在Spring Cloud Stream中看到了对Rabbit和Kafka的这种级别的支持，但我没有看到对Kinesis绑定的支持。在Kinesis流处理器中处理错误的推荐方法是什么？
浏览 24提问于2019-05-16得票数 1
回答已采纳
我已经读过一些关于kinesis、shard和多个消费者的问题，但我仍然不明白它是如何工作的。
我的用例:我有一个只有一个分片的kinesis流。设置多个lambda消费者(基于流)从同一个流/分片读取？
浏览 2提问于2017-04-14得票数 5
我有一个应用程序，它使用KCL 2.x来消费来自Kinesis的记录，流的不同分片中的数据具有不同的格式，我想使用不同配置的KCL消费者来分别处理它们。例如，如果我在Kinesis流中有3个分片，我将为不同的分片生成3个具有不同配置的不同使用者，即每个分片1个使用者。当我创建多个消费者时，我面临的问题是，如果我通过java代码配置了3个不同的消费者，那么它们中的任何一个都会占用所有分片的租约锁，而其他消费者无法获得该租约。(software.amazon.kin
浏览 10提问于2020-07-14得票数 1
回答已采纳
当使用Kinase数据流时，可以使用特性吗？
DynamoDB流API有意类似于Kinesis，这是一种用于大规模实时处理流数据的服务。在这两个服务中，数据流由碎片组成，碎片是流记录的容器。这两个服务的API都包含ListStreams、DescribeStream、GetShards和GetShardIterator操作。(尽管这些DynamoDB流操作与Kinesis中的对应程序相似，但并不是100%相
浏览 1提问于2019-07-19得票数 0
1回答
我有一个Lambda事件源指向一个Kinesis消费者。这条小溪有30个碎片。我可以看到来自lambda控制台的请求，我还可以在kinesis的增强扇出部分中看到度量标准，因此看起来一切都配置正确。有人能解释一下与lambda流使用者的并发是如何工作的吗？
浏览 0提问于2019-05-10得票数 1
4回答
运动是由由一个或多个碎片组成的溪流组成的。记录存储在这些碎片中。我们可以编写连接到碎片的使用者应用程序，并按照存储的顺序读取/重播记录。但是Kinesis能保证，在不将订购逻辑推送给消费者的情况下，开箱订购流本身吗？消费者如何从同一流的多个碎片中读取记录，以确保记录的读取顺序与添加到流中的顺序相同？
浏览 6提问于2016-08-31得票数 28
在Google /Sub 中，关于拉出交付中的负载平衡问题，可以这样说：
我想使用Google /Sub服务来完成这种分区。这有
浏览 2提问于2017-04-11得票数 4
回答已采纳
2回答
到目前为止，SNS/SQS似乎完成了微服务之间的通信，我现在正在查看来自不同微服务的流事件，我想知道在什么规模下，SNS/SQS组合可能会变得过于昂贵，我什么时候应该考虑基于规模的动态事件？
浏览 3提问于2022-02-02得票数 0
我正在开发我的第一个Apache波束管道，以处理AWS Kinesis中的数据流。KinesisIO -如何强制使用者开始处理数据流w.r.t。InitialPositionInStream.TRIM_HORIZON总是从最早可用的数据流
浏览 3提问于2020-08-21得票数 0
当从aws运动流读取记录时，有什么区别
AmazonKinesisClient方法getRecord()和IRecordProcessor接口的方法processRecords()。由于processRecords() of IRecordProcessor用于处理流中的记录，而getRecords() of AmazonKinesisClient仅用于获取记录，显然我们可以在获取记录之后进行处理
浏览 1提问于2021-09-08得票数 2
回答已采纳
我已经设置了一个SQS队列，并将多个Lambdas配置为触发器。虽然AWS的API允许这样做，但不清楚预期的行为是什么。
例如，是否从队列中取出一条消息并发送给每个Lambda？
浏览 0提问于2018-10-15得票数 5
回答已采纳
我的要求是只将插入到数据库中特定表上的插入流流到一个Kinesis数据流中。我已经在我的AWS环境中配置了这个管道：
查看DMS的选择和筛选规则。还是没看到任何可能有帮助的东西。当然，我可以简单地忽略来自我的Kinesis
浏览 7提问于2021-11-17得票数 0
回答已采纳
1回答
我对分布式流处理(Spark)很陌生。我读过一些教程/例子，其中介绍了背压是如何导致生产者对超载消费者的反应减缓的。给出的典型例子是吞食和分析tweet。因为我将在AWS环境中工作，所以我的第一个想法是“缓冲”SQS队列或Kinesis流中的多余数据。在实践中，它是像这样简单，还是有一个更标准的流解决方案来解决这个问题(也许是星火本身的一部分)？
浏览 1提问于2018-04-08得票数 1
1回答
我们希望使用动态流和消防软管来更新aws管理的elasticsearch集群。我们有数百个需要更新的不同索引(对应于我们的DB碎片)。在创建消防水管时，它要求我指定要更新的特定索引名称。另外，我们将有大约20个独立的生产者将数据发送到一个动态流(每个生产者将为10个不同的索引生成数据)。我是否也需要一个单独的动感流为每个生产者。摘要:20个生产者(EC2实例) ->，每个生产者将20个不同索引的数据发送到一个动态流->，然后使用一个消防软管来更新包含200个索引的单个集群。新的索引名可以包含在发送到ki
浏览 1提问于2018-07-24得票数 2
我有多个AWS kinesis数据流/firehose和CSV格式的结构化数据。我需要使用运动数据分析对这些数据执行分析。但是如何将多个流合并为一个流呢？因为Kinesis数据分析仅从一个流中获取数据。数据流可以存在于不同的地域。
问题:如何将Kinesis数据流合并为一个用于Kinesis数据分析的数据流？
浏览 3提问于2020-08-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
