如果我必须在应用程序开始运行之前从流中读取消息，我应该使用哪种分片迭代器类型 我们的代码现在看起来是这样的，但是分片迭代器类型LATEST不读取在<e
浏览 9提问于2020-09-08得票数 1
1回答
我观察到有一些记录存在于kinesis流中，但它们尚未被KCL消费者应用程序接收到。可能发生这种情况的原因是什么？之前和之后的记录都很好。我从我的Kinesis生产者中获取了序列号，并在aws cli中<em
浏览 0提问于2017-04-07得票数 1
从文档中可以清楚地看到，当以TRIM_HORIZON作为迭代器类型启动KCL应用程序时，记录将从流的开头读取。文档还提到，应用程序的状态是通过使用检查点在DynamoDB表中维护的。但是，我没有找到任何参考，KCL应用程序是如何使用这些DynamoDB表信息的。
具体而言，我的问题如下-我有流
浏览 5提问于2017-04-01得票数 3
回答已采纳
当使用切分迭代器类型的TRIM_HORIZON时，预期的行为是从返回24小时前可用的记录开始吗?但是，如果零条记录是在24小时前发布的，而不是仅在3小时前发布的，那么您的应用程序在到达3小时前发布的记录之前，需要对前21小时进行迭代轮询吗？这个调用的结果应该是什么？(注意:我们不记得/重复使用步骤3中的切分迭代器)
浏览 3提问于2015-09-30得票数 13
回答已采纳
我正在工作一个Camunda弹簧启动应用程序。应用程序使用从rabbitmq队列中读取消息。一旦收到消息，应用程序将调用Camunda中的一个流程实例。如果在应用程序启动期间已经有消息在rabbitmq队列中，云流侦听器甚至在Camunda初始化之前就开始<
浏览 1提问于2018-08-30得票数 2
回答已采纳
我设置了一个新的Kinesis数据流，并向其中写入了一些数据。然后我意识到我还没有设置Kinesis Firehose，所以我也设置了它。我希望Firehose收集之前已写入流的数据并将其转储到S3，但我发现Firehose仅在附加后才转储写入流的数据。 当没有附加使用者时，写入Kinesis数据流的数据会发生什么情况？它还在那里吗，有什么方法可以让我找到它吗？
浏览 18提问于2020-04-07得票数 0
我正在运行一个测试系统，它产生一个Kinesis生成器，该生成器开始向具有两个分片的流写入消息，例如:1到100。 在该周期中，使用者开始从流中读取消息。我注意到使用者只读取流运行后进入流的LATEST消息。例如，它从消息43开始<
浏览 73提问于2019-05-09得票数 1
我已经读过一些关于kinesis、shard和多个消费者的问题，但我仍然不明白它是如何工作的。有可能吗？设置多个lambda消费者(基于流)从同一个流/
浏览 2提问于2017-04-14得票数 5
1回答
应用层协议-不同大小的数据包
、、、、
假设我已经在TCP之上为即时消息定义了自己的应用层协议。我在邮件中使用了一个数据包结构。由于我使用对称加密(AES)和非对称加密(RSA)，因此对于不同的消息类型，我获得了不同的数据包大小。现在来回答我的问题。提前谢谢。
我想到两种方法。<
浏览 3提问于2016-05-04得票数 0
回答已采纳
我正在尝试在Java8中创建带有流的一个生产者多消费者模型。我正在读取和处理来自DB资源的数据，我想以流的方式处理它们(不能将整个资源读取到内存中)。源的读取必须是单线程的(游标不是线程安全的)，并且读取速度很快，这样就可以并行处理每个数据块，这是繁重的操作。此
浏览 2提问于2016-04-22得票数 3
2回答
解析或迭代istream的最佳方法是什么？我需要创建一个接受istream的函数，解析它并创建一个对象，所以我想知道做这件事的最简单的方法。即使是能把它转换成string的东西也是很棒的。
浏览 0提问于2010-10-24得票数 3
回答已采纳
我正在测试Apache Flink(使用v1.8.2)从Kinesis数据流读取消息的速度。Kinesis数据流只包含一个分片，它包含40,000条消息。每封邮件的大小不超过5 KB。尝试使用TRIM_HORIZON从最旧的消息中读取流，我期望应用程序应该能够快速读取
浏览 31提问于2020-03-24得票数 0
2回答
有一个带迭代器和状态的铅线程(蓝色)。状态包含可变数据，必须保护这些数据不受并发访问的影响。此外，必须在迭代器从开始、顺序和顺序处理时更新状态，因为迭代器的元素依赖于以前的元素。如果我能够推测地对下一个k元素进行预处理，那么在运行时间方面就会有很大的改进。异步线程上的推测预处理是可能的(而蓝线程是同步处理的)，但是预处理后的数据必须由蓝线程来验证，此时预计算的结果是否有效。通常(9
浏览 10提问于2022-03-24得票数 0
回答已采纳
我有一个场景，其中我有一个带有AWS Lambda函数触发器(流)的DynamoDB表。
我想使用DynamoDB作为事件存储，并使用Lambda函数来维护数据的投影/聚合视图/读取视图。我的理解是，Lambda触发器的并行度取决于DynamoDB流包含的分片的数量。因此，如果Lambda函数使用的DynamoDB流<
浏览 31提问于2016-08-02得票数 0
回答已采纳
3回答
对于订阅来自流的所有事件的投影来说，这很容易，您只需将最后一个事件的版本应用于您的读取模型即可。但是，当投影是多个流的组合时，该怎么办？您是否保留参与投影的每个流的版本。但是，如果您不订阅所有活动，那么差距又如何呢？您最多只能断言该版本高于上一个版本。其他人是如何处理这个问题的？您是否会响应每个事件并升级版本？
浏览 8提问于2019-06-06得票数 2
2回答
通过星火流，我可以读取卡夫卡消息并将数据写入到不同类型的表中，例如HBase、Hive和Kudu。但这也可以通过为这些表使用Kafka连接器来实现。我的问题是，在哪种情况下，我更喜欢连接器而不是星火流解决方案。
同样，卡夫卡连接器解决方案有多宽容？我们知道，通过星火流，我们可以使用运行在多个节
浏览 3提问于2020-06-04得票数 7
回答已采纳
3回答
如何自动运行流基本上，我试图从csv文件中读取数据，并希望将其存储在数据库中。我为它创建了流并运行，它启动应用程序，如下所示：
信息2013-11-26 11:31:47,401主org.mule.module.launcher.MuleDeploymentService：+++++++++++++++
浏览 3提问于2013-11-26得票数 0
回答已采纳
是否可以在消息到达SQS队列时安排DAG运行？我还需要dag来处理队列中的消息。据我所知，这可以通过使用SQSSensor来完成，但我找不到任何示例，我对如何前进感到困惑。
浏览 24提问于2021-08-02得票数 0
2回答
我如何开始从一个特定的字节读取？我有以下代码： while ( (len = f.read(buffer)) > 0 ) {} 例如，我想从字节50开始读取。
浏览 0提问于2012-06-08得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
