2回答
我尝试以流的方式从光束/数据流运行一个RabbitMQ队列(这样它就可以无限期地运行)。我尝试运行的最小示例代码是： import org.apache.beam.sdk.Pipeline;import org.apache.beam.sdk.io.rabbitmq.RabbitMqMessage;
import org.apache.beam.sdk.transforms.DoFn;Stri
浏览 23提问于2019-01-05得票数 0
a)从有界源读取，当在数据流中运行时，PCollection大小可以有多大？波束/数据流的表现有多好？在ParDo函数中，假设我们只能传递一个输入并返回一个输出，那么如何基于两个输入数据集执行查找呢？我正在尝试使用类似于任何其他ETL工具的数据流/波束，在这些工具中，可以通过简单的查找来创建一个新的PCollection。请提供任何代码片段，这可能会有所帮助。
浏览 4提问于2018-09-04得票数 0
我正在尝试理解数据流/光束是如何管理状态的。例如，当使用kafka streams时，可以停止并重新启动应用程序，然后从最后一个状态继续。 波束/数据流是否也有类似的可能性？
浏览 11提问于2019-01-16得票数 1
回答已采纳
我有java代码，它读取我的非结构化web日志文件的多行代码，并生成一个json数据。2018-03-06 09:00:46,236] line2[2018-03-06 09:01:20,097] line4
现在，我正在数据流管道中执行此转换然而，我没有找到一种方法来一起读取/处理多行。有人能帮助我使用数据流处理多行web日志文件吗？
浏览 0提问于2018-03-29得票数 0
回答已采纳
1回答
可以使用数据流或DataProc吗？
PS:到目前为止，我们的组织还没有授权任何第三方ETL工具.首选是谷歌本地服务。数据融合是非常昂贵的。
浏览 13提问于2022-05-12得票数 0
对于我们的近实时分析，数据将被传输到pubsub中，Apache波束数据流管道将先写入bigquery进行处理，然后再从bigquery读取数据集，然后将聚合结果存储在Hbase中，用于OLAP多维数据集计算下面是用于从bigquery获取记录的示例ParDo函数
String eventInsertedQuery="Select count(*) as usercount from <tablename>
浏览 5提问于2020-03-20得票数 0
我有一个当前与RabbitMQ集成的组件。我想把RabbitMQ换成Azure Event Hub，因为我们现在在云中。AMQP 0.9.1是否与AMQP 1.0兼容？交换会无缝地工作吗？
浏览 0提问于2018-03-15得票数 2
正在尝试为数据流作业创建模板。到目前为止，无论在创建模板时使用了什么参数，但当我尝试为变量传递不同的值时，它不会选择运行时值。
浏览 0提问于2018-09-06得票数 2
2回答
我使用的是带有RabbitMQ绑定的。这将自动使用我的路由器表达式的结果创建RabbitMQ交换(类型:主题)。我认为下一步是为每个路由器结果创建新的数据流。但是，只能将配置为从队列中读取。
浏览 0提问于2018-01-16得票数 1
回答已采纳
2回答
当使用Okhttp3从数据流作业请求(get和post) HTTPS时，程序抛出SSL握手异常并失败。或者是与我的数据流/波束设置有关。ApacheBeamSDKforJava2.16.0
Com.square up.okhttp 3:okhttp:4.2.2
浏览 0提问于2019-12-17得票数 2
1回答
我正在尝试理解如何将hbase数据库分批10条记录地摄取到Apache 10/Dataflow中。PCollection<KV<Integer,String>> records = p.apply("read",HBaseIO.read() .withTableId("Data")
浏览 1提问于2017-10-25得票数 0
1回答
将RDBMS与同步
、、、
Option1:使用spring云数据流的思想。源spring引导应用程序，用于读取上次同步运行后更改的ldap数据。源应用程序将数据推送到队列中(目前为RabbitMQ)。接收器将是另一个直接从队列收集数据并将数据保存到RDBMS中的春季引导应用程序。我们将能够使用spring云数据流仪表板更好地跟踪和管理同步过程作业。一种方法是在适用的情况下拦截ldapTemplate调用并将数据推入队列，然后中间应用程序从队列(RabbitMQ)读取数据，并将l
浏览 0提问于2019-03-10得票数 0
我正在运行一个使用波束/数据流的流管道。我正在读取来自pub/sub的输入，将其转换为字典，如下所示： | 'ReadPubsubLoads' >> ReadFromPubSub(
浏览 17提问于2019-07-14得票数 0
我正在开发我的第一个Apache波束管道，以处理AWS Kinesis中的数据流。在阅读了这些文档之后，我成功地创建了一个工作波束管道，使用KinesisIO Java侦听AWSKinsis数据流来转换和打印消息。InitialPositionInStream.TRIM_HORIZON总是从最早可用的数据流开始，即使我在处理了几个Kinesis的数据之后重新启动了管道。：ack如何在动态数据流中工作，即使用者如何在进一步增加碎片中的序列/位置之前处理使用get
浏览 3提问于2020-08-21得票数 0
我刚刚更改了logstash-elasticearch设置，以包含rabbitmq，因为我无法通过tcp连接将消息足够快地放入logstash中。现在，logstash从队列中读取数据的速度非常快，但我没有看到消息进入kibana。一个错误显示缺少时间戳字段。Bv4Kp7tbSuy8YyNi7NEEdg 1 1 2014-03-27T12:37:29.641Zinput {
浏览 0提问于2014-03-27得票数 0
它的功能之一是有人从web应用程序中发送一些数据，将数据提前发送到移动设备。
确定了一个与芹菜和RabbitMQ成分有关的问题。我们可以看到当芹菜向RabbitMQ发送任务时，特定的RabbitMQ
浏览 0提问于2018-04-11得票数 0
1回答
我正在使用Akka和RabbitMQ，将成为一个大规模的应用程序。这听起来是否适合于确保所有的事情都在rabbitMQ上表现自己呢？
另一方面，我开始使用日志队列来测试其他事情。我只需将各种日志消息路由到它，然后读取队列，以了解正在发生的事情。例如，如果我想测试某件事情是否正在做什么，我只需将一个函数LogThis("Entered: Me
浏览 3提问于2013-09-11得票数 2
回答已采纳
Description("The Json spec") void setJsonSpec(String jsonSpec);我想在Google数据流引擎中部署管道即使我将规范作为filepath传递并在启动管道之前读取beam代码中的文件内容，如何将管道的spec文件部分捆绑在一起。注，我不想提交规范文件(在资源文件夹中)的一部分，我的源代码，我的波束代码是可用的。它需要配置，即我要传递不同的规格文件，为不同的梁管道作业。
浏览 8提问于2022-01-12得票数 0
回答已采纳
2回答
我正在尝试学习/尝试云编写器/束/数据流在gcp上。我编写了一些函数来对python中的数据进行一些基本的清理，并使用云编写器中的DAG运行此函数，从桶中下载文件，处理它，并以一定的频率将其上传到桶中。
然后如何从dag触发
浏览 13提问于2022-02-13得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
