1回答
我有一个在stderr上生成数据流的Python脚本。我可以在终端中运行它，并逐行打印数据。我试着通过python3 script.py | electron main.js把它输入到我的电子应用程序中，希望它能在我的应用程序中通过 process.stderr.on('readable',
浏览 17提问于2020-11-02得票数 0
看起来我得复制我的管道，把水槽换到另一个水槽的位置。所以，我有一个有30个拷贝活动的管道。朴素而简单，源源不断地下沉。如果我将这些更改为数据流，将Sink分为两个不同的源(使用新的分支功能)，这会增加活动的数量还是将数据流计算为1个活动？
浏览 1提问于2021-05-12得票数 0
回答已采纳
下面是在DataFlow Azure DataFlow中的一个活动之后的数据表结果，在这个步骤之后，应该有一个存储过程调用，其中它将以Description作为输入，这是逗号分隔的，输出将是其中之一：
浏览 3提问于2022-04-30得票数 -1
ADF管道和ADF数据流有什么区别？为什么管道和数据流支持的汇/源是不同的？是否有可能创建一个管道来读取来自源的数据、筛选、使用连接并将数据存储到没有数据流的接收器中？请让我知道。
浏览 0提问于2020-05-14得票数 8
回答已采纳
目前，我们在elasticsearch中有一个数据流，我们将其称为"app_stream“，在其中我们通过安装在应用程序运行的服务器上的FileBeats(port=5044)接收来自应用程序的日志消息我们有一个新的场景，现在我们在同一个FileBeats端口5044上接收来自运行在同一服务器上的两个不同应用程序的日志消息。让我们调用另一个应用程序"Model“。另外，我们希望为XMLTransformer和Mod
浏览 1提问于2021-05-31得票数 0
我正在使用Spring cloud stream和在spring cloud数据流中运行的RabbitMQ绑定器。我的问题是Spring Cloud Dataflow引入了与他的运行时以及与导入的批量应用程序(如FTP源、JDBC接收器)的紧密耦合。在数据流服务器中运行的流管道以及任务可以在不将其部署到数据流服务器中的情况下运行，或者它需要额外的工作才能在另一个基础架构上运行？
谢谢,
浏览 2提问于2018-12-14得票数 0
2回答
下面是我的ADF管道的样子。在数据流中，我从源读取一些数据，执行筛选和连接，并将数据存储到接收器。我的计划是使用Azure Table Storage作为接收器。然而，根据的说法，ADF数据流不支持Azure Table Storage作为接收器。是否有其他方法可以使用Azure表存储作为数据流中的接收器？
浏览 1提问于2020-05-14得票数 1
可以根据映射数据流的接收器中的参数来设置文件名吗？表达式构建器认为这很好，并且参数在接口中是可拖放的:可以，但是当在管道中运行数据流(将管道参数传递到数据流参数$OutFileName中)时，它会失败，并显示“表达式中不支持的语法。
浏览 29提问于2020-04-09得票数 0
回答已采纳
1回答
我有一个数据流，它具有用于Sink活动的参数化数据集。在dataset中，它有一个我已配置为用作文件名的参数。
如果我将"Filename选项“设置为"Output to single file即使是我在屏幕抓取中尝试过的"$OutFileName“也不起作用。如何从数
浏览 2提问于2022-08-17得票数 0
我有我的数据流设计与数据流活动在其中。Dataflow给我的接收器数据如下所示{"BaseObject":"DEFG","OHY":"LOI"}
{"BaseObject
浏览 3提问于2021-12-20得票数 0
回答已采纳
1回答
上下文：
我的数据流(文本)中有四个字段: id、userName、loginDateTime、loginGeoLocation。数据流来自于许多外部系统&我们没有对它的任何控制，我们在卡夫卡主题上登陆，一个日志存储管道正在从OpenSearch Indice接收并推送到它。例如，用户--来自加利福尼亚州红木的登录--但突然从波士顿登陆，在此行动中，女士发出警报触发器，并发送电子邮件/推送/通知等。我们如何使用管道、日志存储
浏览 5提问于2022-04-25得票数 0
我有一个云数据流工作，它为一个应用程序做了大量的处理。在管道的某个阶段，我按特定的键进行分组，对于与该键匹配的每条记录，我希望将一个文件写入Cloud (使用该键作为文件名的一部分)。因此，这种使用模式不适合标准的云数据流数据接收器模式(在该模式中，输出阶段的切分决定了#输出文件，而且我无法控制每个碎片的输出文件名)。我正在考虑将直接写入云存储作为ParDo函数中的一个副作用，但有以下查询：
写到云存储作为一种副作用是完全允许的吗
浏览 2提问于2015-06-07得票数 3
2回答
用于NRT数据应用的Google
、、、、
我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。桌面/移动用户应用程序订阅各种主题并接收NRT数据事件(Kafka)
消费者还从流式/批处理管道(Spark)接收分析。数据流提供了实时监测数据管道的自动缩放和工具，这是非常有用的。这可能不像部署双向tcp
浏览 2提问于2016-02-16得票数 0
1回答
我正在数据流中运行我的管道。我想使用数据流作业的id收集所有错误消息。我使用的是Apache-beam 2.3.0和Java 8。dataflowPipelineJob.getJobId();Job job = client.getJob(jobId);
有没有办法只从管道接收错误消息
浏览 0提问于2018-03-28得票数 0
我在将CSV文件导入Azure SQl数据库时遇到了问题，它使我陷入以下错误：Dataflow由一个源、派生列(其中我将几个列的数据类型从string转换为int和date)和接收器组成。
其中一列(Message)在每一行上都有大量文本(最重要的是
浏览 6提问于2022-08-01得票数 0
1回答
目的是启动视频内容(从发送方)，并在接收方播放它。我写了一个网络内容流传输的示例测试代码。在接收端: GST_DEBUG="*:2“gst-launch-1.0udpsrc port=5001！应用程序/x-rtp，编码名称=JPEG，payload=26！rtpjpegdepay！jpegdec！自动视频链接
浏览 8提问于2016-04-11得票数 0
管道看起来像这样：PCollection<String> metaLine = p.apply(TextIO.Read.named("FetchMetadata")当我在批处理模式下使用流水线时，这就像是一种魔力:首先
浏览 8提问于2017-03-14得票数 0
在流数据流管道中，如何动态地更改写入云存储的存储桶或数据前缀？
例如，我希望将数据存储到GCS上的文本或avro文件，但前缀中包含处理时间。更新：这个问题是无效的，因为在写入Google的流数据流中没有接收器可以使用。
浏览 3提问于2016-11-10得票数 0
回答已采纳
我有许多JSON文件位于我的数据湖中，它们的格式都相同，如下所示： { "AzureFolderName":"Value": 567 { ... ...我想要做的是，使用这些项中的信息以格式附加到数据湖中的到目
浏览 0提问于2021-08-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
