数据流:设置DataflowPipelineDebugOptions

文章/答案/技术大牛

发布

1回答

apache-beam、dataflow

我的管道不断地给出面向对象的错误，所以我读了下面的答案，并尝试设置--dumpHeapOnOOM和--saveHeapDumpsToGcsPath。但这些选项似乎不起作用。

浏览 22提问于2019-02-01得票数 1

1回答

云数据流中的WorkerHarnessThreads是如何管理的？

google-cloud-dataflow、apache-beam

云数据流运行器现在使用的是numberOfWorkerHarnessThreads选项吗？早些时候，PipelineOptions属性numberOfWorkerHarnessThreads是在doc中指定的，并显示在数据流作业监视UI中的管道选项下。现在这两个都不见了。

浏览 15提问于2019-05-02得票数 2

1回答

使用数据流生成自执行JAR

google-cloud-dataflow、apache-beam

根据link中的指示，尝试构建用于在气流中调度数据流作业的JAR文件。在依赖项部分增加了相关的依赖项，并在POM文件的build部分给出了主类名称。当我使用下面的maven命令执行数据流作业时，出现了下面的错误。有人能指导我解决这个问题吗？org.apache.beam.sdk.options.PipelineOptions 我的管道文件 public interface DefaultOptions extends PipelineOptions,GcpOptions,ApplicationNameOptions,DataflowPipeline

浏览 15提问于2019-03-19得票数 2

回答已采纳

2回答

无法为ADF数据流中的参数化源数据集指定参数

azure-data-factory

我有一个数据流，它有一个参数：TableName。流中用作源的数据集将为TableName参数( Server数据集)进行参数化。在ADF数据流中选择源设置中的此数据集时，它不允许我设置TableName参数，就像在标准CopyActivity中设置源时一样。那么，如果数据流不允许您设置参数，那么如何在数据流中使用参数化数据集呢？

浏览 0提问于2020-08-06得票数 2

回答已采纳

1回答

SSIS -基于变量值的禁用任务

ssis-expressions、ssis-2008、data-flow

我有一个SSIS包，它同时运行许多数据流任务。在运行数据流任务之前，使用脚本任务来检查运行所需的数据流任务。每个数据流任务还有一个相关变量，脚本任务将其设置为true或false。数据流任务使用变量值作为禁用表达式属性。但是，即使在运行时将某些变量设置为

浏览 0提问于2018-02-22得票数 0

回答已采纳

1回答

如何将链接的服务参数从管道传递到数据流？

azure、azure-data-factory、azure-data-factory-pipeline、azure-data-flow

我在数据流上有一个源，我想使用参数来创建动态端点，我想从数据管道设置端点值，我正在使用在链接服务上创建的参数，但我没有找到如何从管道为该参数设置值的合适方法。我尝试在数据流上创建一个参数，并将指向数据流参数的链接服务参数设置为默认值，但没有成功。

浏览 1提问于2021-06-23得票数 0

1回答

SSIS在失败时使包失败

ssis

excel中的每个工作表都应该放入sql server中的单独的表中，所以我创建了一个序列容器，并在其中放置了数据流任务。每个数据流任务都包含将数据从一个excel工作表移动到sql server中的表的逻辑。所以问题是，如果一个数据流任务失败，那么我预计整个包都会失败，并回滚其他数据流任务所做的更改。但它不是这样做的。其他数据流任务正在提交到sql server中。对于序列容器和单个数据流任务，我已经将属性"Failpackageonfailure“设置为

浏览 0提问于2012-02-23得票数 4

1回答

Composer/Airflow在可抢占的虚拟机上运行数据流作业时遇到困难

google-cloud-dataflow、airflow-scheduler、google-cloud-composer、airflow

我在GCP中有一个Composer/Airflow实例(版本composer-1.12.2-airflow-1.10.10)，它可以正常地运行其当前作业(大约40个DAG，每个DAG有6个数据流作业，每个数据流作业从数据流模板(普通模板，而不是flex模板)运行，通常需要大约20分钟才能完成，部分是并行完成的。我从一个python 开始如果我使用数据流选项，实例就会阻塞。在CPU使用率较高的情况下，它最多只能在前20分钟内每分钟安排一个数据流作业。这会导致任务累积，甚至会进一步减慢它，直到它几

浏览 0提问于2020-11-25得票数 0

2回答

Azure数据工厂.数据流集变量

azure-data-factory

在我的管道中，我有一个小的数据流活动，它从我想要在主流中使用的JSON文件中读取一个值。通过数据流，我想用这个值设置一个变量，但是我还没有找到这样的方法。那么，如何从“数据流”中设置具有新值的变量呢？

浏览 4提问于2020-05-06得票数 0

回答已采纳

1回答

SSIS平面文件连接器不工作

ssis

我在设置的每一个平面文件连接器上都会得到以下错误。平面文件连接器是在数据流任务中从ADO.NET设置的。 数据流任务SSIS.Pipeline错误:一个或多个组件验证失败。数据流任务中的错误:在任务验证期间存在错误。

浏览 1提问于2013-05-16得票数 2

回答已采纳

2回答

使用天蓝色数据工厂管道的每个活动内的映射数据流

azure-data-factory、azure-data-factory-2、azure-data-flow

管道映射数据流：问题：如何在数据流中使用foreach中的item()，并从csv文件和进程中获取该记录。在数据流源步骤中，我没有看到任何字段/选项。

浏览 4提问于2020-05-05得票数 2

回答已采纳

3回答

如何在同一事务中并行运行多个数据流任务？

ssis

我有一个包，它在序列容器中添加了3个并行数据流任务。我需要实现事务，这样，如果所有3个数据流任务都成功执行，事务就会完成。如果任何数据流任务失败，则事务应该回滚。Isolation: readcommited 关于三个数据流任务的属性，我<em

浏览 3提问于2012-04-29得票数 4

3回答

Azure数据工厂和数据流花费了太多时间处理从阶段到数据库的数据

azure、azure-data-factory、azure-data-factory-2

因此，我有一个数据工厂，每天运行，它选择数据从甲骨文的前提数据库大约80M记录，并将它移动到拼花文件，这大约需要2个小时，我想加快这个过程…在db中插入和更新数据的数据流处理。拼花文件设置下一步是从parquet文件，它调用数据流，它将数据作为向上插入移动到数据库，但这也需要花费太多的时间。数据流设置让我知道数据流的哪种计算类型后循环罗宾更新下沉时间

浏览 7提问于2019-12-19得票数 1

1回答

数据流作业无法写入不同区域中的BigQuery数据集，即使区域设置为bigquery区域

google-cloud-platform、google-cloud-dataflow、apache-beam

我们正在编写一个数据流作业，将数据从存储桶中的JSON写入到BigQuery数据集。存储桶和BigQuery数据集都位于区域X中。但是，在区域X中无法使用数据流端点。最近的区域是Y。因此，我已经将Dataflow作业区域设置为Y，但区域设置为X。因此，所有的计算实例都是在区域X中旋转的。但是，数据流作业仍然失败，错误如下：所使用的光束版本是2.17，SDK是Python SDK。我们正在创建<

浏览 4提问于2020-03-05得票数 0

1回答

如何在DF数据流、数据集源选项中使用管道参数

azure-data-factory、azure-databricks

那么如何在数据流SQL查询中使用管道参数呢？失败的来源：我要使用变量的查询：最后的结果是：任何帮助都是非常感谢的！

浏览 3提问于2020-10-07得票数 0

2回答

如何为模板数据流作业设置作业区域？

google-cloud-platform、google-cloud-dataflow

我想从自定义数据流模板开始GCP数据流，并将区域设置为欧洲。结果，我在管道选项中获得了与europe-west1相等的区域，我的VM也在欧洲运行，但Job的区域被设置为us-central1 (在存储和处理此作业的元数据的作业摘要部分区域中)。当我从模板启动数据流时，我还将region设置为europe-west1。我也试着在任何可能的地方设置区域，把区域设置到欧洲，但我仍然得到了同样的结果。关于设置作业区域-区域端点的文档只提到这一

浏览 0提问于2019-07-12得票数 0

回答已采纳

1回答

云发布/订阅和云数据流将工作进程固定到主题

google-cloud-platform、google-cloud-dataflow、google-cloud-pubsub

我有一个谷歌云发布/订阅和云数据流处理架构，我需要保证消息排序。是否可以将订阅消息流设置为每个主题固定数据流工作进程，以便消息通过相同的数据流工作进程路由，因此应该实现消息排序。谢谢

浏览 0提问于2018-06-30得票数 1

1回答

如何对无水印的flink联合数据流进行排序

apache-flink

flink流具有多个数据流，然后使用org.apache.flink.streaming.api.datastream.DataStream#union方法对这些数据流进行合并。然后，我得到了问题，数据流是混乱的，我不能设置窗口来对数据流中的数据进行排序。环境信息: flink版本1.7.0 总的来说，我希望对没有水印的联合数据流进行排序。

浏览 30提问于2019-01-12得票数 2

1回答

StoreNr :设置(1) SSIS和(2) SSIS的列表变量，然后在where子句中使用它们

ssis

1.脚本任务:设置(A) inventory count和(B) StoreNr数组2.数据流任务:在where子句中使用列表变量(以过滤，从而提高性能) *脚本任务必须从服务器A读取，数据流任务必须从服务器我不想使用链接服务器，也不想筛选数据流的下游，而是希望筛选数据流源(OLE DB)中的where子句。

浏览 0提问于2012-09-22得票数 0

回答已采纳

1回答

在c#中动态设置属性类型

c#、parsing、reflection、types、properties

我的数据流有以下问题： class GenericClass{} 是否有可能通过反射将数据流的值设置为正确的类型？

浏览 2提问于2012-11-02得票数 3

回答已采纳

点击加载更多