如何使用google dataflow计算文件中的总行数

文章/答案/技术大牛

发布

1回答

google-cloud-dataflow

我想知道是否有一种方法可以使用google dataflow找出文件中的所有行。任何代码样本和指针都会有很大帮助。基本上，我有一个方法，就像因此，上面的方法将返回总行数，其实现将是数据流代码。谢谢

浏览 10提问于2016-08-31得票数 1

回答已采纳

2回答

如何计算运行在Google上的Apache波束管道的成本？

google-cloud-platform、google-cloud-dataflow、apache-beam

我想得到运行在Google上的Apache管道成本的估算，我目前正在运行一个Apache代码，它使用for循环自动缩放管道，并将数据存储在Beam中12小时左右，然后聚合和处理管道中的数据。任何关于我如何估算成本的想法都会受到赞赏，并且优化方法，以尽量减少这种成本。谢谢!

浏览 13提问于2022-10-13得票数 0

回答已采纳

1回答

哪里保存Dataflow和Cloud composer python代码？

google-cloud-platform

这可能是一个愚蠢的问题。在我的项目中，我们将使用数据流和Cloud composer。为此，我申请了在GCP项目中创建VM实例的权限，以保留Dataflow和Cloud composer python程序。但是客户问我创建VM实例的原因，并告诉我您可以在没有VM实例的情况下执行数据流。这有可能吗？如果是，如何实现？有谁能解释一下吗？这对我真的很有帮助。

浏览 10提问于2020-04-09得票数 0

回答已采纳

1回答

读取数据流中的bigtable失败

java、google-cloud-dataflow、google-cloud-bigtable

我在工作中使用数据流将一些数据写入bigtable。at java.lang.Thread.run(Thread.java:745) 我现在使用的是<Res

浏览 2提问于2016-07-12得票数 1

1回答

Azure数据工厂按文件大小拆分文件

azure、azure-data-factory-2、azure-data-factory-pipeline

从我两周的Azure经历中。我想根据大小来分割文件。例如，有一个有200 k行的表，我希望设置一个参数，将该表拆分为多个文件，每个文件的限制为100 if(如果这有意义的话)。它将根据表的大小返回文件的N数。类似于：我正在浏览文档、博客和视频，可以使用Azure函数、Azure批处理和Databricks在我的个人帐户中使用py

浏览 5提问于2020-07-16得票数 2

回答已采纳

1回答

使用，如何在GCE计算实例上使用适当的凭据运行？

google-compute-engine、google-cloud-dataflow

但是，我似乎无法破解使用计算引擎实例的服务凭据或我使用控制台的API & AUTH部分创建的服务凭据来运行它的正确步骤。当我运行时，我总是得到一个401没有授权的错误。这是我试过的..。1)创建虚拟机，授予存储、数据存储、sql和计算引擎访问权限。我的理解是，这应该会创建一个特定于CI的服务帐户，这是服务器的默认凭据。在此实例上运行应用程序时，应该<em

浏览 5提问于2015-07-07得票数 1

回答已采纳

2回答

YAML文件到Google BigQuery。我在Google Cloud平台上的架构应该是什么？

google-cloud-platform、google-bigquery、google-cloud-functions、google-cloud-dataflow

这个问题涉及到在Google Cloud Platform上应该为我的特定用例建立一个合适的架构。我有一堆.yaml文件，我想使用Google Cloud Platform的产品在这些文件上运行SQL查询。这些文件的总大小不会超过30MB，每个文件的平均大小约为50KB。我在想，我可以设计一个架构，将所有这些文件保存在云存储上，我运行一个数据流管

浏览 0提问于2018-12-13得票数 0

1回答

我想从WordCount上运行 java示例，但是不知怎么地，我得到了一个错误，ClasspathScanningResourcesDetector没有找到任何要处理的文件。at org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:281) ... 10 more我正在使用最新的光束版本。编辑：--这是2.19.0中的一个bug。它在2.18.0中

浏览 3提问于2020-03-08得票数 2

回答已采纳

1回答

从Google* Cloud Bigtable到AWS EMR (HBase)*

csv、export、hbase、amazon-emr、google-cloud-bigtable

如何将云Bigtable中的HBase表导出到AWS EMR？我知道有一个可以使用Google Cloud Dataflow runner将HBase表导出到Google Storage。但是导出的文件以某种方式编码，我没有办法使用它，只能使用Google Cloud Dataflow runner将这些文件重新导入到它的Cl

浏览 8提问于2019-03-29得票数 4

1回答

如何制作灵活大小的哈希表

c、hashtable

我想使用这个代码来过滤一个大文件。目前我正在硬编码哈希表的大小，假设输入有5000万行。我希望总行数是哈希表大小的37%。这是目前实现的，因为0x8000000的37%大约是5000万。然而，在实践中，在我开始处理它之前，我不会知道输入的大小。如何修改代码以自动调整哈希表的大小，使其具有正确的大小？速度也很重要，因为过滤的目的是节省时间。

浏览 0提问于2014-09-05得票数 3

1回答

谷歌云数据流服务帐户没有传播给工人？

java、google-bigquery、google-cloud-dataflow

我们有多个作业(用Java /Kotlin编写)，它们可以以两种不同的方式运行：当从用户帐户运行数据流作业时，Dataflow当从服务帐户运行Dataflow作业时，我设想使用设置的服务帐户将被传播到Dataflow在后台使用的辅助VM。没有提到任何这一点，但是他们确实提到了凭据用于对

浏览 0提问于2018-12-05得票数 3

3回答

如何有效地统计数据流中文件的行数？

google-cloud-dataflow

我想要计算文件中的总行数。如果可能，请解释一下你的代码。String fileAbsolutePath = "gs://sourav_bucket_dataflow/“+ fileName； PCollection<String> data = p.apply

浏览 0提问于2018-03-20得票数 1

1回答

数据流API不会在GCP中激活。

google-app-engine、google-cloud-dataflow

我试图在我的项目中使用数据流API。在云仪表板中，我使用指定的链接启用了所有API：由: java.lang.RuntimeException:未能创建工作流作业引起:项目尚未启用请使用为您的项目激活“数据流”API。在com.google.cloud.dataflow.sdk.runners.DataflowPipelineRun

浏览 2提问于2016-03-20得票数 0

回答已采纳

1回答

无法使用PubsubIO.Read创建管道，需要设置资源。失败

google-cloud-dataflow、google-cloud-pubsub

我的测试管道真的很简单。它尝试从通过控制台创建的主题中读取。setup_resource_additionaltopic.subscription-375367840492394866711：)：步骤additionaltopic.subscription-3753678404923948667设置资源失败我在文档中找不到任何东西，我尝试解决这个问题的尝试也没有成功。溶液 <e

浏览 2提问于2016-03-23得票数 1

回答已采纳

2回答

对于Node.js中的数据流作业，要传递的正确字段是什么--分段位置参数？

google-api、google-cloud-platform、google-cloud-functions、google-apis-explorer

该函数在文件上传到GCS存储桶时触发。但它从未成功执行过："textPayload：“运行数据流模板时出现问题，错误为：{错误:收到无效的JSON有效负载。“这是I specify the staging location for the job的语法问题。我尝试过”staging_location“，"staginglocation"，它们中的许多都起作用了。var {googl

浏览 0提问于2018-03-22得票数 0

1回答

用于构建和运行Dataflow* Flex模板的Terraform脚本*

google-cloud-platform、terraform、google-cloud-dataflow、terraform-provider-gcp

需要将这2个gcloud命令转换为使用Terraform构建和运行数据流作业。gcloud dataflow flex-template build ${TEMPLATE_PATH} \ --subnetwork=$SUBNETWORK \我已经尝试使用资源google</e

浏览 39提问于2021-09-27得票数 0

4回答

Google云存储:输出路径不存在或不可写

jenkins、permissions、google-cloud-storage、google-cloud-dataflow、gsutil

我正在尝试遵循中的这个简单的数据流示例。 at com.google.cloud.dataflow.sdk.util.Dataf

浏览 0提问于2016-03-19得票数 7

1回答

Google Dataflow:导入自定义Python模块

airflow、google-cloud-dataflow、apache-beam、google-cloud-composer

我尝试在Google Cloud Dataflow中运行Apache光束管道(Python)，这是由Google Cloud Coomposer中的DAG触发的。我的dags文件夹在各自的GCS存储桶中的结构如下： /dags/ dataflow/ pipe

浏览 16提问于2020-01-13得票数 2

2回答

用Python调度作业

python、google-cloud-dataflow

目前，这些是用来安排执行我所知道的Dataflow的任务的：使用App服务或云函数。- This [example](https://cloud.google.com/blog/products/gcp/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions- This [example](https:&

浏览 0提问于2018-12-10得票数 4

3回答

从google* cloud composer运行Dataflow时出现的导入依赖项问题*

python-2.7、google-cloud-platform、google-cloud-dataflow、airflow、google-cloud-composer

我正在从google cloud composer运行Dataflow，该dataflow脚本包含一些非标准依赖项，如zeep、googleads。当我尝试在dag中运行它时，composer正在验证数据流文件并抱怨No module names Zeep , googleads。因此，我创建了pythonvirtualenvoperator，并安装了所有需要的非标准依赖项，并尝试运行数据流作业，但它仍然抱怨导入zeep和googleads。下面是我的

浏览 0提问于2019-03-05得票数 1

点击加载更多