启动Dataflow SQL作业时无法启动虚拟机错误

文章/答案/技术大牛

发布

1回答

google-cloud-dataflow

尝试启动Dataflow SQL作业时出现以下错误：无法启动用于启动的VM启动器-_，因为状态代码: INVALID_ARGUMENT，原因:错误:消息:字段‘resource.networkInterfaces.network

浏览 11提问于2021-06-10得票数 0

回答已采纳

1回答

启动Dataflow Flex模板时镜像引用不正确

google-cloud-platform、google-cloud-dataflow

)来准备和启动作业。但是，当我通过SSH连接到数据流VM并运行docker ps时，我发现它引用的docker镜像与我们在模板中指定的镜像(绿色下划线)不同： ? 我要启动的模板如下所示，作业是使用gcloud beta dataflow flex-template run创建的 { "image": "gcr.io/<MY PROJECT ID>/samples/dataflow/st

浏览 17提问于2020-07-22得票数 2

回答已采纳

2回答

创建GCE虚拟机或启动数据流时出错

google-cloud-dataflow

在我尝试提交的最近的作业中，我得到了以下错误： There was a problem creating the GCE VMs or starting Dataflow on theA failure in the Dataflow code. 1.Look for similar issues on

浏览 1提问于2015-01-07得票数 1

1回答

启用compute.requireShieldedVm后，谷歌云数据流出现故障

google-cloud-dataflow

但是，在运行云数据流作业时，它无法创建工作进程，并显示以下错误：项目项目/*违反了约束约束/Compute.requiShieldedVm。启动盘的'initialize_params.source_image‘字段指定了一个非屏蔽镜像: projects/dataflow-service-producer-prod/global/images/dataflow-dataflow-

浏览 0提问于2020-03-11得票数 1

1回答

数据流flex模板作业尝试使用相同的job_name启动第二个作业(用于管道)

google-cloud-dataflow

我正在尝试启动一个Dataflow flex模板。作为构建和部署过程的一部分，我正在预构建一个自定义SDK容器映像，以减少工人启动时间。我曾尝试过这样做：当未指定任何packages.Errors:和提供一个requirements.txt文件时，将成功启动Dataflow flex模板并生成一个图形，但由于缺乏安装私有activityWorkers数据流作业的权限，工人无法启动；没有工人activityWorkers无法<

浏览 15提问于2022-10-18得票数 1

1回答

Apache束流管道中传递给BigQuery.IO连接器的动态参数

google-cloud-platform、google-cloud-dataflow、apache-beam、apache-beam-io

我知道我不能像上面代码中所示的那样从pcollection中声明变量值，这是不可能的，但是我找到了解决这个问题的方法我的问题是，我是否可以做到这一点，基本上，一种将值动态地传递到数据流作业本身中的查询参数的方法

浏览 22提问于2022-10-31得票数 0

1回答

使用什么java运行时?java 8还是java11？

java、runtime、google-cloud-dataflow、apache-beam

但是，当我在GCP上运行数据流作业并检查作为工作人员使用的vm实例时。我发现容器映像是"gcr.io/cloud-dataflow/v1beta3/beam-java11-batch:beam-2.23.0"".，所以在运行数据流时使用java11作为java运行时的数据流是吗?为什么不使用java8呢?是否存在bug的风险？“-log_dir=/var/ //tmp”，“-=//tmp”"g

浏览 1提问于2020-10-30得票数 1

回答已采纳

1回答

Spring任务-远程分区关注点

spring、spring-batch、spring-cloud、spring-cloud-dataflow、spring-cloud-task

我们有Spring数据流本地设置，任务是运行Spring作业，它从数据库读取并写入AWS S3，所有这些都很好。当涉及到停止作业时，任务会停止，但由于状态处于“已启动”状态，因此无法恢复作业，我认为我们可以在代码中处理这个问题，方法是在触发停止时将批处理状态设置为‘stop’，如果无法处理，纠正我吗?:在平台默认情况下id 192的任务执行停止请求已提交2020-03-27 10:48:48.144错误11258 - nio-9393

浏览 2提问于2020-03-27得票数 0

回答已采纳

2回答

数据流:来自不同项目的流发布/子消息

python、google-cloud-platform、google-cloud-dataflow、apache-beam、publish-subscribe

我遵循了的例子，当主题与数据流管道在同一个项目中时，一切都可以工作。但是，当尝试从不同项目中的主题流消息时，我会得到以下权限错误： INFO:apache_beam.runners.dataflow.dataflow_runner:2022-11-09T16:34:40.349Z我总是犯同样的错误。

浏览 8提问于2022-11-09得票数 0

1回答

通过数据流SQL实现云发布/订阅到BigQuery

google-bigquery、google-cloud-dataflow、gcloud、google-cloud-pubsub

在我的例子中，我有一些定期发布到云发布/订阅的内容，然后Dataflow将其写入BigQuery。通过的消息量数以千计，所以我的发布者客户端有1000条消息的批处理设置，1mb和10秒的延迟。问题是，在批处理中发布时，Dataflow SQL是接收批处理中的所有消息并将其一次性写入BigQuery，还是一次写入一条消息？有没有一个比另一个更好的好处呢？如果需要任何其他细节，请评论。

浏览 35提问于2021-11-23得票数 0

回答已采纳

1回答

数据流日志UI中列出的所有不同日志是什么？

google-cloud-dataflow

在Cloud日志记录UI中，我看到了4个不同的日志这是一个截图展示了我的意思。 

浏览 2提问于2015-01-15得票数 0

2回答

Dataflow服务帐户无法访问网络默认值

google-cloud-platform、google-cloud-dataflow

收到此错误时，在没有本地VPC网络的项目中启动数据流作业(2018-07-16_04_25_02-6605099454046602382)时出现问题Service account 有一个共享的VPC通过名为default的网络连接到项目，在us-central1中有一个子网default -但是用于运行数据流作业的服务帐户无法访问

浏览 4提问于2018-07-16得票数 10

1回答

云数据流是如何工作的以及如何管理数据流作业

google-cloud-platform、google-cloud-dataflow

最近，我使用Dataflow对数据进行批处理，并由于IO错误("IOError:设备上没有空间“)而遇到管道中断。我猜想管道和作业是在托管的Kubernetes集群上管理的，作业是在用户的VM实例上执行的，因为数据流日志包括kubelet和docker日志。

浏览 0提问于2021-05-05得票数 0

回答已采纳

1回答

使用DataflowTempleOperator时出现Composer数据流作业错误

google-cloud-platform、airflow、dataflow、google-cloud-composer、orchestration

我正在尝试使用Composer运行标准GCS_Text到Bigquery标准模板作业，并得到如下所示的http错误。我可以在数据流中成功运行并手动创建作业。我是否正确传递了参数？ERROR - <HttpError 400 when requesting https://dataflow.googleapis.com/v1b3/projects/XXXXXX/locationsDetails: "[{'@type': '

浏览 19提问于2021-05-25得票数 2

0回答

如何在不连接到虚拟机情况下在azure vm上执行sql代理作业

sql-server

我在microsoft azure.I中有一台虚拟机( vm )。我有SQL Server 2016标准版。我在vm中创建了SQL计划作业，当我连接并登录到vm时，此作业正在成功运行。但我的要求是，我需要自动启动vm，并且在没有登录到vm的情况下，我计划的作业需要运行。我的vm是自动启动的，但是在自动启动VM之后，我的作业没有运行。请给我建议谢谢..

浏览 0提问于2017-06-17得票数 0

1回答

无法创建工作流作业，401未经授权

google-cloud-dataflow

我一直在测试数据流作业，从本地服务器提交作业，并在云中创建数据流作业，它是成功的，现在我正在尝试在云中的一个GCE上的prod中设置它，我得到了这个错误：这是否意味着提交/发起作业只能在云之外完成，以便GCE集群可以正确跨越？

浏览 1提问于2015-05-03得票数 0

1回答

如何从Compute Engine实例启动数据流模板？

google-compute-engine、google-cloud-dataflow

在我的工作站上，我可以使用gcloud dataflow jobs命令启动模板化数据流作业。插入新作业所需的授权来自我登录的工作站。在Compute Engine实例上，我依赖于它的服务帐户。在目标部分中，我启用了Dataflow/Dataflow Admin、Dataflow/Dataflow Developer和Dataflow/Dataflow Worker以确保此服务帐户的安全

浏览 1提问于2017-11-10得票数 0

3回答

数据流作业在启动后失败

google-cloud-platform、google-cloud-dataflow、terraform-provider-gcp

在启动作业时，我们使用terraform设置数据流作业，遇到以下错误： 2021-10-12T16:12:54.996ZFED读取结果文件: gs://staging-bucket/dataflow/staging/template_launches/2021-10-12_09_09_45-13333812258007291359/operation_result和错误消息：(ff526486692

浏览 5提问于2021-10-12得票数 0

1回答

在Dataflow* SQL中将流数据与动态BigQuery表连接*

google-bigquery、google-cloud-dataflow

我有一个Dataflow SQL作业，它将流PubSub与BigQuery表连接起来，并将结果写入BigQuery表。当我将一个新记录(新sales_region)添加到我的表'us_state_salesregions‘中时，新的sales_region在结果表中是不可见的。只有在创建新的数据流作业后，新添加的sales_region才会显示在查询的结果表中。 SELECT tr.*, sr.sales_region FROM pubsub.topic.`project-id`.dat

浏览 8提问于2021-05-11得票数 0

1回答

在CREATE中为Pubsub源指定不支持的架构

google-cloud-platform、google-bigquery、google-cloud-pubsub、google-dataflow、google-data-catalog

继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：请帮助我解决这个问题，并澄清我以下的疑虑

浏览 11提问于2022-07-07得票数 0

点击加载更多