1回答
有一个将表数据从BigQuery复制到CloudSql的管道。 云SQL表的创建发生在数据流之外。 现在我们需要在数据流中创建表。 我有表格要创建在GCS存储桶中作为.sql文件。下面是将表从BQ复制到sql的代码片段。.withPreparedStatementSetter(new StatementSetter(some_m
浏览 75提问于2021-09-20得票数 1
回答已采纳
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：
请帮
浏览 11提问于2022-07-07得票数 0
2回答
我的目标是创建一种机制，当一个新文件上传到云存储中时，它将触发一个云函数。最终，这个云函数将触发一个云数据流作业。在用Go编写的Cloud中，问题是Apache中没有定义template-location变量。这就是我不能创建
浏览 0提问于2019-01-13得票数 4
回答已采纳
2回答
我正在创建一个bigquery表，在该表中，我从其他几个bigquery表中加入和转换数据。它都是用sql编写的，整个查询大约需要20分钟才能运行，并且由几个sql脚本组成。我还在创建end表之前创建了一些中间表。
使用云调度器将其转化为数据流作业和调度。这
浏览 14提问于2020-10-23得票数 0
尝试实现云数据流任务，将数据从PostgreSQL数据库表加载到帮助下的URL文档。在执行数据流作业时遇到问题。参考屏幕截图1。
URL:方法2:使用云数据流将ETL转换为BigQuery
浏览 0提问于2018-10-08得票数 0
回答已采纳
3回答
只有当数据流作业执行成功完成时，我才想触发云函数。我使用数据流模板(jdbc到BigQuery)从Dataflow UI运行数据流作业。作业执行后，没有任何选项触发任何云函数或其他东西。另外，我不能修改模板代码。触发云功能的方法是什么？
浏览 4提问于2020-11-25得票数 0
回答已采纳
1回答
我们在GCP中创建了一个ETL，它从MySQL读取数据并将其迁移到BigQuery。为了从MySQL中读取数据，我们使用了beam-nuggets库。这个库作为额外的包('--extra_package=beam-nuggets-0.17.1.tar.gz')传递给数据流作业。云函数用于创建数据流作业。代码工作正常，创建了Dataflow作业，数据迁移成功。 在sqlalchemy - 1.4的最
浏览 27提问于2021-03-19得票数 0
回答已采纳
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
我正在尝试安排数据流管道作业，以便从CloudSQL SQLServer实例读取内容并将其写入BigQuery表。我使用google.cloud.sql.connectorpytds设置连接。当我通过Google运行手动数据流作业时，它成功地运行。气流版本(使用)失败了，给出了名称错误。“NameError:未定义”名称“连接器”202
浏览 9提问于2022-11-03得票数 0
我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？
缺少一些东西把它们连接起来。
浏览 7提问于2021-03-03得票数 0
回答已采纳
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。
浏览 2提问于2020-02-02得票数 0
启动dataflow.projects.locations.templates.launch(i ()函数(我也测试了"now()“函数)生成的列在作业执行期间似乎没有被求值。报告的日期始终以第一次创建模板的日期填充。
这是一个正确的行为吗？为什么没有使用作业启动日期填充该列？
浏览 1提问于2018-09-25得票数 0
目前对数据流使用的凭据/配置有一些混淆...
从我的实验来看，数据流似乎总是使用默认配置，而不是活动配置。对吗？(例如，在我的gcloud config中，如果我有一个项目A的默认配置，而我的活动配置在项目B上，那么我的数据流作业似乎总是提交给项目A。同样，在这种情况下，数据流作业似乎忽略了options.setProject()中设置的内容，所以我想知道数据流何时会再次使用options.getProject() ...？)我还想知道有没有
浏览 2提问于2016-03-09得票数 4
我试图在中使用创建数据流作业。我的数据源是一个云存储文件集(即云存储中通过数据目录定义的一组文件)。在之后，我能够定义我的文件集，为它分配一个模式，并在Big的参考资料选项卡中可视化它。但是，我无法在查询编辑器中启动任何数据流作业，因为我在查询验证器中得到以下错误消息: datacatalog.entry.location.entry_group.fileset_name...表未找到
浏览 0提问于2020-03-03得票数 0
我有一个很小的流水线，我正在尝试执行：我已经通过Dataprep创建了一个数据流作业，因为它有很好的UI，可以在写入GCS表之前执行所有转换(写入BigQuery很好)，并且云函数会在文件上传到BigQuery存储桶时触发。然而，云函数不会触发数据流作业</em
浏览 64提问于2018-05-08得票数 1
回答已采纳
我已经写了一个非常简单的Nifi模板，它首先列出一个对象，然后从Google Cloud Storage上的存储桶中获取对象。显然，当获取对象时，Nifi会尝试使用互联网从存储桶中下载对象。因此，它不是从互联网上下载，而是在网络之间传输对象？
我的另一个问题是:用于将存储桶的文件和对象传输到发布/订阅等其他服务的数据流是否遵循类似原则？我的意思是，如果它们使用互联网连接将对象从存储桶传输到发布/订阅，或者它们在网络节点之间传输对象？
浏览 2提问于2018-12-16得票数 0
我一直在测试数据流作业，从本地服务器提交作业，并在云中创建数据流作业，它是成功的，现在我正在尝试在云中的一个GCE上的prod中设置它，我得到了这个错误：这是否意味着提交/发起作业只能在云之外完成，以便GCE集群可
浏览 1提问于2015-05-03得票数 0
因此，我试图在BigQuery表上使用GCP模型，并且需要定期更新该模型，并针对新的数据集运行它。我使用Dataflow对数据进行预处理，并想知道是否也可以使用它来创建模型。当我尝试使用在BigQuery中测试的Create时，会弹出以下错误：
我是做错了什么，还是模型创建不支持Dataflow？
浏览 12提问于2022-01-12得票数 1
回答已采纳
1回答
我们正在将我们的作业和流从Spring迁移到Kubernetes上的Spring云数据流。
对Spring云数据流是否有任何商业支持？任何链接都是有帮助的。
浏览 1提问于2017-12-13得票数 0
回答已采纳
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型我正在考虑从spark中提取数据(通过将DataProc用于spark作业)，并将其存储在GCP (任
浏览 2提问于2019-11-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
