我刚刚开始使用GCP和Google Cloud Data Fusion。刚刚看了入门视频。我看到管道可以导出。我想知道我们如何才能推广从Dev到Prod env的管道？
浏览 14提问于2020-02-14得票数 0
我需要将菜谱从dataprep菜谱移植到数据融合管道牧羊人。当我输入自定义转换时，它会给我一个错误：<code>D1</code>
浏览 2提问于2019-08-23得票数 1
我当前的YML如下所示：build-stage: image: 'node:latest'' - master
Google
浏览 10提问于2020-03-09得票数 2
回答已采纳
所以问题是:在Google Cloud Data Fusion中，“实时管道”(vs batch pipeline)模式是否适用于Oracle标准版？
浏览 0提问于2019-07-23得票数 0
我需要选择一个自定义配置文件(Configuring your pipeline to use the custom profile)来针对现有的Dataproc集群运行管道。
浏览 18提问于2021-10-08得票数 0
回答已采纳
我最近看到GCP中有一个名为Data Fusion的新工具，看看它，与Dataflow相比，它似乎是创建ETL管道的一种更简单的方法。因此，我们可以假设它是数据流的替代品吗？
浏览 25提问于2019-07-09得票数 5
1回答
AUTH_TOKEN=$(gcloud auth print-access-token)
WF_URL=${WF_URL}/${CDF_PIPELINE
浏览 5提问于2022-07-18得票数 0
回答已采纳
我们有一个Google Cloud Data Fusion实例，需要连接到AWS RDS才能从中提取数据。唯一的问题是，我们无法将端口1433列入白名单以连接到Google Cloud Data Fusion。我们如何才能使Google Cloud Data Fusion与AWS RDS交互，而不将端口1433列入全局白名单？
浏览 4提问于2019-11-15得票数 3
我正在按照Cloud Data Fusion sample tutorial中的说明进行操作，一切似乎都很正常，直到我尝试在最后运行管道。根据说明为Google托管服务帐户设置云数据融合服务API权限。管道预览功能工作正常，没有任何问题。 但是，当我部署和运行管道时，它在几分钟后失败。状态从设置更改为运行后不久，管道停止，并显示以下权限错误： com.google.api.client.googleapis.json.GoogleJsonResponseException: 403
浏览 44提问于2019-06-28得票数 4
回答已采纳
数据将从Google Cloud Storage csv文件转到Big Query。 我已经创建了管道并执行了一次预览运行，这是成功的，但在部署之后，尝试运行会导致错误。来自日志的错误... com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 {
"code"
浏览 15提问于2019-05-14得票数 2
大家早上好，我需要动态设置文件名，以便管道每天使用正确的文件(类似于：${ new Date().Getfullyear()... }_data.csv
通过将日期指定为字符串(2020-12-10)，而不是通过函数，我设法在运行时使用了参数。
浏览 3提问于2020-12-14得票数 0
2回答
我已经在Google Cloud data Fusion中部署了一个数据管道，但它不能像预期的那样工作。有没有办法在Cloud data Fusion中编辑已经部署的数据管道，或者必须删除它并从头开始重建，然后重新部署？
浏览 63提问于2019-08-22得票数 2
回答已采纳
据我所知，Google cloud data fusion Hub中提供了许多转换插件。但是，如果我想创建自己特定自定义插件，是否可以将该插件添加到Google data fusion并在我的管道中使用？请给我开导一下。
浏览 19提问于2020-02-12得票数 0
回答已采纳
使用Data Fusion Argument Setter，我已经为可重用管道定义了其中的所有参数。
浏览 20提问于2020-04-15得票数 1
我想使用云数据融合加载aws rds mysql服务器中的许多表。每个表的存储大小约为1 1gb。我还找到了一个名为“多数据库表”的插件来加载多表。但我失败了。而且，基本上当我使用数据库源时，我可以检查我的表的模式。然而，在多个数据库表中，我找不到如何检查表模式。我如何使用此插件?或者在数据融合服务中是否有其他方法加载多个表？
浏览 7提问于2021-07-13得票数 0
我需要构建一个Data Studio仪表板并使用BigQuery dataset中的数据。我已经使用data Fusion将我的数据从本地MS SQL服务器导入到BQ，并且要求我必须删除最近5天的记录，并在BQ数据集中的记录顶部导入相同时间范围的新更新记录...Data Fusion中有什么可以帮助实现这一点的吗？ 问候
浏览 14提问于2019-08-29得票数 1
我想从MariaDB和SAP-HANA中读取数据，并使用数据融合将数据加载到BigQuery中。是否可以使用jdbc驱动程序进行读取？
浏览 20提问于2019-10-01得票数 0
回答已采纳
在我们的流式流水线中，我们从pubsub读取数据，执行一些验证，然后在10秒的间隙会话窗口中按关键字对其进行分组。然后，数据被进一步处理，并再次写入bigtable和pubsub。 我们使用的是apache beam 2.28和数据流引擎。白天我们处理比晚上更多的数据，管道会自动增加工作进程(n2d-standard-4)的数量。大多数情况下，它从2个工作人员扩展到4或5个，以减少积压。在此之后，它将再次缩减，因为CPU利用率对于4或5个工作进程来说太低。 正是在这一点上，所有工作进程的CPU利用率下降到接近0%，整个流水线开始大量滞后。其结果是，工作进程的数量再次被扩展到更高的数量，并且管
浏览 18提问于2021-08-19得票数 1
回答已采纳
如何访问云数据融合实例的CDAP？我想使用Composer来编排我的管道。实例详细信息页仅显示一个/22 IP地址范围-它没有指定特定的IP。我是否使用UI的IAP受保护的URL访问？
浏览 4提问于2019-11-19得票数 3
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
对象存储
腾讯云开发者
