现在的问题是，当我在数据库插件中使用Get Schema时，用于连接table_a和table_b的外键具有不同的数据类型。在Joiner中，我加入了table_a.customer_id = table_b.customer_id上的表格。table_a.customer_id的数据类型是LONG，但table_b.customer_id是DOUBLE。
浏览 21提问于2020-03-02得票数 0
1回答
我正在试验Google Cloud Data Fusion。我正在使用joiner +写回BigQuery来加入2个BigQuery表。在预览中，我得到这个错误: net.jpountz.lz4.LZ4BlockInputStream.最大的表有大约600万条没有任何嵌套字段的记录。较小的表有66条记录。调试/解决此问题的推荐方法是什么？增加工作进
浏览 0提问于2019-05-10得票数 2
我一直在尝试在Google Cloud Data Fusion中构建一个管道，其中的数据源是一个第三方API端点。我曾经是，但有人建议我使用发布/订阅来获取数据。我一直在尝试以为起点，但这并不能帮助我完成这个过程的第一步:从API端点获取数据。谁能提供使用发布/订阅--或任何其他可行的方法--从API端点摄取数据并将数据发送到data<
浏览 18提问于2020-02-10得票数 1
1回答
输入的每一条消息都需要通过来自Google BigQuery的非常大的数据集流，并在写入数据库之前将所有相关值(基于键)附加到该数据集中。2)键值对映射
在这个策略中，我在管道的第一部分读取了BigQuery数据和Pubsub数据，然后通过ParDo转换运行每个数据，这些转换将PCollections中的每个值更改为KeyValue对然后，运行Merge.Flatten
浏览 4提问于2017-11-27得票数 12
最初的计划是将ORC文件从Hive加载到云存储，然后加载到BigQuery表。通过自动化或任何其他GCP服务实现这一点的更好方法是什么？
浏览 17提问于2021-04-23得票数 0
1回答
我已经有了一个数据融合的工作管道，它可以完成所有的ETL过程，但是只有当它发现一个名为SUCCESS.txt的文件位于云存储桶中时，我才需要运行它。提前谢谢！
浏览 8提问于2021-12-22得票数 4
回答已采纳
1回答
我们希望测试使用云数据融合将Cloud (mySQL)连接到BigQuery。连接到CloudSQL的正确方法是什么，因为此时似乎并不是“内置”。推荐什么样的驱动程序，是否有可用的说明？
浏览 0提问于2019-04-25得票数 4
我为自己设定了一个目标，仅使用Google解决MNIST皮肤癌数据集。我见过很多示例，它们如何将csv文件提供给它们的模型，但没有使用图像数据的示例。应该把所有的to记录复制到，这样我才能像这样将数据提供给我的模型吗？或者有什么更好的方法吗？
提前谢谢。
浏览 0提问于2019-01-11得票数 1
回答已采纳
我相信PostgreSQL的jsonb非常适合这个项目，因为它将为我提供JSON对象，而无需在后端进行转换。但是，我已经了解到，随着键的添加，jsonb数据类型会减慢，我的模式将需要使用主键和外键引用。我想知道在自己的列中(以标准的关系数据库方式)中是否有主键/外键，然后为其余<em
浏览 10提问于2014-12-30得票数 8
回答已采纳
我在App Engine中有一个模型，正在以CSV格式导出，然后使用appcfg.py和bulkloader.yaml导入到我的本地开发环境中。我可以导入和导出大多数模型，但我的模型有一个外键并不总是存在的问题。当我的csv文件中的每一行都有外键时，我可以使用下面的lambda import将外键</e
浏览 0提问于2012-01-23得票数 2
回答已采纳
+发行：
我可以从一个文件中读取，执行一个PTransform
浏览 0提问于2018-05-22得票数 2
1回答
此PCollection是提供IoT设备记录的数据的数据流。来自IoT设备的数据流使用Apache管道，该管道作为Google运行，使用Google /sub。HashMap，在该类中，我订阅了对数据的更新(这些消息提供给我与HashMap中已经存储的实体相关的新数据)。;
Pipeline pipeLine = <
浏览 0提问于2018-11-21得票数 16
我有一个在pubSub中创建主题并将消息发布到该主题的程序。我还有一个自动的数据流作业(使用模板)，它将这些消息保存到我的BigQuery表中。现在我打算用python管道替换基于模板的作业，我的需求是从PubSub读取数据，应用转换，并将数据保存到BigQuery/发布到另一个PubSub主题。-253103/topics/test-pipeline-topic&qu
浏览 3提问于2019-09-16得票数 0
1回答
我正在使用一个PostgreSQL数据库，我想创建一个与analytics_type表有多对一关系的分析表，其中analytics_type_id是外键。该表还与以user_id作为外键的用户表具有多对一的关系。分析表的结构如下所示：值可以是字符串或数字，但数据类型将是varchar。到目前为止，这听起来不错，但是我
浏览 0提问于2021-11-13得票数 2
回答已采纳
1回答
我正在创建一个数据管道，使用Apache beam从google存储桶(GCS)中获取XML文件作为输入，并将其转换为JSON文件。我尝试使用python的'xmltodict‘库首先将XML转换为python dict，然后使用python json.dumps()函数将其转换为json格式。我已经为光束管道的每个步骤创建了单独的beam.DoFn类。
我在一个小文件(
浏览 8提问于2019-10-25得票数 0
我一直在编写一个数据流管道，并且正在使用flex模板。 我的代码从avro读取并处理它没有问题。但是当涉及到WriteToAvro或WriteToText时，数据流作业会失败，而且看起来像是在模板验证时失败。我完全没有理由这样做。 我试过很多方法。删除输出文件的参数并将其硬编码到中。这是最后一个刚刚中断的写入步骤。 编辑以添加需求文件。apache-beam==2.29.0googl
浏览 9提问于2021-06-27得票数 0
我现在不得不对模板进行一些更改，我似乎在生成工作模板时遇到了问题，即使是在使用与以前相同的代码/版本的beam时。我的工作就是无限期地挂起--我试着离开一个工作，一个小时左右就超时了。当然有一个问题，因为即使是我的第一步，仅仅是创建一个空的PCollection也不会成功，它只是说运行。 我已经从函数中抽象出了地狱，以找出问题可能是什么，因为日志中没有错误或奇怪之处。在非常精简的<
浏览 19提问于2020-09-18得票数 0
2回答
我正在尝试用Dataflow创建一个流管道，它从PubSub主题中读取消息，最终将它们写入BigQuery表中。我不想使用任何数据流模板。目前，我只想在从Google实例执行的Python3脚本中创建一个管道，以执行来自Pubsub的每条消息的加载和转换过程(解析其中包含的记录并添加一个新字段)，最终将结果写入BigQuery表。/usr/bin/env python
from apac
浏览 0提问于2019-11-14得票数 3
回答已采纳
我一直在测试如何使用自创建的数据连接pub/sub数据。下面是主要的管道方法。"Window into" >> GroupMessagesByFixedWindows(window_size, num_shards)
#creating sample datap2 = pipeline | "creating a sample data" >> Create([('Hel
浏览 0提问于2021-07-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
