我习惯于使用Dataprep从云存储中创建json和csv文件，但今天我尝试从BigQuery中获取一个表，但无法参数化。 这样做有可能吗？
浏览 7提问于2021-07-27得票数 1
3回答
我使用GCP的数据代表连接几个具有相同列结构的csv文件，处理一些数据，然后写入BigQuery数据库。
我必须将这些数据记录在BigQuery中。我是否可以将这些数据包含在数据代表中，并将它们附加到BigQuery表中？
浏览 7提问于2020-08-12得票数 0
回答已采纳
Dataprep和Dataflow都可以用于ETL任务。事实上，Dataprep似乎使用数据流作业。这是Dataprep提供的工具与用户界面编写数据流作业的唯一区别吗？
浏览 31提问于2019-05-28得票数 1
1回答
当使用Dataprep中的导入功能导入具有多列和数百万行的BigQuery (BQ)表时，是否有任何简化数据集的选项？理想情况下，我希望在运行使用此表的任何菜谱的输出并避免“select*”步骤时，尽量减少数据流工作流的成本。
如有任何建议，将不胜感激。
浏览 0提问于2019-09-28得票数 0
回答已采纳
2回答
特别是，我正在尝试将Google Analytics中的数据导入BigQuery。是否可以对存储在BigQuery中的数据使用Dataprep？我见过的几乎每个示例都使用Dataprep来可视化存储在Google Storage中的数据，但没有任何示例涉及到BigQuery。
任何帮助都将不胜感激。
浏览 2提问于2018-03-14得票数 0
3回答
虽然BQ确实有一个CSV加载器，但我拥有的CSV文件是非常非标准的，如果不对其进行格式化，最终无法正确加载到BQ。有没有什么教程可以将GCS中的"X“格式的文件导入BQ？任何教程指针或示例脚本都可以做到这一点。
浏览 123提问于2019-01-09得票数 1
回答已采纳
我使用一个BigQuery视图从一个BigQuery表中获取昨天的数据，然后尝试使用Dataprep将数据写入一个日期分区表。但是，在使用Dataprep和设置输出BigQuery表时，只有3种选项用于：Append、Truncate或Drop现有表。如果对表进行了日期分区，并且使用了Truncate，它将删除所有现有数据，而不仅仅是该分区中的数据。
还有别的方法可以让我用吗？我的替代方法是使用<e
浏览 0提问于2018-08-23得票数 2
1回答
中，流通过通配符从Google Cloud Storage拉入文本文件，转换数据，并将其附加到现有的BigQuery表中。找到)并不适用，因为它使用了自定义函数，而且还以批处理模式运行，覆盖了任何现有的BigQuery表，而不是追加。检查来自Dataprep的原始Dataflow作业详细信息显示了许多参数(在元数据文件中找到)，但我无法使这些参数在我的代码中工作。我知道我需要指定GCS位置、模板位置和BigQ
浏览 12提问于2019-02-11得票数 0
2回答
我目前正在开发一个从bigquery到Tableau的BI堆栈。我正在尝试使用Dataprep删除不必要的列，并连接bigquery中的表，以创建一个“主”表，然后将其提供给Tableau。bigquery中的表大约每8小时更新一次，我正尝试在dataprep中为主表创建一个类似的计划。 运行作业或甚至尝试从连接的表中获取样本都会产生此错误。java.lang.I
浏览 25提问于2018-12-27得票数 0
我在BigQuery中创建了一个表，它的类型为date，分区方式为Date。DataPrep也具有相同数据类型的相同列。当我试图将数据从dataprep加载到bigquery表时，我得到了类似于“数据集中的列数据类型必须与目标列数据类型匹配”的错误。截图也附在附件中，请仔细查看并给我一个解决方案。
浏览 2提问于2018-09-17得票数 1
我正在通过Google DataPrep从(GCS)导入几个文件，并将结果存储在的表中。/datasets/{month}/2017-02-28-file.csv我们可以创建一个参数为的数据集但是，在这个BigQuery表(输出)中，我无法仅提取带有参数<
浏览 0提问于2019-02-19得票数 3
回答已采纳
我有大约10,000个JSON文件，我想将它们加载到BigQuery中。由于BQ只接受ndJSON，我花了几个小时寻找解决方案，但我找不到一种简单而干净的方法来将所有文件转换为ndJSON。
浏览 19提问于2019-12-05得票数 0
我正在使用Bigquery，并且我有一个包含数组的数据集，我想在其中提取第一次找到指定元素的索引。我在Bigquery中找不到一个函数来实现我想要的功能。Dataprep有arrayindexof函数可以做到这一点，但是在写这篇文章的时候，Bigquery中还没有这个函数。https://cloud.google.com/dataprep/docs/html/ARRAYINDEXOF-Function_1361
浏览 16提问于2020-10-27得票数 1
回答已采纳
我目前正在开发一个ETL管道，该管道使用BigQuery来存储暂存数据，然后使用Dataprep来转换数据并将其存储在新的BigQuery表中以供生产。我们已经遇到了一些问题，需要找到最具成本效益的方法将这些转换应用于少量的数据选择上，通常情况下，从暂存数据表中的当前最大日期到最后X天。接下来我们尝试的是过滤BigQuery视图中的数据，然后将数据视图用作Dataprep流的初始数据集(在Dataprep应用任何转换
浏览 2提问于2018-08-10得票数 2
我试图在Dataprep中对数据进行反美化，以便在BigQuery中使用它。更具体地说，我希望将account_profile表中的条目与带有外键'account_id‘的帐户表链接到我的帐户表中的数组中。(Account_profile存储联系方法.坏名声，我知道。)问题是，当我试图在BigQuery中取消该列，或者在BigQuery中执行任何类似数组的操作时，我会得到
浏览 2提问于2020-05-18得票数 0
回答已采纳
我有几个具有每天创建的表的BigQuery数据集，如
是否有一种方法可以使用此设置每天动态地拉出正确的表，还是需要继续另一条路径，
浏览 1提问于2019-04-10得票数 0
作为POC的一部分，我试图通过Dataprep设置一些数据质量检查。有一个BigQuery表作为源，它应该运行一个输出到另一个BigQuery的作业。at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob(BigQueryHelpers.java:196)at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJobManager.
浏览 1提问于2019-08-21得票数 1
我正在尝试将数据追加到时间分区表中。我们可以创建一个时间分区的表，如下所示：# client = bigquery.Client() table.table_id, table.time_partitioning.field))
然而，我想知道如何在没有预定义模式的情况下执行以下操
浏览 1提问于2019-02-18得票数 0
2回答
源数据集每天都在变化，结果必须附加到Google BigQuery表中。有办法使这个过程自动化吗？源文件是.xls文件。我可以将它们上传到云存储中，并编写一个云功能，它将上传到数据代表需要的任何地方。问题是，似乎不可能在Dataprep中替换源数据集。如果是的话，那么计划运行和新的作业运行API有什么意义呢？
浏览 5提问于2020-02-18得票数 3
回答已采纳
我不能使用Dataprep定义动态数据源，这真的是对的吗？据我所知，我只能指向BigQuery表。我需要指向一个表中的某个部分。分区的命名始终包含日期。喜欢。"ga_20171113“。
浏览 0提问于2017-11-13得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
