在Google Cloud Function import json to bigquery时，我得到一个错误“TypeError: job.promise is not a function”
位于函数的底部我尝试了.then(([ job ]) => waitJobFinish(job))，删除该行可以解决错误，但不会插入任何内容。第三个问题:我也找不到关于如何触发函数测试的文档，这样我就可以在谷歌云<em
浏览 4提问于2018-02-15得票数 1
为了从Google Cloud函数连接到存在于不同GCP项目中的Google Cloud BigQuery，我创建了BigQuery客户端，如下所示： const {BigQuery} = require('@google-cloud/bigquery'); keyFilename: 'path/to/service_account.json',
projectId:
浏览 15提问于2020-01-22得票数 1
回答已采纳
1回答
我正在尝试使用node.js应用程序接口从谷歌云函数创建一个外部表。该函数将从GCS存储桶的变化中触发。我可以创建本机表，但不能创建外部表。我的问题是“如何使用GCS为Node.js存储桶创建外部表” const bigquery = BigQuery({ });
浏览 1提问于2017-03-21得票数 1
我正在做一个项目，其中一个名为Eyedro的设备可以感知电压和电流等信息，并将其上传到已经设置好的云功能。这个设备有自己的接口来读取生成的数据，我有它用来做这件事的代码。我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。if (this.readyState==4){
浏览 1提问于2021-02-22得票数 0
是否可以使用云函数将带有json输出的rest api中的数据直接插入/流式传输到gcp中的bigquery？做了一些研究，但它总是要求放在GCS存储桶中，然后创建云函数将数据加载到bigquery。 提前谢谢。
浏览 19提问于2020-06-25得票数 1
我们正在使用云函数设计一个新的摄入框架(Cloud -> BigQuery)。但是，我们收到一些文件(json，csv)已经损坏，不能按原样插入(错误的字段名、缺少的列等)。甚至不是作为外部表。因此，我们希望以JSON字符串的形式将每一行都合并到一个单元格中，并在清理BigQuery中的数据时处理这些问题。有没有一种方法可以在本机和高效的情况下完成，并且尽可能少的处理(这样云函数</e
浏览 7提问于2022-03-05得票数 -1
回答已采纳
我有一个运行在Google平台上的系统，它的工作方式如下：
首先，有一个云函数是由特定桶上的数据上传触发的。然后组织这些数据并将处理器作业生成为“..json‘s”，并将其保存到另一个桶中。还有第二个云功能--系统的核心--它是由这个".json“上传触发的。然后，它处理数据并将输出结果写入BigQuery数据集，作为一个表。我还编写了另一个云函数，它将
浏览 3提问于2019-10-26得票数 0
回答已采纳
1回答
你能帮助我提供如何在biGQuery中加载我的谷歌分析数据到Redshift的方法吗？云函数能做到这一点吗？或者，我如何从python端触发它，而不是使用bigquery脚本来调用BigQuery端？
浏览 0提问于2019-11-28得票数 1
我们需要将一个json文件上传到云存储桶中，然后我们需要编写一个云函数来将json文件数据加载到bigquery表中。
浏览 0提问于2020-03-04得票数 0
到目前为止，我已经能够设置一个导出作业，以便将数据导入到谷歌的BigQuery，然后将表导出到谷歌的云存储。BigQuery以特定的方式存储数据，因此当您将其导出到文件时，它会为您提供一个多级嵌套的JSON结构。因此，为了将其导入Redshift，我必须将JSON“分解”为表或CSV文件。我还没能找到一个简单的解决方案来做到这一点。
有谁知道我如何以一种优雅而高效的方式做到这一点，而不是编写
浏览 4提问于2018-11-09得票数 0
2回答
我的目标是使用google云函数将post请求的结果插入到bigquery中。 page_url: page_urlrequest.send( JSON.stringify(params));
console.log(JSON.stringify(
浏览 16提问于2019-08-04得票数 0
回答已采纳
我创建了一个云函数，用于将数据发送到BigQuery。云函数接收来自发布/订阅的数据。场景1:我写了一段python代码，直接把JSON数据发送到Bigquery，没问题 场景二:将JSON数据保存到.json文件中，使用bq load命令手动上传到Bigquery，没问题 场景3：(出现错误时)云函数可以接收来自发布/订阅的数据，但不能将数据
浏览 9提问于2020-07-23得票数 0
这是关于使用google云函数的流数据插入/更新。我使用Salesforce作为源数据库，并希望对谷歌BigQuery表进行流式插入/更新。我的插入部分工作得很好，但我如何能够进行更新，因为流数据首先被插入到流缓冲区中，这将不允许在30分钟左右的时间内执行DML操作。这方面的任何帮助都将不胜感激。
浏览 21提问于2019-06-04得票数 1
回答已采纳
我需要从Firebase云函数连接到BigQuery并存储一些数据。BigQuery位于另一个谷歌项目中，所以我想使用一个带有主键的.json文件。不幸的是，我的解决方案不起作用。/bigquery');
exports.testBigQuery = functions.https.onRequest((request, respon
浏览 0提问于2017-03-23得票数 3
我希望在GCP中创建一个云函数，它接收一个带有参数的HTTP请求，获取参数并在SQL语句中将它们传递给Bigquery，然后返回一个我可以传递回网站的结果。 # BQ Query to get add to cart sessions
浏览 2提问于2020-06-12得票数 0
我用Node.js创建了一个谷歌云函数，代码如下：var PythonShell = require('python-shell'); const storage = require('@google-cloudpac
浏览 1提问于2017-10-24得票数 1
当新数据被导入到BigQuery表中时，我希望触发一个云函数。理想情况下，我希望提取插入的所有行(其中一列是ISIN)。
这是可能的吗?怎么可能？
浏览 0提问于2019-02-20得票数 14
回答已采纳
我希望将数据流到BigQuery中，并且我正在考虑使用PubSub + Cloud函数，因为不需要进行转换(至少目前是这样)，而且使用云数据流似乎有点过分，只需将行插入到表中即可。我是对的？我的问题是：
我是否需要将其作为json/ BigQuery (所有值都是字符串)推入到json/字典中，还是必须使用表的数据类型？( b)使用BQ.insert_rows_json和BQ.load_table_from_json</em
浏览 10提问于2020-12-05得票数 1
回答已采纳
我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
我有大约10,000个JSON文件，我想将它们加载到BigQuery中。由于BQ只接受ndJSON，我花了几个小时寻找解决方案，但我找不到一种简单而干净的方法来将所有文件转换为ndJSON。我测试了cat test.json | jq -c '.[]' > testNDJSON.json，它可以很好地转换文件，但是如何一次转换所有文件呢？
浏览 19提问于2019-12-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
