腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
nodejs
中
的
bigquery
无法
查询
到
对
gcs
的
Parquet
写入
node.js
、
google-bigquery
、
google-cloud-storage
、
parquet
、
parquetjs
问题是,
bigquery
无法
从文件
中
读取数据,但当我使用
parquet
-tools时,一切看起来都很正常。
浏览 19
提问于2021-11-23
得票数 0
回答已采纳
2
回答
如何将DeltaLake文件从
GCS
包含到
BigQuery
apache-spark
、
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
delta-lake
是否有库/连接器可直接将存储在Google (
GCS
)
中
的
文件导入
到
BigQuery
?我已经成功地使用Spark作为中介编写了
BigQuery
表,但是我找不到--任何直接连接器或
BigQuery
库--如果不通过spark 进行转换就可以做到这一点。Update 1:我尝试使用正式
的
连接器,但是缺少关于如何指向
BigQuery
中
的
特定项目的文档,所以我只能将DeltaLake文件从
G
浏览 3
提问于2021-10-27
得票数 2
回答已采纳
1
回答
运行
BigQuery
查询
并使用airflow将数据
写入
parquet
中
的
云存储桶
google-bigquery
、
airflow
我正在尝试创建一个DAG,它将从
BigQuery
查询
中提取数据,并以拼图格式
写入
gcs
bucket。我调查了一下,在这里得到了一些帮助。它建议使用BigQueryOperator执行
查询
,然后使用BigQueryToCloudStorageOperator
写入
gcs
bucket。使用这种方法,我必须首先将
查询
结果
写入
一个表
中
,然后从该表
中
写入
gcs
存储桶。
浏览 7
提问于2021-11-24
得票数 1
1
回答
列为零值
的
拼花被转换为整数
google-bigquery
、
parquet
、
google-cloud-data-transfer
我在
GCS
中使用python大熊猫来编写一个DataFrame
到
parquet
,然后使用将
GCS
文件传输到
Bigquery
表
中
。有时,当DataFrame很小时,整个列可能具有空值。当发生这种情况时,
Bigquery
将空值列视为INTEGER类型,而不是
parquet
声明
的
类型。当试图将其附加到期望该列为NULLABLE STRING
的
现有表时,大
查询
传输服务将在INVALID_ARGUMENT:
浏览 25
提问于2022-08-18
得票数 0
1
回答
Datalake环境下Dataproc元数据存储
的
功能
google-cloud-platform
、
google-bigquery
、
google-cloud-dataproc
、
google-cloud-dataproc-metastore
我正在看,在这段17:33左右
的
视频
中
,主持人说: SELECT * FROM my_
bigquery</em
浏览 15
提问于2022-05-10
得票数 4
1
回答
到
原始数据源
的
数据持久化
intake
谁能告诉我下面的用例是有意义
的
,适用于进气口软件组件。 我们喜欢使用入口来构建抽象层或API服务端点,以封装典型
的
数据操作,如数据检索和数据持久化返回到原始数据系统。简而言之,从数据库系统构建read()和save(),例如GCP
BigQuery
。
浏览 2
提问于2020-04-17
得票数 1
1
回答
是否有更好
的
方法通过管道将数据从
Bigquery
同步
到
单存储区?
node.js
、
google-bigquery
、
singlestore
我在
Bigquery
表中有数据,并希望将其同步
到
singlestore表。我可以在这里看到单商店管道文档,。它有使用
GCS
加载数据
的
选项。它似乎期待着来自谷歌云
的
文件。我是单身商店
的
新手,有人能给我一个更好
的
建议吗?我要不要用管道?我已经从
Bigquery
创建了一个
查询
流,现在希望将数据插入
到
Nodejs
中
的
单存储DB
中
。我们可以使用
写入
浏览 10
提问于2022-09-12
得票数 0
回答已采纳
1
回答
直接将
BigQuery
查询
结果
写入
GCS
--是否有可能?
google-bigquery
、
google-cloud-storage
、
google-cloud-platform
我尝试了bq命令行工具,但它似乎
无法
直接将结果
写入
GCS
。我能看到
的
唯一方法就是: 我正在寻找一种直接将结果
写入
GCS
的
方法。
浏览 4
提问于2016-08-10
得票数 2
回答已采纳
2
回答
无法
使用spark
查询
分区数据上
的
BigQuery
外部表
google-cloud-platform
、
google-bigquery
、
partitioning
我试图在
GCS
中
的
分区数据上创建一个外部表,该数据是从星星之火作业
中
编写
的
,其日期以拼花格式划分。 }, "sourceUris": [ "gs://transaction_data_bucket_for_
bigquery<
浏览 4
提问于2020-05-03
得票数 1
回答已采纳
2
回答
向
bigquery
表加载分区(星火)块
apache-spark
、
google-bigquery
、
parquet
我有数据写从火花,
到
拼花文件在
gcs
,分区
的
日期列。
gcs
中
的
数据如下所示:gs://mybucket/dataset/fileDate=2019-06-17/001.
parquet
我希望将其加载到
bigquery
中<
浏览 0
提问于2019-06-17
得票数 1
回答已采纳
2
回答
亚马逊S3拼花文件-传输到GCP / BQ
amazon-s3
、
google-cloud-platform
、
google-bigquery
、
parquet
、
google-cloud-data-transfer
我有一个
GCS
桶,它有从我们
的
亚马逊S3桶
中
传输
的
文件。这些文件采用.gz.
parquet
格式。我正在尝试用传输功能设置一个从GSC桶
到
BigQuery
的
传输,但是我遇到了与拼花文件格式有关
的
问题。当我创建一个传输并将文件格式指定为
Parquet
时,我会收到一个错误,说明数据不是以
parquet
格式显示
的
。当我尝试在CSV中指定文件时,奇怪
的
值会出现在我
的
浏览 7
提问于2021-05-26
得票数 0
1
回答
运行现有数据流模板
GCS
_Text_
Bigquery
的
Google函数
node.js
、
google-cloud-platform
、
google-cloud-functions
、
google-cloud-dataflow
我创建了一个数据流作业"jsonbq-1",并使用现有的
GCS
_Text_
BigQuery
模板创建了一个简单
的
uDF来接收传入
的
CSV数据并放入表
中
。云函数被执行,数据流被调用,但是没有响应,log:Error
中
显示
的
错误:模板参数无效。Index.js 看起来像这样。bigQueryLoadingTemporaryDirectory: 'gs://test-bucket-np' },
浏览 0
提问于2018-08-12
得票数 2
2
回答
Azure Data Google
BigQuery
复制数据活动不返回嵌套列名
azure
、
google-bigquery
、
azure-data-factory
、
azure-data-factory-2
、
azure-databricks
我有一个复制活动在Azure数据工厂与谷歌
BigQuery
的
来源。我需要导入整个表(其中包含嵌套字段-
BigQuery
中
的
记录)。嵌套字段按如下方式导入(仅包含数据值
的
字符串): "{\"v\":{\"f\":[{\"v\":\"1\"},{\"v\":\"1\"},{\"v\":\"1\"},{\"v\&qu
浏览 4
提问于2021-09-15
得票数 2
回答已采纳
2
回答
如何使用Arrow/
Parquet
C++库将
Parquet
文件读写到
GCS
?
c++
、
parquet
、
apache-arrow
我需要访问
GCS
上
的
Parquet
格式数据。我们正在使用
对
Apache和
Parquet
都可用
的
C++库。使用
Parquet
C++库读取/
写入
本地磁盘相对简单。然而,如果一个人想要做同样
的
事情,但是对于
GCS
,这一努力似乎是复杂
的
。我对此做了一些研究。我注意
到
Arrow中有一个
GCS
文件系统类,还有一个
Parquet
适配器。不幸
浏览 8
提问于2022-05-18
得票数 0
4
回答
使用
BigQuery
将Python表数据导出到Google Cloud Storage having where子句
python
、
google-bigquery
、
google-cloud-storage
我想从
BigQuery
中导出表数据
到
Google Cloud Storage。问题是,我需要从date1
到
date2
的
数据,而不是整个表数据。location='US') # API request这就是我在google cloud帮助中找到
的
。没有使用where子句添加
查询
或限制数据
的
空间。
浏览 0
提问于2018-06-11
得票数 6
1
回答
使用
BigQuery
从
GCS
读取数据失败,但日期(文件)存在
google-bigquery
、
google-cloud-storage
、
http-status-code-404
、
gcs
我有一个服务,它不断地用hive格式更新
GCS
桶
中
的
文件: device_id=aaaa part-0.
parquet
如果我们今天在month=02,而我使用
BigQuery
运行了以下操作:FROM `project_id.dataset.table` 我得到了错误:Not found: Files /bi
浏览 16
提问于2022-03-29
得票数 1
回答已采纳
1
回答
将数据从Google Analytics迁移到AWS Athena
google-analytics
、
google-bigquery
我正在基于雅典娜在AWS
中
创建一个Datalake,我想
查询
我现在存储在Google Analytics
中
的
数据。据我所知,我
无法
访问分析
的
原始数据,但我可以将其导出到
BigQuery
,然后从那里我可以再次将其导出到
GCS
(谷歌云存储)。我知道我可以创建一个自动流程,将数据从Analytics导出到
BigQuery
。 如何(轻松地)创建从
BigQuery
到
GCS
的</em
浏览 23
提问于2020-07-23
得票数 1
回答已采纳
2
回答
Apache
的
BigQuery
连接器-更新一个分区表
scala
、
apache-spark
、
google-bigquery
、
google-cloud-dataproc
记录按年月组合分组,每个组被
写入
GCS
中
的
一个单独
的
每月拼花文件(例如,2018-07-file.
parquet
、2018-08-file.
parquet
等)。请注意,这些文件可以追溯
到
5年前,并形成一个非常大
的
数据集(~1TB)。 我希望将这些文件
写入
BigQuery
,并让作业只更新当前运行
中
更改
的
月度记录。为了简单起见,我想用更新
的
记录删除任
浏览 0
提问于2018-08-27
得票数 0
回答已采纳
1
回答
阿夫罗,蜂巢或HBASE -使用什么10兆。每天都有记录?
python
、
hive
、
hbase
、
parquet
、
avro
我有以下要求:我需要每天处理大约20.000个元素(让我们称之为篮子),这些元素生成100
到
1.000条记录(让我们把它们称为篮子
中
的
产品)。这意味着,我
的
产量在5
到
最大值之间。20米。每天都有记录。 从分析
的
角度,我需要做一些总结,过滤,特别是显示趋势在多天等。这个解决方案是基于Python
的
,我可以使用任何Hadoop、、Google等等。我正在阅读很多关于Avro、
Parquet
、Hive、HBASE等
的
文章。在第一个测试<em
浏览 4
提问于2022-12-02
得票数 0
回答已采纳
9
回答
将Pandas DataFrame写到或
BigQuery
python
、
google-cloud-storage
、
google-cloud-platform
、
google-cloud-datalab
你好,谢谢您
的
时间和关心。我正在Google平台/ Datalab
中
开发一个木星笔记本。我已经创建了一个Pandas DataFrame,并且希望将这个DataFrame写到(
GCS
)和/或
BigQuery
中
。我在
GCS
中有一个桶,并通过以下代码创建了以下对象:import gcp.storage as storage project = gcp.Context.default().project_idbucket_path = bucket
浏览 14
提问于2016-03-30
得票数 47
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
Pandas 2.0正式版发布:Pandas 1.5,Polars,Pandas 2.0 速度对比测试
BPUG 小记
速来围观!这个存储平台既能随机读写又能批量分析
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券