腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
从
GCS
读取
数据
并
加
载到
云
SQL
中
python
、
google-cloud-platform
、
google-cloud-storage
、
google-cloud-sql
我正在尝试
读取
csv文件,这是在谷歌
云
存储和写入
数据
到
云
sql
表使用Python.Can任何人的帮助that.Any帮助将不胜感激。 提前感谢
浏览 12
提问于2020-09-26
得票数 1
1
回答
google cloud dataflow
从
压缩
数据
中
读取
数据
google-cloud-dataflow
我正在尝试使用google cloud dataflow
从
GCS
中
读取
数据
并
加
载到
BigQuery表
中
,但是
GCS
中
的文件是压缩的(Gzip),有没有类可以用来
从
压缩/gzip文件
中
读取
数据
?
浏览 1
提问于2015-02-07
得票数 2
1
回答
从
google
云
存储访问
数据
并将其流式传输到运行在google
云
VM上的软件的最快方法是什么
streaming
、
cloud
、
storage
、
gcsfuse
现在,我在google
云
存储(
GCS
)上存储了大约300
GCS
的图像。我有一个在google计算引擎(GCE)虚拟机(VM)上运行的软件,需要
读取
所有这些映像并按顺序处理它们。使用GCSfuse,我可以将
gcs
-bucket挂
载到
我的VM上,
并
直接访问
数据
。这看起来很理想,但是I/O非常慢。 2) GSutil。这允许我使用"gsutil cp gs:// my -
gcs
-bucket
浏览 1
提问于2016-06-23
得票数 2
2
回答
波束
数据
流流水线表创建Sink作为来自
GCS
的Bigquery
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我想创建beam
数据
流作业来
从
GCS
加载
数据
到Bigquery,我将在
GCS
的不同文件夹中有100s的文件,可以在
GCS
的不同文件夹中加载文件,是否可以在beam代码
中
创建源
数据
集和表。我的最终目标是创建管道,将
数据
从
GCS
加
载到
Bigquery,谢谢。
浏览 10
提问于2021-02-23
得票数 0
回答已采纳
3
回答
云
SQL
/ NiFi :使用python和NiFi连接
云
sql
数据
库
python
、
google-cloud-storage
、
etl
、
google-cloud-sql
、
apache-nifi
所以,我正在做一个etl过程,在这个过程
中
,我使用Apache NiFi作为etl工具,
并
使用google cloud
sql
中
的postgresql
数据
库
从
GCS
读取
csv文件。作为该过程的一部分,我需要编写一个查询来转换
从
csv文件
读取
的
数据
,并将其插入到
云
sql
数据
库
中
的表
中
。因此,基于NIFi,我需要编
浏览 0
提问于2019-04-28
得票数 0
1
回答
GCP:将
数据
从
本地驱动器导入CloudSQL
google-cloud-platform
、
google-cloud-sql
如果我需要从本地驱动器导入
sql
文件到GCP的CloudSQL Postgres DB,似乎没有办法做到这一点。 文档
中
只谈到了
从
Google Cloud Storage导入。我是否必须购买存储桶存储才能将
数据
导入CloudSQL,还是有其他方法?
浏览 15
提问于2017-07-03
得票数 1
回答已采纳
3
回答
google
云
上的存储
hadoop
、
google-bigquery
我有以下用例:需要使用PySpark分析大量结构化
数据
。
数据
当前为CSV格式。我正在尝试找出在谷歌
云
上存储
数据
的最佳方式。我的理解是HDFS不会工作,因为每次集群关闭,HDFS
数据
都会消失,所以我每次都必须
从
CSV转换到HDFS,这很耗时。
浏览 20
提问于2017-06-28
得票数 0
回答已采纳
2
回答
如何在Google Cloud
中
对文件运行Python脚本
python
、
google-cloud-platform
、
google-cloud-storage
我在Google Cloud Storage存储桶中有一堆文件,包括一些Python脚本和文本文件。我想在文本文件上运行Python脚本。最好的方法是什么(App Engine,Compute Engine,Jupyter)?谢谢!
浏览 12
提问于2019-07-16
得票数 0
1
回答
如何将
数据
从
Google计算引擎加
载到
云
SQL
mysql
、
google-cloud-platform
、
google-compute-engine
、
google-cloud-sql
我是谷歌
云
平台的新手。我下载了一些*.csv文件到Google,并进行了一些转换,并将文件保存在链接到GCE的存储
中
。我发现我可以在GCE
中
安装MySQL并在其中加载
数据
。但我想在(
GCS
)中将
数据
加
载到
MySQL。是否有任何方法将
数据
从
GCE加
载到
GCS
。 提亚
浏览 0
提问于2018-01-27
得票数 0
回答已采纳
1
回答
如何将bigquery表复制到google cloud postgres
中
?
google-cloud-platform
、
google-bigquery
、
google-cloud-sql
我希望创建一个cronjob来运行查询,从而在postgres
中
创建表 就像..。
浏览 1
提问于2021-05-04
得票数 0
1
回答
如何
从
云
数据
融合
中
的HTTP插件获得响应?
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-data-fusion
、
cdap
专长:我是
云
数据
融合的新手。
从
GCS
读取
一个文件。使用
GCS
的解析
数据
调用HTTP。保存
GCS
文件
中
从
HTTP接收的响应。 但是,HTTP插件(Sink)似乎无法
从
端点接收
数据
。
浏览 8
提问于2022-09-29
得票数 1
2
回答
如何计算将
数据
从
蔚蓝
数据
转移到google BigQuery时的成本
azure
、
google-cloud-platform
、
google-bigquery
我们在Azure中有一个
数据
存储管道,可以将一个前提下的
SQL
表移动到Azure blob存储的Gen2
中
。我认为大部分费用都来自Azure仓库,对吧?现在,我们希望将这些
数据
移动到BigQuery。由于我们的安全策略,我们仍然需要
数据
表管道
从
SQL
表
中
读取
。因此,我们创建了一个
数据
库笔记本,以
读取
拼花文件,
并
移动到BigQuery使用火花BigQuery连接器。现在我需要估计总成
浏览 5
提问于2021-01-21
得票数 0
回答已采纳
4
回答
如何调用按需bigquery
数据
传输服务?
google-bigquery
、
data-transfer
我真的很喜欢BigQuery的
数据
传输服务。我有平面文件,在确切的模式,坐着要加
载到
烧烤。这将是很棒的只是设置DTS的时间表,收集
GCS
文件匹配的模式,
并
加
载到
烧烤。因此,如果我将DTS设置为随需应变,我如何
从
API调用它?我在想,每10分钟创建一个按需调用它的cronjob。但我想不出怎么叫它。此外,我将
GCS
文件(不需要ETL )移动到与精确模式匹配的bq表
中
的第二种最可靠和最便宜的方法是什么。我应该使用
云
调度器,
云</e
浏览 15
提问于2020-01-18
得票数 4
回答已采纳
2
回答
如何将Power BI服务接入google
云
存储(Bucket)
google-cloud-storage
、
powerbi
、
bucket
现在我想使用相同的概念,但只用Google Cloud Storage Bucket(
GCS
-B)替换Azure Blob Storage。我的问题是,我无法将Power BI连接到
GCS
-B。
浏览 3
提问于2018-10-10
得票数 0
2
回答
如何
从
基于事件的
云
函数执行Google Data Fusion Pipeline
google-cloud-functions
、
google-cloud-data-fusion
有没有办法
从
Cloud Function (最好是基于python )运行Google Data Fusion管道?gcloud函数部署hello_
gcs
_generic --运行时python37 --触发器资源YOUR
浏览 3
提问于2019-07-23
得票数 1
1
回答
调用model.fit():UnimplementedError时Colab错误
python
、
tensorflow
、
google-colaboratory
、
tpu
据报道,我正试图用Google对进行分类。 附件是我的密码。from tensorflow.keras.preprocessing.image import ImageDataGeneratorimport tensorflow as tf impor
浏览 6
提问于2021-08-18
得票数 2
回答已采纳
1
回答
-> Bigquery ->每日导出到IBM
云
存储
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
为了进一步处理,我们需要将每日导出转移到IBM
云
对象存储。最简单的解决办法是使用CLI -bq extract( b)将摘录移动到IBM对象存储
中
。gsutil cp1)我们能否在两者之间跳过google
云
存储,并且是否可以直接导出到IBM? 2)我们以前从未使用过
数据
流。这个用例能成为使用
数据
流的候选吗?
浏览 0
提问于2019-09-05
得票数 2
回答已采纳
2
回答
如果某些字段有禁止字符,如何从中的JSON创建BigQuery表?
json
、
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
google-cloud-console
我正在尝试将存储在桶(换行符分隔的json文件)
中
的一堆
数据
移动到BigQuery
中
。BigQuery禁止字段名
中
的某些字符,例如虚线-或slashes。不幸的是,我们的
数据
在许多字段名中都有破折号,即我尝试将BigQuery模式
中
的字段重命名为jsonPayload.request.x_search除了运行一个作业来重命名存储
中
的字段(特别是因为每小时都会有新的文件出现)之外,有没有一种方法可以将JSON文件
浏览 0
提问于2018-09-15
得票数 0
1
回答
将BigQuery和/或
云
存储
GCS
中
的
数据
读入Dataproc
google-bigquery
、
google-cloud-storage
、
google-cloud-dataproc
我正在将
数据
从
BigQuery
读取
到dataproc火花集群
中
。如果在我的示例
中
,BigQuery表
中
的
数据
最初是
从
GCS
加载的,那么
从
GCS
直接
读取
数据
到星火集群是否更好,因为用于dataproc (newAPIHadoopRDD)的BigQuery连接器首先会将
数据
下
载到
中
吗
浏览 2
提问于2017-09-29
得票数 0
回答已采纳
2
回答
Google函数用于本地开发的凭据
google-cloud-platform
、
google-cloud-functions
、
google-cloud-storage
、
gcloud
、
service-accounts
我有谷歌
云
功能。在这个函数
中
,我希望将文件写到
GCS
(google
云
存储)
中
,然后获取被写入
GCS
的文件的签名URL,并将该URL发送给调用方。当我想要写入
GCS
或获得签名的URL时,
云
函数框架只是尝试
从
已签名的gcloud CLI用户那里获取凭据。但是,我想指出
从
服务帐户
读取
凭据。对于所有其他的gcloud开发目的,我们已经将服务帐户信息放在本地creds.json文件
中
,<e
浏览 17
提问于2022-03-22
得票数 -1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Java实现数据缓存与数据库表连接:优化性能的最佳实践
数据湖和SQL并不矛盾
时间换空间-PHP大数组处理
“列式数据库”与其他数据库相比较,YugabyteDB太强了
Python笔记-数据加载、存储与文件格式(2)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券