腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
GCP
云
函数
python
-
GCS
复制
文件
-
重复
文件
python
、
google-cloud-platform
、
google-cloud-functions
我正在尝试将
文件
从
GCS
复制
到不同的位置。但是我需要用Cloud function实时更新它。我已经创建了一个
函数
,并且它正在工作。但问题是,
文件
被多次
复制
到多个
文件
夹中。Target: gs://logbucket/hivelog/2020/07/22/log.csv 我的代码: from google.cloud import storage def hello_
gcs
_gen
浏览 52
提问于2020-07-22
得票数 2
回答已采纳
1
回答
在
GCP
上将我的自定义
Python
模块存储在哪里,以便不同的
GCP
服务可以访问它们?
python
、
google-cloud-platform
对于如何在Google Cloud平台上存储我的自定义
Python
模块,有人有什么好的建议吗?我有一堆模块,我想从我正在使用的不同
GCP
服务(App Engine、Compute Engine、Cloud Functions等)中访问它们,而不必每次都
复制
Python
文件
并上传到服务的
Python
我认为
GCS
可能是一个选择,但我不确定我如何才能将模块放入
云
函数
或App Engine中? 有什么想法吗?
浏览 0
提问于2021-03-21
得票数 1
2
回答
获取异常“没有名为‘airflow.providers.sftp’的模块”
python
、
google-cloud-storage
、
airflow
、
google-cloud-composer
我正在尝试将
文件
从SFTP
复制
到google
云
存储。 import airflowfrom airflow import models with models.DAG("test_ssh_to_
gcs
", start_date=days_ag
浏览 10
提问于2021-08-12
得票数 1
1
回答
Django创建静态
文件
夹
django
、
static
在Google Cloud Storage上载我的statics时,它确实会将
文件
上传到存储桶的主根目录中,而不是放在名为"/static/“的
文件
夹中,因此生产环境中的web无法读取statics。如何创建
文件
夹"/static/“并将
文件
上传到
GCS
?
浏览 19
提问于2021-10-18
得票数 0
1
回答
Cloud应用程序中的视频上传没有提供这样的
文件
或目录
python
、
html
、
flask
、
google-cloud-platform
、
google-cloud-run
下面是从HTML获取视频并将其上传到的
python
代码片段:def index(): object_name_in_
gcs
_bucket = bucket.blob(
gcs
_file_name)<em
浏览 13
提问于2022-01-31
得票数 0
1
回答
要使用哪个
GCP
组件从API中获取数据
google-app-engine
、
google-cloud-functions
、
google-compute-engine
、
google-cloud-run
、
google-cloud-composer
我有点困惑于
gcp
组件,下面是我的用例:我已经创建了
python
脚本,获取数据并将其存储在
GCS
中,我很困惑要使用哪个组件进行部署:
云
运行:从文档中,它用于部署服务,因此我认为这是一个错误的选择。
云
功能:我认为它可以工作,但它被用于基于均匀的处理(通过单目的
函数
.)composer:(我将使用composer来编排任务,例如在
GCS<
浏览 3
提问于2022-04-23
得票数 -2
1
回答
如何删除
python
中的
GCP
存储传输作业
google-cloud-platform
、
google-cloud-data-transfer
我想创建一个小型
python
程序(
云
函数
)来创建、运行和删除一些
GCP
存储传输服务。': { }, 'bucket_name': 'sink-bucket-name',
浏览 12
提问于2022-08-01
得票数 0
回答已采纳
2
回答
从
python
创建
GCP
实例时
复制
文件
google-cloud-platform
、
google-compute-engine
、
google-api-python-client
我正在使用
python
中的googleapiclient启动VM实例。作为其中的一部分,我将使用该工具运行启动脚本来安装docker和其他
python
包。现在,我想做的一件事是在实例创建阶段通过
python
代码将
文件
复制
到这个实例。 实现这一目标的方法可能是什么?理想情况下,工作方式是能够检测到实例已经启动,然后能够
复制
这些
文件
。
浏览 14
提问于2019-11-11
得票数 0
回答已采纳
2
回答
使用服务帐户
文件
的Google
函数
未找到
json
、
google-cloud-platform
、
google-cloud-storage
我试图列出位于另一个
GCP
项目中的桶,实质上使用这里的代码:不幸的是,我无法通过将Json
文件
链接到
函数
来解决错误。() File "/layers/google.
python
.pip/pip/lib/
python
3.9/site-packages/flask/app.py", line 1518, in full_dispatch_reque
浏览 17
提问于2022-06-29
得票数 0
2
回答
在
云
功能中,
GCS
的
文件
大小可以处理多大?
google-cloud-platform
、
google-bigquery
、
google-cloud-functions
、
google-cloud-storage
我希望使用
GCP
中的
云
函数
将
GCS
中的>=4 GB数据传输到BigQuery。有可能这样做吗?我尝试使用mkfile命令创建一个临时的5 gb数据
文件
,并尝试上传到
GCS
。这是否意味着
GCS
不能处理超过特定
文件
大小的
文件
。 在我所引用的文档:中,我了解到
GCS
处理多达5 TiB的数据。那么为什么上传5GB的数据需要很长时间。是否可以通过
云
功能处理4GB以上的数据从
GCS
传输到
浏览 3
提问于2021-08-12
得票数 0
回答已采纳
1
回答
是否可以使用
云
数据融合FTP ->
GCS
GCS
-> BQ
google-cloud-platform
、
google-cloud-data-fusion
我是全新的
GCP
和
云
数据融合。我看到您可以使用此服务将跨数据源的数据集成到数据池中。/root/table_1/root/table_3 是否
浏览 1
提问于2020-10-28
得票数 0
回答已采纳
1
回答
如何用TPU策略加载权重?
tensorflow
、
keras
、
tpu
dropout=DROPOUT) model.load_weights("path")InvalidArgumentError:不成功的TensorSliceReader构造
函数
:未能在路径上获得匹配的
文件
:未实现:
文件
系统方案“本地”未实现(
文件
:“路径”)
浏览 4
提问于2022-04-30
得票数 0
1
回答
如何使用气流对远程服务器执行SFTP
google-cloud-platform
、
airflow
、
sftp
、
google-cloud-networking
我们有一个场景,我们需要通过气流将
文件
从
GCS
(google
云
存储)
复制
到远程SFTP服务器,而不需要使用任何中间的intermediate服务器。是否有任何方法可以通过/不使用
GCP
计算服务或通过气流使用码头POD来完成此任务?
浏览 15
提问于2022-06-28
得票数 1
回答已采纳
1
回答
python
云
函数
来解压缩
文件
python
、
google-cloud-platform
、
google-cloud-storage
、
google-cloud-functions
我是
GCP
的新手,有
Python
的经验。我试图为场景编写一个
云
函数
,以便在
GCS
中解压缩
文件
并将它们
复制
到另一个桶中。storage.Client() # Get the file that has been uploaded to
GCS
浏览 0
提问于2018-10-11
得票数 3
回答已采纳
1
回答
最优(容错,低成本)方式,以保持写前日志(WAL)在IaaS?
amazon-web-services
、
google-cloud-platform
、
fault-tolerance
我正在为一个“
云
本机”DBMS进行一个绿地项目,这意味着它所提供的保证(例如ACID)将取决于某些支持IaaS服务的存在(例如,对象存储、托管消息队列等)。任何DBMS都需要的一个特性是在崩溃后重放状态的预写日志(WAL) .实现WAL的天真的“
云
遗忘”方法是将其变成DBMS守护进程管理的磁盘上的
文件
。唯一的写入是附加(可以翻译为在环缓冲区
文件
中覆盖,但这是一个实现细节)。 没有混合的读/写通信量;只为读打开WAL,或只为写入打开WAL,会话期间不发生切换。两类下面的组件似乎可以工作,但实际上不起作用,它们是持久
浏览 0
提问于2019-10-02
得票数 0
1
回答
通过气流将
文件
从
GCS
复制
到Google
python
、
python-3.x
、
google-cloud-platform
、
airflow
我想实例化一个任务(通过气流),它在google
云
存储的存储桶中将
文件
复制
到驱动器中。我使用专用接线员,该接线员位于:然后接线员: task_id="copy_files", source_bucket=
GCS
_BUCKET_
浏览 3
提问于2020-08-27
得票数 0
1
回答
最小化将一个非常大的tar
文件
上传到的成本
google-cloud-platform
、
google-cloud-storage
、
google-compute-engine
、
bucket
我目前正在尝试以最低的价格上传一个非常大的
文件
(1.3TB)到。我最初考虑创建一个非常便宜的实例,只需下载该
文件
并将其放入一个桶中,然后创建一个具有大量RAM的新实例来解压缩
文件
,然后将结果放入一个新桶中。以最便宜的方式解压缩
文件
的最佳策略是什么?
浏览 1
提问于2018-11-15
得票数 2
1
回答
python
脚本定期将
文件
从
GCP
云
存储转移到FHIR存储
python-3.x
、
google-cloud-platform
、
google-cloud-storage
我正在尝试用
python
脚本定期将
文件
从
GCP
云
存储转移到FHIR存储。我正在寻找一个选项: 1>Cloud
函数
2>raw
python
脚本来调度cron作业。 任何支持都是非常感谢的。
浏览 3
提问于2022-06-17
得票数 2
2
回答
如何从基于事件的
云
函数
执行Google Data Fusion Pipeline
google-cloud-functions
、
google-cloud-data-fusion
有没有办法从Cloud Function (最好是基于
python
)运行Google Data Fusion管道?gcloud
函数
部署hello_
gcs
_generic --运行时<e
浏览 3
提问于2019-07-23
得票数 1
1
回答
将raspberryPi数据发送到google
云
存储中
raspberry-pi
、
google-cloud-storage
我正在进行一个项目,其中有一个raspberry pi,它在连接到它的膝上型计算机中生成一些数据作为CSV
文件
。我的目标是定期将这些CSV
文件
发送到
GCS
(实时或每15分钟)。然后,我将使用google
函数
将数据从
GCS
发送到BigQuery。raspberry pi在网络中注册(我不确定它如何帮助) 我的问题:如何将连接到raspberry Pi的CSV
文件
发送到Google
云
存储桶中?
浏览 6
提问于2022-10-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据公司 LiveRamp 上云记(三):如何在吞吐量有限的情况下处理数据复制
大数据公司 LiveRamp 上云记(二):哪些功能可以直接迁移,哪些需要重新设计?
大数据公司 LiveRamp 上云记(四):如何在迁移时处理数百万请求和 PB 级数据传输
使用Docker和Kubernetes托管机器学习模型
支撑PB级数据的架构、技术选型案例解析
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券