GCP存储blob的单元测试

文章/答案/技术大牛

发布

1回答

python、python-3.x、unit-testing、google-cloud-platform、pytest

我有一个关于存储触发的GCP云函数的单元测试的问题。blob_lists = <bucket_storage>.list_blobs(prefix = f'some_string') list1.append(<e

浏览 14提问于2021-05-23得票数 0

回答已采纳

1回答

将文件从Azure blob存储移动到Google云存储存储桶

google-cloud-functions、azure-functions、google-cloud-storage、azure-blob-storage、google-cloud-pubsub

嗨，伙计们，我很乐意得到你们的帮助。我得到了一个任务，移动文件从azure存储到谷歌云存储存储桶，文件传输需要由触发器完成，每当一个新的文件被上传到azure存储，一个侦听blob触发器的功能，将其传输到GCP存储桶，我做了一个演示，并能够获得在azure的不同存储帐户之间移动文件的功能，但该功能无法将文件传输到谷歌云存储存储桶

浏览 10提问于2021-10-08得票数 0

1回答

Apache气流运算符将数据文件从S3传输到Azure blob

amazon-s3、airflow、azure-blob-storage

我正在寻找一个Apache气流运算符，它可以将数据文件从AWS S3桶传输到Azure Blob存储。类似于Azure中的ADF复制活动，我们可以通过链接服务将数据从S3桶复制到Azure blob存储。在Apache的气流中是否有类似的功能，通过任何特定的操作符。通过快速的研究，我可以看到AzureBlobStorageToGCSOperator可以将文件从Blob传输到google，是否有一个特定的操作员可以将

浏览 6提问于2021-11-09得票数 0

2回答

如何将大文件上载到GCP云存储中？

java、google-cloud-platform、google-cloud-storage

我有3GB大小的数据文件上传到GCP云存储。我尝试使用GCP上传对象教程中的示例。但是当我试图上传时，我得到了以下错误。file.getName());Blobblob = storage.get().create(blobInfo, Files.readAllByte

浏览 3提问于2018-12-05得票数 13

回答已采纳

1回答

是否可以一次将多个文件上载到gcp服务器？

google-cloud-platform、google-cloud-storage

我有超过500个文件，我正在上传到gcp存储在每10分钟。我是上传这些文件一个接一个，这是一个时间的过程。 bucket_name = 'gcp-bucket-namebase_path'

浏览 2提问于2022-02-11得票数 0

1回答

将数据备份(AZ文件存储)拷贝到GCP存储

azure、google-cloud-platform、azure-files

将大量数据(~几TB)从Azure文件存储传输到GCP存储的最佳解决方案是什么？它不是Azure Blob存储，所以我不能在gcp端使用AzCopy和数据传输选项。有没有其他“简单”的方法来传输这种数据？

浏览 55提问于2021-09-07得票数 0

回答已采纳

3回答

有没有办法使用GCP资源将数据从Google Cloud Storage传输到Azure Blob Storage？

azure、google-cloud-platform、google-cloud-storage、cloud、azure-blob-storage

我要将csv文件从Google云存储移动到Azure Blob存储。我知道它可以使用Azure Data Factory来实现。我希望移动是在Google Cloud端发起和计费的，而不是Azure端(使用Azure Data Factory)，也就是说，数据推送应该从GCP端发起，而不是从Azure端拉动。

浏览 22提问于2020-09-16得票数 0

1回答

无法使用python脚本和GCP服务帐户cred将upload_from_filename文件放入GCP桶中。

python、google-cloud-platform、cloud、storage

·安装了Python 3.7.2·创建了GCP服务帐户并赋予它所有者角色，还启用了存储API并创建了一个云存储桶。现在我试图使用python脚本将文件上传到GCP云存储文件夹，但我做不到。但是，通过使用相同的结构，我能够创建新的云存储桶，并能够在其中编辑现有文件。='test/' def upload_blob(bucket_name, source_file_name, destination_<em

浏览 1提问于2019-03-14得票数 0

1回答

GCP应用程序引擎: OSError：[Errno 30]只读文件系统：

python、google-app-engine、google-cloud-storage

我已经在GCP应用引擎上部署了一个烧瓶应用程序，用于将文件上传到GCP桶存储，然后在需要时从存储区下载该文件。但是，当我尝试从云存储下载文件时，我遇到了错误OSError: Errno 30只读文件系统：。我可以正确地上传文件从应用程序，我已经部署在应用程序引擎和我核实文件是上传的，但当我试图从网站下载，我得到错误。有什么好主意吗？从桶中下载文件的代码 bucket = storage_clien

浏览 8提问于2020-12-09得票数 1

回答已采纳

1回答

GCP存储-无法从Google存储桶读取文件内容

python-3.x、google-cloud-platform、google-cloud-storage、airflow-2.x

我需要从驱动程序python文件中调用存储在GCP存储桶中的python文件。下面是代码(在本地m/c上运行，但最终将使用GCP上的气流调度)：import os print(f" blob.n

浏览 3提问于2022-06-21得票数 -1

回答已采纳

1回答

使用python将文件上传到Google云平台的存储桶时出现问题

python、google-cloud-platform、bucket

当我在GCP (使用python)中将文本文件上传到存储桶中时，文件大小为0KB，并且该文件不包含任何内容。storage_client = storage.Client() blob = bucket.blob(destination_blob_name) print('

浏览 23提问于2021-01-13得票数 0

回答已采纳

2回答

如何在GCP中从web下载和存储文件？

python、google-cloud-platform、google-cloud-functions、google-cloud-storage

我想使用GCP从web下载一个文件，并将其存储在中。def write_file(): bucket = client.get_bucket('bucket-name') with blob.open(mode='w') as f:

浏览 12提问于2022-07-12得票数 0

1回答

如何从GCS获取文件元数据

java、google-cloud-storage、google-cloud-sdk

我想得到的文件存储在谷歌云存储的文件元数据。实际上，我们需要一个媒体链接的文件，以便文件可以下载或网址添加到页面下载。Blob blob = storage.get("gcp-public-data-nexrad-l2", "1991/06/05/KTLX/NWS_NEXRAD_NXL2LG_KTLX_19910605160000_19910605235959.tar");

浏览 1提问于2018-04-06得票数 1

1回答

GCP & GPG -来自云存储的流文件上传到云存储

python、google-cloud-platform、gnupg

这有点类似于之前提出的这个问题：with blob.open("rt") as f:我可以使用以下命令对本地文件进行加密always_trust

浏览 0提问于2021-05-27得票数 0

1回答

Github操作和google云存储凭据python

json、google-cloud-platform、credentials、github-actions

我想使用github操作中的python脚本来处理csv。 blob.upload_from_filename(filename) 这段代码在我的计算机中运行得很好，credentials.json和脚本存储在同一个文件夹中。我知道这个秘密存储在这里，secrents.gcp</em

浏览 7提问于2020-05-05得票数 1

回答已采纳

1回答

无法从谷歌云存储下载文件: ValueError("%r无法转换为unicode“%(值，))

python、google-cloud-platform、google-cloud-storage

我正在尝试使用Python从我的云存储存储桶中下载文件：storage_bucket = storage_client.bucket(GCP_BUCKET_NAME) blob = storage_bucket.blob(download_obj_name= get_db_name

浏览 17提问于2021-06-10得票数 0

回答已采纳

1回答

从gcp存储桶中读取excel工作表

gcp-ai-platform-notebook

我目前正在尝试从共享的gcp存储桶中读取数据到我的gcp笔记本中。我是一名管理员，因此据我所知，限制不应该应用到目前为止，但在我可以与熊猫一起阅读之前，我就收到了一个错误。这个是可能的吗？这是我尝试过的代码： from google.cloud import storageimport pandas as pd bucket = "our_data/

浏览 19提问于2019-09-05得票数 1

1回答

如果我想象安装了SQL服务器的虚拟机，数据库会在新实例上工作吗？

amazon-web-services、sql-server、database、disaster-recovery、amazon-ami

在AWS上，我总是映射包含Server安装和正在运行的数据库的机器。当我从映像中旋出新实例时，SQL Server和所有数据库总是没有问题地返回(例如一致性检查总是成功的)。这是意料之中的吗？也就是说，SQL Server兼容ACID，允许由于DB文件中的数据而获取磁盘快照，并且日志处于一致和持久的状态，从而允许数据库在从映像中在新实例上旋转时恢复自身。以下内容似乎支持这一观点，但本周工作中的讨论已导致我对此提出质疑。blog/aws-sql-server-

浏览 0提问于2021-05-15得票数 0

2回答

使用google transfer服务将文件从AWS传输到GCP时出现凭据错误

amazon-web-services、google-cloud-platform、aws-lambda、google-cloud-storage、google-cloud-data-transfer

": landsat_blob.id, }that can be raised from the statement suite return FAIL_TOKEN 在事件对象中传递的GCP凭据源于管道用户对服务帐户json文件的

浏览 7提问于2018-04-21得票数 0

1回答

在尝试访问GCP存储中的文件时，如何正确处理从get_bucket()函数引发的错误？

python、error-handling、google-cloud-storage

目标 # convert to text如果桶在GCP存储中以某种方式被删除，我的代码将在尝试访问它时引发错误：当桶不存在时，将引发google.api_core.exceptions.NotFound: 404 GET {li

浏览 26提问于2021-12-08得票数 -2

点击加载更多