如何使用脚本中的凭证从gcs获取.csv到数据帧中？
要使用脚本中的凭证从GCS（Google Cloud Storage）获取.csv文件到数据帧（DataFrame）中，可以按照以下步骤进行操作：
- 首先，确保已经安装了适用于Python的Google Cloud SDK，并且已经设置了正确的凭证。可以参考Google Cloud官方文档进行安装和设置：https://cloud.google.com/sdk/docs/install
- 在脚本中导入必要的库和模块，包括Google Cloud Storage库和pandas库。可以使用以下代码导入：
import pandas as pd
from google.cloud import storage- 创建一个Google Cloud Storage客户端对象，并指定凭证的路径。可以使用以下代码创建客户端对象：
client = storage.Client.from_service_account_json('path/to/credentials.json')其中，'path/to/credentials.json'是凭证的路径，需要替换为实际的凭证文件路径。
- 指定要获取的.csv文件的存储桶（Bucket）名称和对象（Object）名称。可以使用以下代码指定：
bucket_name = 'your_bucket_name'
object_name = 'your_object_name.csv'其中，'your_bucket_name'是存储桶的名称，需要替换为实际的存储桶名称；'your_object_name.csv'是要获取的.csv文件的对象名称，需要替换为实际的对象名称。
- 使用客户端对象获取存储桶和对象，并将其读取为数据帧。可以使用以下代码实现：
bucket = client.get_bucket(bucket_name)
blob = bucket.blob(object_name)
data = blob.download_as_text()
df = pd.read_csv(pd.compat.StringIO(data))- 现在，你可以使用数据帧（df）进行后续的数据处理和分析操作了。
需要注意的是，上述代码中的凭证路径、存储桶名称和对象名称需要根据实际情况进行替换。此外，还需要确保脚本所在的环境具有足够的权限来访问GCS中的文件。
推荐的腾讯云相关产品：腾讯云对象存储（COS） 腾讯云产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
2回答
如何从ipython命令`get_ipython().system.raw()获得“`stdout`”？
ipython、jupyter-notebook、gsutil、google-colaboratory
我正在开发一个模块，将tensorflow的保存/还原检查点添加到colaboratory的Google云存储中(参见：)。我的代码使用ipython魔术和shell命令从笔记本外壳中运行。但是我发现您不能从python模块(dooh!)导入这些方法。因此，现在我正在尝试转换为python本机。
如何从stdout ()`get_ipython()获得.system.raw()？我想得到与以下相同的价值：
# ipython shell command
!gsutil ls $bucket_path
我试着使用get_ipython().system_raw()，但是我没有从stdout中得到
浏览 0提问于2018-02-04得票数 1
回答已采纳
1回答
如何在google云存储中遍历blob中的对象？Python
python-3.x、google-cloud-storage
我正在努力弄清楚如何在google云存储中的blob中迭代对象。其地址与此类似：
gs://project_ID/bucket_name/DIRECTORY/file1
gs://project_ID/bucket_name/DIRECTORY/file2
gs://project_ID/bucket_name/DIRECTORY/file3
gs://project_ID/bucket_name/DIRECTORY/file4
...
GCS桶上的目录有很多不同的文件需要迭代，这样我就可以检查它最后一次更新的时间(看看它是否是新的文件)，这样我就可以提取内容了。
示例函数
def getN
浏览 1提问于2018-02-10得票数 0
1回答
我的代码中是否需要to_delete参数才能从BigQuery提取到GCS？
python、google-cloud-platform、google-bigquery、airflow、directed-acyclic-graphs
我使用Google编写了一些代码从BigQuery提取到GCS桶中，我不确定我的代码中是否需要to_delete参数。
我还没有尝试任何东西，因为我不确定用什么替换参数。
这是我的密码：
def extract_table(client, to_delete):
bucket_name = "extract_mytable_{}".format(_millis())
storage_client = storage.Client()
bucket = retry_storage_errors(storage_client.create_bucket)(b
浏览 15提问于2022-11-18得票数 2
1回答
Google功能:访问Google存储桶中的文件夹并从它们处理文件
python、google-cloud-platform、google-cloud-functions
我对GCP相当陌生，我正在尝试编写一个Google函数，一旦它出现在一个桶中，它就会被一个新文件触发。我完成了这个工作，但问题是云函数还应该执行另一个操作:它需要访问一个已经呈现了存储桶的文件夹(也就是说，在触发器发生之前:这个文件夹名为data_folders，包含更多的文件夹-- 0_42_ten、1_42_ten、2_42_ten；从data_folders中访问1_42_ten文件夹，这样我就可以从它加载文件)。我的问题是，我不能以“查看”data_folders文件夹的方式设置云函数。
下面是我使用的代码(我重新编写了代码，只用于访问“旧”文件夹)：
from google.clou
浏览 10提问于2022-12-01得票数 0
回答已采纳
2回答
获取云硬盘上传响应
python、google-cloud-storage
我正在使用Python SDK将文件上传到云存储存储桶中：
from google.cloud import storage
bucket = storage.Client().get_bucket('mybucket')
df = # pandas df to save
csv = df.to_csv(index=False)
output = 'test.csv'
blob = bucket.blob(output)
blob.upload_from_string(csv)
如何获取上传文件是否成功的响应？我需要记录响应以通知用户操作。
我尝试过：
res
浏览 3提问于2021-09-30得票数 0
3回答
上传文件到Google Cloud Storage (Java)
java、google-app-engine、google-cloud-platform、cloud、google-cloud-storage
基本上，问题出在标题中:我想不出如何将文件上传到Google Storage
我已经查看了这个网页：
对于Java语言选项卡中的“上传对象”，建议使用以下两行：
InputStream content = new ByteArrayInputStream("Hello, World!".getBytes(UTF_8));
Blob blob = bucket.create(blobName, content, "text/plain");
可以从storage对象接收上面的bucket对象，这实际上是问题的根源
在我到目前为止看过的所有教程中(特别是在这个教程
浏览 0提问于2018-07-16得票数 6
2回答
如何使用云函数读取云存储中的json文件- python
python-3.x、google-cloud-platform、google-cloud-functions、google-cloud-storage
需要使用云函数(python)读取GCS中的json文件数据。我已经上传了所需的json数据，并尝试运行云功能。
输入的json文件数据：
{"count":15,"data":[{"P_ID":21.0,"P_NAME":"MMME","TZ":"PST","DATE_MODIFIED":"2005-10-14 00:00:00"}]}
以下是代码：
from google.cloud import storage
import ba
浏览 4提问于2022-04-18得票数 0
回答已采纳
1回答
如何从google云存储中读取子目录/前缀中的文件？
python、google-cloud-platform、google-cloud-storage、prefix
我已经将文件和文件夹移到了google云存储(GCS)上。我发现很难理解GCS文档中的前缀和分隔符。
我想要做的实际上是用GCS位置替换本地存储文件的路径/位置。例如。
它当前针对本地路径进行编码：
Variable = "C:\\Users\\admin\\Documents\\Folder1\\doc3.csv"
我需要写它来搜索GCS中的文件，如下所示：
Variable = "https://storage.cloud.google.com/MYBUCKETNAME/Folder1/doc3.csv?supportedpurview=project"
这
浏览 0提问于2020-03-30得票数 2
2回答
云运行实例中从云存储访问和使用csv文件
python、csv、google-cloud-platform、google-cloud-storage、google-cloud-run
我知道如何从云运行实例中的云存储下载文件。但是，我找不到在python中读取文件的语法。我希望立即将csv文件转换为熊猫数据，只需使用pd.read_csv('testing.csv')即可。所以我的个人代码看起来像，download_blob(bucket_name, source_blob_name, 'testing.csv')。那么，我不应该能够在云运行实例中执行pd.read_csv('testing.csv')吗？这样做的时候，我总是在加载页面时得到一个内部服务器。这似乎是一个简单的问题，但我在任何地方都找不到它的例子。所有的东西都只
浏览 13提问于2021-11-26得票数 2
回答已采纳
1回答
如何从本地硬盘上传文件到google云存储bucket？
python-2.7、google-app-engine、google-cloud-storage
我正在尝试从本地磁盘上传一个excel和pdf文件到google云存储。Excel是使用python中的pandas库创建的。当我尝试上传生成的文件时，它给出了这个错误
'ascii' codec can't decode byte 0xd0 in position 217: ordinal not in range(128)
我使用的是灵活的appengine。以下是上传文件的代码
def upload_to_gcs(file_path,file_name,file_type,bucket_name):
try:
import google.cloud.st
浏览 0提问于2018-11-09得票数 0
2回答
获取Google云存储(Appengine PHP)中的文件列表
php、google-app-engine、google-cloud-storage
我有一个谷歌云存储桶"MyBucket“，它有20个项目。我想在我的appengine PHP应用程序中获得这些文件名。
我正在寻找是否可以使用App Engine内置的Google Cloud Storage (GCS)流包装器来获取列表。
如下所示：
require_once 'google/appengine/api/cloud_storage/CloudStorageTools.php';
use google\appengine\api\cloud_storage\CloudStorageTools;
$bucket_name = 'gs://my-
浏览 3提问于2014-07-09得票数 2
2回答
下载无法访问
api、oauth-2.0、oauth、google-api、google-cloud-storage
我正在运行节点从google云存储下载销售报告。我拿到了credentials.json文件。现在的问题是，每次我运行我的应用程序时，"xxxxxxx@gmail.com“都没有storage.objects.get访问Google对象的权限。
是的，这封电子邮件没有在谷歌云存储上注册，也没有被授予权限，但是它应该只使用凭证，不是吗？凭据直接从谷歌云存储，并有以下信息: client_secret，project_id，redirect_uri，client_id.
我的样本代码：
// Imports the Google Cloud client library.
const {S
浏览 0提问于2021-09-15得票数 0
回答已采纳
1回答
使用云函数上载到云存储时出错
javascript、google-cloud-platform、google-cloud-storage、google-cloud-functions
我试图使用由HTTP触发的云功能将文件上传到google云存储中。然而，当云函数发送要上传的文件时，我经常(虽然不总是)得到以下错误
上传到存储的错误：{ ApiError:匿名调用者没有storage.objects.create访问桶_name/文件夹/test.jpg。
我不知道为什么会发生这个错误？？为什么只有一些时候？
以下是代码：
const storage = require('@google-cloud/storage')();
function uploadToStorage(filepath, folder, filename) {
浏览 0提问于2018-04-23得票数 1
回答已采纳
1回答
如何从jupyter环境将一个已被腌制的文件保存到GCP桶中？
python、google-cloud-platform
我试图使用以下函数将arviz推断对象保存为泡菜文件到gcp存储桶中：
def upload_to_bucket(model, blob_name, bucket_name):
"""
model: trace object
Upload data to a bucket"""
# Explicitly use service account credentials by specifying the private key
# file.
storage_client = stora
浏览 1提问于2022-09-06得票数 0
回答已采纳
1回答
GCP Cloud函数，用于加载触发OBJECT_FINALIZE_EVENT_TYPE的文件
python、google-cloud-functions、google-cloud-storage
我正在使用以下Python GCP云函数将csv文件从GCS bucket加载到BigQuery表中。 def csv_in_gcs_to_table(bucket_name: str, object_name: str, dataset_id: str,
table_id: str,
schema: List[bigquery.SchemaField]) -> None:
"""Upload CSV to BigQuery table.
If
浏览 7提问于2020-11-10得票数 0
回答已采纳
2回答
将文件夹上载到Google Python2.7
python、google-cloud-platform、google-cloud-storage
我正在尝试上传一个文件夹在我的本地机器到谷歌云桶。我的凭据出错了。我应该在哪里提供凭证，以及其中所需的所有信息。
from_dest = '/Users/xyzDocuments/tmp'
gsutil_link = 'gs://bucket-1991'
from google.cloud import storage
try:
storage_client = storage.Client()
bucket = storage_client.get_bucket(bucket_name)
blob = bucket.blob(dest
浏览 0提问于2018-09-06得票数 1
2回答
将文件从URL传输到云存储
python、google-cloud-platform、google-cloud-storage、google-cloud-functions
我是一个Ruby开发人员，尝试使用用Python编写的Google函数，并且在将远程文件从给定的URL传输到(GCS)时遇到了困难。
在一个类似的RoR应用程序中，我下载到应用程序的临时存储，然后上传到GSC。
我希望有一种方法，简单地“下载”远程文件到我的GCS桶通过云功能。
下面是我对一些注释所做的一个简化的示例，真正的代码从一个私有API中获取URL，但这很好，问题不在这里。
from google.cloud import storage
project_id = 'my-project'
bucket_name = 'my-bucket'
destin
浏览 0提问于2019-01-17得票数 2
回答已采纳
1回答
如何使用Django -google-云存储在Django的GCS上GAE
python、django、google-app-engine、google-cloud-storage、django-storage
如何在中使用Django自定义存储后端？
尝试使用这个：
根据文档，我在“setings.py”中添加了以下内容：
GOOGLE_CLOUD_STORAGE_BUCKET = [my bucket name] # the name of the bucket you have created from the google cloud storage console
GOOGLE_CLOUD_STORAGE_URL = [my bucket URL] #whatever the url for accessing your cloud storgage bucket
GOOGLE_CLOUD_
浏览 1提问于2016-11-06得票数 3
回答已采纳
1回答
只列出谷歌云存储中的文件
python、google-cloud-platform、google-cloud-storage
在GCS中，我有桶XYZ，下面有文件夹JM，下面有文件。例如：
XYZ/JM/file1.tar.gz、XYZ/JM/file2.tar.gz、XYZ/JM/file3.tar.gz、XYZ/JM/file4.tar.gz等。
使用下面的代码，我可以列出文件，但它显示完整的路径如下：
JM/file1.tar.gz，JM/file2.tar.gz，JM/file3.tar.gz
码
from google.cloud import storage
storage_client = storage.Client.from_service_account_json()
Bucke
浏览 2提问于2020-07-07得票数 0
3回答
如何从Google Cloud Functions读取存储在Google Cloud Storage上的非文本文件
python、google-cloud-firestore、google-cloud-storage
我需要从Google Cloud Functions读取一个文件。我想要读取的文件托管在Google云存储中。该文件不是文本文件，这会阻止我使用download_as_string之类的东西。
到目前为止，我已经尝试了用所有标准的方式从对象直接读取gcs.open(file)，但是gcs没有被定义(即使我在文件的顶部将cloudstorage作为gcs导入)。
我能找到的最接近的东西是 (我想读取一个MP4文件)，但后来我尝试了一下，使用blob_uri = gf.open(r'gs://' + bucket_name + '/' + file_name)时，我
浏览 1提问于2019-08-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
