2回答
试图在Docker容器中安装Python时出错
docker
我对码头比较陌生。我有一个应用程序，我想把它装起来。
下面是我的码头文件：
FROM ubuntu:16.04
## ENV Variables
ENV PYTHON_VERSION="3.6.5"
# Update and Install packages
RUN apt-get update -y \
&& apt-get install -y \
curl \
wget \
tar
# Install Python 3.6.5
RUN wget https://www.python.org/ftp/python/${PYTHON_VERSIO
浏览 2提问于2020-01-09得票数 1
1回答
如何在Google Kubernetes引擎中用spring boot app读取GCS Bucket中的.tar.gz文件
google-cloud-platform、google-cloud-storage、google-kubernetes-engine
我有一个GCS bucket，我可以在其中上传.tar.gz文件。每当有新的文件上传时，Google PUB-SUB都会向Kubernetes Engine中的应用程序发送通知。应用程序具有侦听通知的侦听器，并且必须读取.tar.gz文件。
我已经设置了从GCS到应用程序的主题/订阅通知。当收到通知时，我无法确定如何读取.tar.gz文件。
我试着在下面的代码中读取.tar.gz，但这不是我应该做的。它给出了不可读的字符&我不会解压缩它。我使用的是google-cloud-storage库。
if(map.containsValue("OBJECT_FINALIZE")
浏览 41提问于2018-06-08得票数 0
1回答
无法使用Python3使用gzip.open()编写将压缩文件上载到云存储
python、google-cloud-platform、google-cloud-storage
当我试图在cloud实例上使用python脚本将压缩的gzip文件上传到云存储时，它总是上传一个空文件。
下面是再现错误的代码：
import gzip
from google.cloud import storage
storage_client = storage.Client()
list=['hello', 'world', 'please', 'upload']
out_file=gzip.open('test.gz', 'wt')
for line in list:
浏览 3提问于2021-06-15得票数 2
回答已采纳
3回答
google安装错误：(gcloud.components.update)提供的路径必须存在
macos、google-cloud-platform、google-cloud-sdk
我尝试过通过命令行和自制在mac 10上安装google，并得到了同样的错误。
错误：(gcloud.components.update)提供的路径必须存在.
我不明白如果下载压缩文件、解压缩文件并运行安装脚本，路径怎么会丢失。我还能做些什么来使安装工作呢？
我试过各种工作.我升级了自制的。使用了各种sudo命令。我还是会犯同样的错误。
以下是自制安装的输出：
○ → brew install --cask google-cloud-sdk
Updating Homebrew...
==> Auto-updated Homebrew!
Updated 2 taps (homebrew/c
浏览 1提问于2021-04-23得票数 2
1回答
使用pySpark和云存储过滤数百万个文件
pyspark、google-cloud-storage、google-cloud-dataproc
我面临着以下任务:我将存储在Google Cloud Storage Bucket中的单个文件(如Mb)按日期分组到目录中(每个目录包含大约5k个文件)。我需要查看每个文件(xml)，过滤适当的文件，并将它们放到Mongo中，或者以parquet格式写回Google Cloud Storage。我编写了一个简单的pySpark程序，如下所示：
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.types import *
spark = (
SparkSession
.builder
浏览 16提问于2019-11-07得票数 3
1回答
Python2.7和GCP Google BigQuery:提取-压缩不起作用
python-2.7、google-bigquery
我正在使用python2.7(现在不能更改)，google.cloud.bigquery的google.cloud.bigquery v0.28，以及compression="GZIP“或"NONE”参数/设置似乎不适用于我，其他人能尝试一下并让我知道它是否适合他们吗？
在下面的代码中，您可以看到我一直在玩这个，但是每次在GCS上，我的文件似乎都是非压缩的，不管我用什么来压缩。
注意:我的导入是针对一组更大的代码的，并不是这个代码段所需要的全部代码。
from pandas.io import gbq
import google.auth
from google.cloud
浏览 1提问于2017-11-21得票数 0
回答已采纳
2回答
通过Python (木星)从Google存储读取一个.gz文件
python、pandas、google-cloud-storage
我正试图通过云端笔记本上的Python从Google存储中读取一个.gz文件。
我得到错误的第一个代码。
TypeError:不能将str连接到字节
from google.cloud import storage
import pandas as pd
from io import StringIO
client = storage.Client()
bucket = client.get_bucket("nttcomware")
blob = bucket.get_blob(f"test.csv.gz")
df = pd.read_csv(s, com
浏览 5提问于2020-10-01得票数 2
1回答
python云函数来解压缩文件
python、google-cloud-platform、google-cloud-storage、google-cloud-functions
我是GCP的新手，有Python的经验。我试图为场景编写一个云函数，以便在GCS中解压缩文件并将它们复制到另一个桶中。
from google.cloud import storage
import tarfile
client = storage.Client()
def untar_lookupfiles(data, context):
# Get the file that has been uploaded to GCS
bucket = client.get_bucket(data['Source_bucketName'])
#copy
浏览 0提问于2018-10-11得票数 3
回答已采纳
2回答
在上传到云存储之前，用Python压缩一个文件
python、google-cloud-storage、gzip
我有以下Python函数将给定的内容写入云存储中的桶中：
import gzip
from google.cloud import storage
def upload_to_cloud_storage(json):
"""Write to Cloud Storage."""
# The contents to upload as a JSON string.
contents = json
storage_client = storage.Client()
# Path and name of t
浏览 17提问于2022-09-09得票数 1
回答已采纳
1回答
正则表达式查找不带扩展名的文件名，包括例外，如tar.gz
javascript、regex
我正在尝试从URL (例如.tar.gz或.zip)解析文件名。例如,
*URL:* https://files.pythonhosted.org/packages/00/51/f3afa784d73d1f35dce99f6138eaa779e2098a8dde4e7085ecf6295254bb/google-cloud-storage-1.13.0.tar.gz
*Desired Output:* google-cloud-storage-1.13.0
*URL:* https://files.pythonhosted.org/packages/00/51/f3afa784d73d1f
浏览 43提问于2020-02-14得票数 0
回答已采纳
1回答
谷歌云存储: ModuleNotFoundError
python、google-cloud-storage
我正面临一个经典的“模块没有发现错误”。然而，我不能用已经张贴的问题解决我的问题。
我正在尝试使用Google，以便将一些数据从一个公共的google.cloud存储库下载到本地的linux服务器上。
下面是我在木星服务器中使用的说明：
# Upgrading pip
!/usr/bin/python3.8 -m pip install --upgrade pip
# Installing the Google cloud storage API
!pip3 install google
!pip3 install google-cloud-storage
Defaulting to user
浏览 4提问于2020-08-15得票数 2
回答已采纳
1回答
用Bitbucket管道认证GCP服务帐户
python、google-cloud-platform、yaml、google-cloud-storage、bitbucket-pipelines
目前，试图在bitbucket管道中对Linux机器进行身份验证，以便在允许它将文件从GCS桶移动到自身的测试中运行这段代码。
storage_client = storage.Client()
source_bucket = storage_client.bucket('gs://xxxx')
source_blob = source_bucket.blob(xxxx)
_ = source_bucket.copy_blob(source_blob, 'xxxx', destination_blob_name)
为了进行身份验证，我将其放在存储库根目录下的
浏览 2提问于2022-01-13得票数 0
回答已采纳
1回答
在google应用引擎中从标准环境迁移到灵活环境
app-engine-flexible
I'm migrating my standard environment app to flexible environment in GAE and facing issues.
app.yaml片段
runtime: custom
env: flex
api_version: 1
threadsafe: true
handlers:
- url: /.*
script: main.app
Dockerfile
FROM gcr.io/google_appengine/python-compat-multicore
RUN apt-get update -y
RUN apt
浏览 3提问于2016-11-28得票数 2
1回答
错误:由于OSError：[Errno 13]权限被拒绝，无法安装软件包
docker、docker-compose、dockerfile、docker-entrypoint
我有三份文件
#!/bin/sh
# const variables
BUCKET_NAME=gs://rasa-models-staging
PROJECT_NAME=stage
KEY_FILE=./stage.json
# install dependencies
pip install google-cloud-storage
# Login to gscloud
gcloud auth activate-service-account --project=$PROJECT_NAME --key-file=$KEY_FILE
# Run gsutil command
浏览 11提问于2022-07-22得票数 0
1回答
Pyspark:我可以从databricks中读取google云中的文件吗？
python、azure、pyspark、databricks、azure-databricks
我在数据库上工作，我想知道我是否可以从谷歌云读取csv文件。 我试着阅读这个指南：https://docs.databricks.com/data/data.html 我可以这样在Python中本地读取数据 path = 'myJson.json'
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = path
client = storage.Client()
name = 'https://console.cloud.google.com/storage/browser/myBucket/'
buck
浏览 13提问于2020-03-25得票数 0
1回答
如何在Google Cloud上为我的PHP应用程序设置Bitbucket管道？
php、google-app-engine、bitbucket-pipelines
我一直在尝试将bitbucket pipeline部署到Google cloud php app上。但我一直收到一个缺少python可执行文件的错误。以下是我安装Google cloud SDK所需的脚本：
image: php:7.1.3
pipelines:
default:
- step:
caches:
- composer
script:
# Downloading the Google Cloud SDK
- curl -O -J https://dl.google.com/dl/cloudsdk/channels/rapid/do
浏览 3提问于2017-10-07得票数 0
2回答
即使环境变量正确设置，Google存储也不使用服务帐户
python、authentication、google-cloud-platform、gsutil
我试图使用木星笔记本中的以下命令将两个文件保存到GCP存储中：
!gsutil cp ./dist/my_custom_code-0.1.tar.gz gs://$BUCKET_NAME/custom_prediction_routine_tutorial/my_custom_code-0.1.tar.gz
!gsutil cp model.h5 preprocessor.pkl gs://$BUCKET_NAME/custom_prediction_routine_tutorial/model/
桶已经被正确地创建，因为我可以在GCP上的桶列表中看到它。同样在存储桶的权限中，我可以看到创建了
浏览 1提问于2020-06-15得票数 0
回答已采纳
1回答
只列出谷歌云存储中的文件
python、google-cloud-platform、google-cloud-storage
在GCS中，我有桶XYZ，下面有文件夹JM，下面有文件。例如：
XYZ/JM/file1.tar.gz、XYZ/JM/file2.tar.gz、XYZ/JM/file3.tar.gz、XYZ/JM/file4.tar.gz等。
使用下面的代码，我可以列出文件，但它显示完整的路径如下：
JM/file1.tar.gz，JM/file2.tar.gz，JM/file3.tar.gz
码
from google.cloud import storage
storage_client = storage.Client.from_service_account_json()
Bucke
浏览 2提问于2020-07-07得票数 0
1回答
SourceImage作为谷歌存储桶链接，同时插入新图像
google-cloud-platform、google-cloud-storage、google-compute-engine
什么应该是适当的格式，以提供谷歌存储图片链接，而images.insert？位于GS存储桶中的镜像文件，格式为*.tar.gz。使用images.insert(body=body,project=project)接口在python中使用谷歌客户端库创建新图像
我的身体配置如下所示：
body = { "name":"test", "sourceImage":"https://console.cloud.google.com/storage/browser/[BUCKET]/[IMAGEFILE]",}
过程失败，并出现以下错误：
浏览 11提问于2018-07-30得票数 0
回答已采纳
1回答
使用Bitbucket管道部署GCloud应用程序
google-cloud-platform、bitbucket、bitbucket-pipelines
我希望在生产环境中使用bitbucket管道部署我的应用程序。
我遵循了https://cloud.google.com/solutions/continuous-delivery-bitbucket-app-engine中的指示，但这是在暂存环境中部署我的应用程序。
我的管道文件是
image: python:2.7
pipelines:
branches:
master:
- step:
script: # Modify the commands below to build your repository.
# Dow
浏览 0提问于2018-02-05得票数 3
1回答
是否可以在google.cloud.storage python客户端中使用x-goog generation-match？
python、google-cloud-storage
我使用google.cloud.storage Python库从我的App Engine灵活的应用程序中将文件存储在Google Cloud Storage中。我想x-goog-if-generation-match头来防止覆盖较新的版本，但找不到将其传递到库的方法。
有没有可能在google.cloud.storage Python库中使用blob生成检查？
浏览 1提问于2019-02-27得票数 0
2回答
从google.cloud导入存储失败: ImportError:没有名为google.cloud的模块
python-3.x、google-cloud-storage
我在通过Python 3.6访问Google Storage时遇到了问题。我安装时使用：
pip install --upgrade google-cloud-storage
下面是我的Python脚本：
from google.cloud import storage
def main():
client = storage.Client()
bucket = client.get_bucket('my_bucket')
blob1 = bucket.blob('my_file.json')
blob1.upload_from
浏览 4提问于2018-01-03得票数 8
2回答
如何打开Google Cloud SQL实例查看数据库
google-cloud-storage、google-cloud-sql
我已经将我的google Cloud SQL实例导出到Google Cloud Storage。我已经将压缩格式(.gz)的文件导出到云存储存储桶中。然后，在我下载到我的系统并使用7zip解压它之后。如何在MySQL工作台中打开它来查看数据库和值。其文件类型显示为实例名称。
浏览 5提问于2014-02-17得票数 7
3回答
云构建服务帐户不能访问storage.objects.get
python、google-cloud-platform、google-cloud-functions、google-iam
我正在尝试获得一个Google函数，以便从存储桶中的文件中打印一些东西。我将该文件存储在一个桶、一个具有Storage Admin、Cloud Run Admin、Service Account User和Cloud Functions Admin的经过身份验证的服务帐户以及下面的python脚本中。
def from_storage(event, context):
import json
from google.cloud import storage
client = storage.Client(project='my-project')
浏览 5提问于2021-02-01得票数 2
回答已采纳
2回答
从Google云存储中提取RAR文件
google-cloud-storage
我使用RAR工具得到了一个大的多部分压缩的CSV文件( 100 so未压缩，20 so压缩)，所以我有100个RAR文件部分，它们被上传到Google Cloud Storage。我需要将其提取到Google云存储中。如果我能在GAE上使用Python，那就更好了。有什么想法吗？我不想下载、解压和上传。我想把这一切都放在云端。
浏览 3提问于2012-10-20得票数 4
回答已采纳
1回答
如何使用自定义容器映像部署google云功能
python、docker、google-cloud-platform、google-cloud-functions、gcloud
为了在我的google云功能中启用webdriver，我使用一个docker文件创建了一个自定义容器：
FROM python:3.7
COPY . /
WORKDIR /
RUN pip3 install -r requirements.txt
RUN apt-get update
RUN apt-get install -y gconf-service libasound2 libatk1.0-0 libcairo2 libcups2 libfontconfig1 libgdk-pixbuf2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libxss1
浏览 6提问于2021-02-12得票数 3
回答已采纳
1回答
无法在google应用程序引擎中为自定义运行时环境在Dockerfile中设置环境变量
python-2.7、google-app-engine、environment-variables、dockerfile、app-engine-flexible
我正在使用下面的Dockerfile设置应用程序引擎的自定义运行时环境。
FROM ubuntu:latest
RUN apt-get update -y
RUN apt-get install -y python-pip build-essential libssl-dev libffi-dev python-dev libxml2-dev libxslt1-dev xmlsec1
RUN apt-get install -y curl unzip
RUN curl https://dl.google.com/dl/cloudsdk/release/google-cloud-sd
浏览 7提问于2016-11-28得票数 1
回答已采纳
1回答
Python2.7中的Google客户端库
python、google-app-engine、google-cloud-platform、google-client
我一直在使用Google客户端库作为我的项目，并获得导入错误。
导入错误:没有名为云的模块
我的项目中有app.yaml，如下所示：
runtime: python27
api_version: 1
threadsafe: no
handlers:
- url: /.*
script: main
现在我已经配置了requirements.txt，它有google-cloud-datastore和google-cloud-storage
requirements.txt
Flask==1.0.2
google-cloud-datastore
google-cloud-storag
浏览 0提问于2019-06-21得票数 1
1回答
Python3 firebase存储软件开发工具包无法上载到模拟器
python、firebase、firebase-storage、firebase-tools
我有以下代码片段：
import firebase_admin
from firebase_admin import credentials
from firebase_admin import storage
from google.cloud import storage
class firebase_storage():
def __init__(self, path_to_sak, root_bucket):
try:
self.cred = credentials.Certificate(path_to_sak)
浏览 0提问于2021-06-14得票数 0
1回答
与本地文件系统相比，Python代码需要很长时间来解压缩文件并写入google云存储中。
python-3.x、google-cloud-storage、gzip、shutil
很奇怪，我所要做的就是解压缩文件并保存它为。文件有
size: 16 Mb
extension = .json.gz
Source location = Google Cloud Storage
Destination location = Google Cloud Storage / Local File System
当我用
%%time
import gzip
import shutil
import gcsfs
with gcp_file_system.open('somebucket/<file.json.gz>','rb') as fl_
浏览 10提问于2022-09-26得票数 0
1回答
上传到云存储给InternalServerError: 500个后端错误
python、google-cloud-storage
我有一个简单的python脚本可以将文件上传到google存储，它需要两个参数--一个是桶名和文件位置路径，这个脚本每两分钟运行一次--这个脚本会遇到这个错误，我怎么能继续上传文件而不让我的脚本被卡住？(可能重试或捕捉错误？)
google.api_core.exceptions.InternalServerError: 500 GET ?projection=noAcl:后端错误
这是我的代码：
#!/usr/bin/env python
import threading
import time
import signal
import argparse
import datetim
浏览 1提问于2019-07-30得票数 0
回答已采纳
2回答
如何在上安装python包并将其导入到管道中？
python、google-cloud-dataflow
我的文件夹结构如下：
Project/
--Pipeline.py
--setup.py
--dist/
--ResumeParserDependencies-0.1.tar.gz
--Dependencies/
--Module1.py
--Module2.py
--Module3.py
我的setup.py文件如下所示：
from setuptools import setup, find_packages
setup(name='ResumeParserDependencies',
version='
浏览 0提问于2018-09-08得票数 6
回答已采纳
1回答
我不能用python脚本把文件上传到google云上吗？
python、google-cloud-platform
我正在尝试GCP引用上可用的python脚本将文件上传到google云存储，但是每次运行它时，我都会得到json密钥凭证文件中找不到的文件错误，尽管它与python脚本位于同一个目录中。
错误是：
文件"c:\users\kundan\appdata\local\programs\python\python37-
32\lib\site- packages\google\cloud\client.py"，第75行，在from_service_account_json中，io.open(json_credentials_path，"r"，encoding=
浏览 0提问于2019-06-21得票数 1
回答已采纳
1回答
加密从Python请求到boto存储的流数据
python、encryption、stream、python-requests、google-cloud-storage
我正在使用Python请求下载一个文件，然后立即通过boto将其上传到存储。下载被直接流到boto中，以避免将文件存储在本地。我想添加一个中间步骤，以加密下载后，但在上传之前的流。
请注意，这是上传到Google Cloud Storage，它支持流式上传。
import boto
import gcs_oauth2_boto_plugin
import requests
url = 'https://www.example.com/file.tar.gz'
r = requests.get(url, stream=True)
filename = 'file.t
浏览 1提问于2014-12-22得票数 1
2回答
在Google Cloud平台上执行Google Cloud Function中的Python脚本时出错
python、node.js、google-cloud-platform、google-cloud-functions
我用Node.js创建了一个谷歌云函数，代码如下：
exports.hellogcspy1 = function (event, callback) {
var PythonShell = require('python-shell');
const Bigquery = require('@google-cloud/bigquery');
const storage = require('@google-cloud/storage');
var spawn = require('child_process').spawn
浏览 1提问于2017-10-24得票数 1
1回答
如何从GCS中读取json GCS文件并将其写入表格？
python、json、postgresql、google-cloud-storage、gzip
我在Google Cloud Storage的存储桶中存储了一个带有gzip文件(.json.gz)的json压缩文件，我想在其中读取它并将其复制到postgres表中。我有的json.gz文件只是一个json文件，其中没有嵌套的对象，如下所示： [{
“date”: “2019-03-10T07:00:00.000Z”,
“type”: “chair”,
“total”: 250.0,
"payment": "cash"
},{
“date”: “2019-03-10T07:00:00.000Z”,
“type”: “shirt”,
“total”: 100
浏览 12提问于2019-05-19得票数 2
回答已采纳
1回答
在存储触发器上通过云功能将图像文件压缩
python、google-cloud-platform、google-cloud-functions、google-cloud-storage、gzip
我正在尝试自动压缩上传到云存储桶上的图像。每次上传图像时，我都希望云函数运行python代码，将其转换为gzip，并将其移动到存储中的另一个桶中。
我的代码没有运行。这给了我文件找不到错误。另外，给出完整位置的正确方法是什么。
我的代码是..。
from google.cloud import storage
import gzip
import shutil
client = storage.Client()
def hello_gcs(event, context):
"""Triggered by a change to a Cloud Storage
浏览 4提问于2022-02-08得票数 0
1回答
如何从本地硬盘上传文件到google云存储bucket？
python-2.7、google-app-engine、google-cloud-storage
我正在尝试从本地磁盘上传一个excel和pdf文件到google云存储。Excel是使用python中的pandas库创建的。当我尝试上传生成的文件时，它给出了这个错误
'ascii' codec can't decode byte 0xd0 in position 217: ordinal not in range(128)
我使用的是灵活的appengine。以下是上传文件的代码
def upload_to_gcs(file_path,file_name,file_type,bucket_name):
try:
import google.cloud.st
浏览 0提问于2018-11-09得票数 0
2回答
Google云存储、计算引擎和权限不足错误
python-3.x、google-cloud-platform、google-cloud-storage
我知道这是一个自2016年以来广泛讨论的问题，但我一直未能解决这个问题。对于gcloud项目，我的个人帐户和服务帐户(我通过命令gcloud auth列表获得的帐户)都是所有者。
使用google云包(存储模块)的python3代码在我的笔记本电脑上使用我的个人帐户运行良好，即文件上传工作正常。
相反，在计算引擎上，我得到以下错误：
File "/home/user/git/project/GoogleUtils/StorageUtils.py", line 109, in upload_blob
blob.upload_from_filename(source_f
浏览 9提问于2017-11-28得票数 6
回答已采纳
2回答
使用云函数从CSV到.GZ
python、google-cloud-functions、google-cloud-storage
在使用Cloud Python3.7上传到GCS之前，我一直试图将CSV文件压缩到.gz，但是我的代码只添加了.gz扩展名，但并没有真正压缩文件，所以文件最终被破坏了。你能告诉我怎么修这个吗？谢谢
这是我代码的一部分
import gzip
def to_gcs(request):
job_config = bigquery.QueryJobConfig()
gcs_filename = 'filename_{}.csv'
bucket_name = 'bucket_gcs_name'
subfolder = '
浏览 9提问于2019-12-16得票数 0
1回答
创建一个自动脚本来上传google云存储中的文件
bash、google-cloud-platform、google-bucket
我创建了一个脚本来自动上传我的文件到google云存储，我的虚拟机与我的Google cloud Bucket在同一个项目中……
#!/bin/bash
TIME=`date +%b-%d-%y`
FILENAME=backup-$TIME.tar.gz
SRCDIR=opt/R
DESDIR= gsutil gs cp FILENAME -$TIME.tar.gz gs://my-storage-name
tar -cpzf $DESDIR/$FILENAME $SRCDIR
有什么帮助吗？
浏览 2提问于2021-06-09得票数 0
1回答
在gitlab CI/CD中引导gcloud服务帐户
gitlab、google-kubernetes-engine、gcloud
我正在使用gcloud- service -key.json从gitlab-ci.yml文件向gcloud部署一个服务。我知道这个错误
$google sdk/bin/ gcloud auth激活-服务-帐户-密钥-文件${HOME}/gcloud-service-key.json错误:gcloud崩溃(ValueError)：无法检测到密钥。
下面是代码片段的子集
- apk add --update make ca-certificates openssl python --repository https://alpine.global.ssl.fastly.net/alp
浏览 6提问于2020-08-05得票数 5
1回答
使用GKE的GCS，403写入GCS桶的权限不足
python、django、google-cloud-platform、google-cloud-storage、google-kubernetes-engine
目前，我正在尝试将文件写入GoogleCloudStorage桶中。为此，我使用了包。
我已经部署了代码，并通过kubernetes kubectl实用程序进入正在运行的容器，以检查GCS桶的工作情况。
$ kubectl exec -it foo-pod -c foo-container --namespace=testing python manage.py shell
我能读懂桶，但是如果我试图写进桶中，它会显示下面的回溯。
>>> from django.core.files.storage import default_storage
>>> f
浏览 1提问于2017-11-03得票数 7
回答已采纳
1回答
在数据流程中运行PySpark时的ModuleNotFoundError
pyspark、google-cloud-storage、google-cloud-dataproc
在GCP上运行pyspark作业(使用dataproc 1.4)，我正在尝试从GCP存储中读取数据。获取以下错误： from google.cloud import storage
File "/opt/conda/default/lib/python3.6/site-packages/google/cloud/storage/__init__.py", line 38, in <module>
from google.cloud.storage.blob import Blob
File "/opt/conda/default/l
浏览 30提问于2019-07-03得票数 1
1回答
无法从Cloud引擎中的培训器应用程序下载文件
google-cloud-storage、google-cloud-ml-engine
我正在尝试从运行在Cloud引擎中的训练器应用程序中从Cloud下载一个文件。但是，当我试图下载该文件时，我会得到以下错误。我确实可以访问云存储路径。
错误：
blob.download_to_filename(destination_file_name) File "/root/.local/lib/python2.7/site-packages/google/cloud/storage/blob.py", line 482, in download_to_filename self.download_to_file(file_obj, client=client) File
浏览 1提问于2017-08-10得票数 0
回答已采纳
1回答
gcloud安装kubectl在MacBook M1上失败
kubernetes、google-cloud-platform、apple-m1
我修改了下面的Dockerfile以使用arm二进制文件，这样它就可以在我的M1 MacBook Pro上工作，最初的版本在MacBook Pro i5上工作得很好。
FROM --platform=linux/arm64/v8 alpine:latest
RUN apk --no-cache add \
ack~3 \
bash~5 \
curl~7 \
htop~3 \
jq~1.6 \
make~4.3 \
nano~5 \
python3~3 \
tree~1.8 \
util-linux~2
ARG
浏览 5提问于2022-01-05得票数 0
回答已采纳
1回答
ImportError:无法从'google.cloud‘导入名称'pubsub_v1’(未知位置)
python、google-cloud-platform、google-cloud-functions、google-cloud-pubsub
我正在尝试在云函数中导入pubsub_v1。但是当我尝试在GCP上部署它时，标题中的问题就出来了。与main.py文件位于同一目录中的requirements.txt文件。以下是requirements.txt中的内容：
google-api-core==1.3.0
google-auth==1.5.1
google-cloud-core==0.28.1
google-cloud-storage==1.10.0
google-resumable-media==0.3.1
googleapis-common-protos==1.5.3
google-api-python-client==1.7.
浏览 2提问于2018-10-04得票数 2
1回答
安装了google-cloud-storage模块0.22.0，导入本身可以，但不能作为导入
python、python-2.7、google-python-api
我通过pip安装google云存储模块。它作为独立的导入很好。
>>> import google.cloud.storage
如果导入在我正在运行的文件中，那么它可以很好地导入。如果我从另一个导入文件的模块导入文件，它就不会导入。
python dag.py list_tasks
File "/home/test/hecks/airflow-dags/dags/extract/api_extract.py", line 3, in <module>
from google.cloud.storage import Client
Impor
浏览 6提问于2017-02-01得票数 0
2回答
404在Google Cloud Function中使用compose for Google Cloud Storage时出错
python、google-cloud-functions、google-cloud-storage
我有几个文件，我想上传到谷歌云存储，然后使用compose组合。我可以上传文件，但不能让compose工作。我最初尝试在Nodejs中使用它，得到了奇怪的错误，现在尝试在一个用python编写的云函数中使用compose。下面是我使用的代码： from google.cloud import storage
def compose_file(event, context):
bucket_name = 'bucket-name-appspot.com'
storage_client = storage.Client()
bucket = storag
浏览 37提问于2021-01-23得票数 0
1回答
使用本地python将数据从桶插入到Cloud用于Server实例的表
python、sql-server、google-cloud-platform、google-cloud-sql
我正在尝试使用本地python从buckets插入SQL Server实例的数据(txt文件)到Cloud SQL。
我可以连接到存储桶，但在连接到Server实例和从txt文件中插入数据时遇到了问题
import os, sys
from google.cloud import storage
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'ServiceKey_GooglCloud.json'
storage_client = storage.Client()
mybucket= storage_clie
浏览 4提问于2022-10-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
