我在Google Cloud Storage (GCS)存储桶上有以下结构： gs://my_bucket/py_scripts/ mymodule.py_init__.py 我通过Dataproc将wrapper.py作为一个pyspark作业运行，它在开始时使用import mymodule导入mymodule，但是作业返回错误no module namedmymodul
浏览 10提问于2020-04-29得票数 2
回答已采纳
当试图在Python中导入Google日志时，我得到了以下错误： File "/usr/local/lib/python3.6/site-packages/google/cloud/logging/__init__.py", line 21, in <
浏览 7提问于2017-03-17得票数 1
回答已采纳
我是gcloud和dataproc的新手，我使用gcloud控制台。Dataproc无法自动为我的帐户生成登台存储桶，每次我需要在配置集群时将每个新集群的现有存储桶指定为“登台存储桶”，否则会显示错误。{ "message": "Google Cloud Storage</
浏览 3提问于2020-06-09得票数 2
2回答
结合使用Hive和Dataproc是实现这一点的最佳方式吗？
为此，数据应该存储在哪里？Dataproc可以从Google Cloud Storage存储桶中读取数据吗？
浏览 3提问于2018-12-01得票数 2
我有一个Dataproc集群，它的Cloud Storage staging bucket被设置为一个不再存在的存储桶(仅用于测试目的)。我们希望使用另一个存储桶来代替。我如何将这个集群连接到那个存储桶？我对Google Cloud平台非常陌生，因此任何额外的概念性信息也将非常有用。
浏览 18提问于2018-01-26得票数 0
我们最近将所有产品图片从我们的网站转移到。由于过去存在错误的命名策略，文件名中的大小写(小写、大写)并不总是与我们产品数据库中列出的文件名的方式相匹配。我看到的最快的解决办法是迫使网站以小写形式调用所有文件名。但这意味着我必须将云存储中的所有文件名(包括扩展名)更改为小写。我一直在用gsutil做实验，但到目前为止还没能做到这一点。谢谢你的帮助。
浏览 0提问于2016-11-01得票数 1
2回答
我正在尝试在一个dataproc集群中运行一个简单的spark脚本，它需要使用scala和java云存储客户端库对gcs存储桶进行读/写。" % "google-cloud-storage" % "1.113.15"resolvers += Resolver.mavenLocal package DEV
import com.google</
浏览 17提问于2021-04-17得票数 2
回答已采纳
2回答
我想知道gcloud和gsuitl之间的区别。我们在哪里使用什么？为什么某些命令以gsutil开头，而其他命令则以gcloud开头？
浏览 1提问于2019-09-28得票数 14
3回答
我正在尝试从Dataproc pyspark应用程序中的GCS读取csv或txt文件。我试过很多东西。到目前为止最有希望的是：或不需要熊猫的变通方法我想以spark ALS推荐的RDD作为结束。我得到的错误是：
Job [fdc
浏览 2提问于2018-08-09得票数 3
我通过pip安装google云存储模块。它作为独立的导入很好。如果导入在我正在运行的文件中，那么它可以很好地导入。如果我从另一个导入文件的模块导入文件，它就不会导入。python</e
浏览 6提问于2017-02-01得票数 0
我正在尝试将我的代码部署到cloud-dataproc上。我的应用程序由两个模块组成，moduleA.py和moduleB.py moduleA从modulB导入函数我在同一个存储桶中上传了这两个模块，但是当我启动dataproc模板时，dataproc抱怨它找不到moduleB WHat额外的步骤，为了让我的moduleA在<
浏览 18提问于2019-10-17得票数 2
我在试着访问我在GCP上的一个存储桶。我使用storage.Client()方法创建一个客户端，但当我尝试运行它时，它不会进行身份验证。我知道我可以将我的环境设置为拥有我的凭据，但我并不真正理解其中的文档。我该怎么做呢？
浏览 8提问于2019-07-21得票数 1
我想在spark作业中创建一个dataproc集群时使用标志。例如，我使用以下命令行创建了我的集群： gcloud dataproc clusters create cluster-name \--bucket=bucket-name在我的scala spark工作中，我想要获取存储桶名称和其他参数如何做到这一点，我知道如果我想获得工作的参数，我必须这样做： val sc = s
浏览 18提问于2021-01-23得票数 2
我正在尝试在大约16 to的图像数据上训练一个模型。我需要从我的云存储桶中导入一个annotations.mat文件。然而，由于loadmat需要一个文件路径，我不确定如何导入Google Storage存储桶路径。我试图创建垫数据的pickle文件，但Jupyter Notebook崩溃了。当前尝试： from google.cloud imp
浏览 27提问于2019-04-29得票数 2
我正在构建一个应用程序，其中我必须检测购买是测试购买(从测试帐户进行)还是来自真实用户的真实购买。请注意，该应用程序已经处于活动状态，并且我正在使用的SKU与生产环境中的SKU相同。Google可以检测购买是否是测试，因为它会显示一条消息(“这是一个测试订单，您将不会被收费”)，但我正在寻找一种方法来检测编程。
浏览 4提问于2016-02-29得票数 5
目前，我在欧洲地区运行我的Dataproc集群。我在同一个集群上运行spark应用程序。当使用spark中的Google云存储连接器写入bucket时，bucket会自动使用Multi-Region类和美国属性中的多个区域创建。这将在具有上述属性的位置中创建新的存储桶。
已尝试查找配置以在连接器中</e
浏览 0提问于2019-06-09得票数 1
以下代码中的每个返回对库中定义的桶的引用var bucket = admin.storage().bucket()npm install --save @google-<em
浏览 1提问于2018-08-29得票数 1
在GCP上运行pyspark作业(使用dataproc 1.4)，我正在尝试从GCP存储中读取数据。获取以下错误： from google.cloud import storage
File "/opt/conda/default/lib/python3.6/site-packages/google"/opt/co
浏览 30提问于2019-07-03得票数 1
我不需要缓存都已经上传的文件和文件，将在未来上传。对于将来上传的文件，我没有对python代码做任何修改。Python代码从google.cloud.storage进口的Blob
client = storage</em
浏览 13提问于2020-02-04得票数 1
1回答
我已经创建了一个方法，它通过google云存储从一个被调用的文件夹中传输一定数量的图像，但是在运行时它会创建目录，但不会传输任何图像 def Cloud_Transfer(UserLabel, UserCounter): gcs_bucket_store = 'export'
gcs_bucket_upload = 'activeU
浏览 9提问于2019-05-11得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
