腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Dataproc
不
导入
存储
在
Google
Cloud
Storage
存储
桶
中
的
Python
模块
python
、
apache-spark
、
pyspark
、
python-import
、
google-cloud-dataproc
我
在
Google
Cloud
Storage
(GCS)
存储
桶
上有以下结构: gs://my_bucket/py_scripts/ mymodule.py_init__.py 我通过
Dataproc
将wrapper.py作为一个pyspark作业运行,它在开始时使用import mymodule
导入
mymodule,但是作业返回错误no module namedmymodul
浏览 10
提问于2020-04-29
得票数 2
回答已采纳
3
回答
在
中
的
Google
日志记录
google-cloud-logging
当试图
在
Python
中
导入
Google
日志时,我得到了以下错误: File "/usr/local/lib/
python
3.6/site-packages/
google
/
cloud
/logging/__init__.py", line 21, in <
浏览 7
提问于2017-03-17
得票数 1
回答已采纳
1
回答
Dataproc
无法自动生成分段
存储
桶
google-cloud-dataproc
、
google-cloud-console
我是gcloud和
dataproc
的
新手,我使用gcloud控制台。
Dataproc
无法自动为我
的
帐户生成登台
存储
桶
,每次我需要在配置集群时将每个新集群
的
现有
存储
桶
指定为“登台
存储
桶
”,否则会显示错误。{ "message": "
Google
Cloud
Storage</
浏览 3
提问于2020-06-09
得票数 2
2
回答
使用GCP Composer运行配置单元查询
python
、
google-cloud-platform
、
airflow
、
google-cloud-dataproc
、
google-cloud-composer
结合使用Hive和
Dataproc
是实现这一点
的
最佳方式吗? 为此,数据应该
存储
在哪里?
Dataproc
可以从
Google
Cloud
Storage
存储
桶
中
读取数据吗?
浏览 3
提问于2018-12-01
得票数 2
1
回答
如何更改已有
Dataproc
集群
的
云
存储
分段
存储
桶
?
google-cloud-platform
、
google-cloud-storage
、
google-cloud-dataproc
我有一个
Dataproc
集群,它
的
Cloud
Storage
staging bucket被设置为一个不再存在
的
存储
桶
(仅用于测试目的)。我们希望使用另一个
存储
桶
来代替。我如何将这个集群连接到那个
存储
桶
?我对
Google
Cloud
平台非常陌生,因此任何额外
的
概念性信息也将非常有用。
浏览 18
提问于2018-01-26
得票数 0
1
回答
将文件名转换为小写[] [gsutil]
google-cloud-platform
、
gsutil
我们最近将所有产品图片从我们
的
网站转移到。由于过去存在错误
的
命名策略,文件名
中
的
大小写(小写、大写)并不总是与我们产品数据库
中
列出
的
文件名
的
方式相匹配。我看到
的
最快
的
解决办法是迫使网站以小写形式调用所有文件名。但这意味着我必须将云
存储
中
的
所有文件名(包括扩展名)更改为小写。我一直在用gsutil做实验,但到目前为止还没能做到这一点。谢谢你
的
帮助。
浏览 0
提问于2016-11-01
得票数 1
2
回答
使用Scala和
Dataproc
的
云
存储
客户端:缺少库
scala
、
apache-spark
、
google-cloud-platform
、
google-cloud-storage
、
google-cloud-dataproc
我正在尝试
在
一个
dataproc
集群
中
运行一个简单
的
spark脚本,它需要使用scala和java云
存储
客户端库对gcs
存储
桶
进行读/写。" % "
google
-
cloud
-
storage
" % "1.113.15"resolvers += Resolver.mavenLocal package DEV import com.
google</
浏览 17
提问于2021-04-17
得票数 2
回答已采纳
2
回答
gsutil和gcloud有什么区别?
google-cloud-platform
、
google-cloud-storage
、
gcloud
、
google-cloud-console
我想知道gcloud和gsuitl之间
的
区别。我们在哪里使用什么?为什么某些命令以gsutil开头,而其他命令则以gcloud开头?
浏览 1
提问于2019-09-28
得票数 14
3
回答
从
Google
云
存储
读取
Dataproc
google-cloud-platform
、
google-cloud-storage
、
google-cloud-dataproc
我正在尝试从
Dataproc
pyspark应用程序
中
的
GCS读取csv或txt文件。我试过很多东西。到目前为止最有希望
的
是:或不需要熊猫
的
变通方法我想以spark ALS推荐
的
RDD作为结束。我得到
的
错误是: Job [fdc
浏览 2
提问于2018-08-09
得票数 3
1
回答
安装了
google
-
cloud
-
storage
模块
0.22.0,
导入
本身可以,但不能作为
导入
python
、
python-2.7
、
google-python-api
我通过pip安装
google
云
存储
模块
。它作为独立
的
导入
很好。如果
导入
在
我正在运行
的
文件
中
,那么它可以很好地
导入
。如果我从另一个
导入
文件
的
模块
导入
文件,它就不会
导入
。
python</e
浏览 6
提问于2017-02-01
得票数 0
1
回答
Python
模块
对
cloud
-
dataproc
的
依赖关系
google-cloud-dataproc
我正在尝试将我
的
代码部署到
cloud
-
dataproc
上。我
的
应用程序由两个
模块
组成,moduleA.py和moduleB.py moduleA从modulB
导入
函数我
在
同一个
存储
桶
中上传了这两个
模块
,但是当我启动
dataproc
模板时,
dataproc
抱怨它找不到moduleB WHat额外
的
步骤,为了让我
的
moduleA
在
<
浏览 18
提问于2019-10-17
得票数 2
1
回答
如何在本地使用gcloud
Python
API
python
、
google-cloud-platform
、
gcloud
我
在
试着访问我
在
GCP上
的
一个
存储
桶
。我使用
storage
.Client()方法创建一个客户端,但当我尝试运行它时,它不会进行身份验证。我知道我可以将我
的
环境设置为拥有我
的
凭据,但我并不真正理解其中
的
文档。我该怎么做呢?
浏览 8
提问于2019-07-21
得票数 1
2
回答
如何在spark作业
中
获取gcloud
dataproc
创建标志?
scala
、
apache-spark
、
google-cloud-platform
、
google-cloud-dataproc
我想在spark作业
中
创建一个
dataproc
集群时使用标志。例如,我使用以下命令行创建了我
的
集群: gcloud
dataproc
clusters create cluster-name \--bucket=bucket-name
在
我
的
scala spark工作
中
,我想要获取
存储
桶
名称和其他参数如何做到这一点,我知道如果我想获得工作
的
参数,我必须这样做: val sc = s
浏览 18
提问于2021-01-23
得票数 2
2
回答
如何从jupyter笔记本
的
google
存储
桶
中加载mat文件
machine-learning
、
jupyter-notebook
、
google-cloud-storage
、
mat
我正在尝试
在
大约16 to
的
图像数据上训练一个模型。我需要从我
的
云
存储
桶
中
导入
一个annotations.mat文件。然而,由于loadmat需要一个文件路径,我不确定如何
导入
Google
Storage
存储
桶
路径。我试图创建垫数据
的
pickle文件,但Jupyter Notebook崩溃了。当前尝试: from
google
.
cloud
imp
浏览 27
提问于2019-04-29
得票数 2
2
回答
如何检测
Google
Play购买是从测试帐户还是从常规帐户进行
的
android
、
in-app-purchase
、
google-play
我正在构建一个应用程序,其中我必须检测购买是测试购买(从测试帐户进行)还是来自真实用户
的
真实购买。请注意,该应用程序已经处于活动状态,并且我正在使用
的
SKU与生产环境
中
的
SKU相同。
Google
可以检测购买是否是测试,因为它会显示一条消息(“这是一个测试订单,您将不会被收费”),但我正在寻找一种方法来检测编程。
浏览 4
提问于2016-02-29
得票数 5
2
回答
在
Spark
的
Google
云
存储
连接器
中
更改
存储
桶
类(区域/多区域)
apache-spark
、
google-cloud-storage
、
google-cloud-dataproc
目前,我
在
欧洲地区运行我
的
Dataproc
集群。我
在
同一个集群上运行spark应用程序。当使用spark
中
的
Google
云
存储
连接器写入bucket时,bucket会自动使用Multi-Region类和美国属性
中
的
多个区域创建。这将在具有上述属性
的
位置
中
创建新
的
存储
桶
。 已尝试查找配置以
在
连接器
中</e
浏览 0
提问于2019-06-09
得票数 1
1
回答
如何通过Firebase管理访问
Google
存储
中
的
存储
桶
function
、
firebase
、
admin
、
firebase-storage
以下代码
中
的
每个返回对库
中
定义
的
桶
的
引用var bucket = admin.
storage
().bucket()npm install --save @
google
-<em
浏览 1
提问于2018-08-29
得票数 1
1
回答
在数据流程
中
运行PySpark时
的
ModuleNotFoundError
pyspark
、
google-cloud-storage
、
google-cloud-dataproc
在
GCP上运行pyspark作业(使用
dataproc
1.4),我正在尝试从GCP
存储
中
读取数据。获取以下错误: from
google
.
cloud
import
storage
File "/opt/conda/default/lib/
python
3.6/site-packages/
google
"/opt/co
浏览 30
提问于2019-07-03
得票数 1
1
回答
google
存储
: bucket刚刚开始缓存文件。我该怎么办才能阻止它?
python
、
caching
、
google-cloud-platform
、
google-cloud-storage
我不需要缓存都已经上传
的
文件和文件,将在未来上传。对于将来上传
的
文件,我没有对
python
代码做任何修改。
Python
代码从
google
.
cloud
.
storage
进口
的
Blob client =
storage</em
浏览 13
提问于2020-02-04
得票数 1
1
回答
谷歌云
存储
:图像不会复制到其他
存储
桶
python
、
google-app-engine
、
google-cloud-platform
、
google-cloud-storage
我已经创建了一个方法,它通过
google
云
存储
从一个被调用
的
文件夹
中
传输一定数量
的
图像,但是在运行时它会创建目录,但不会传输任何图像 def
Cloud
_Transfer(UserLabel, UserCounter): gcs_bucket_store = 'export' gcs_bucket_upload = 'activeU
浏览 9
提问于2019-05-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Google云计算将变更部分存储、运算和网络产品的定价
自学14天后,我毁掉了自己的数据工程师面试
【行业资讯】Scrapy 2.3.0 发布,Python 爬虫框架
Google发布供用户审核企业数据库的Cloud SQL for MySQL扩展组件
无处安放的对象
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券