腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在
Google
Dataproc
集群
中
安装和运行
pip
python
、
pip
、
jupyter-notebook
、
google-cloud-dataproc
我
使用
以下命令
在
谷歌
DataProc
中
创建了一个
集群
: gcloud beta
dataproc
clusters create my-cluster \ --project my-project \:
jupyter
.notebook.gcs.dir="gs://${BUCKET}/notebooks/
jupyter
/${CLUSTER_NAME}" 对于
pip
,我
浏览 10
提问于2020-01-29
得票数 2
回答已采纳
1
回答
在
Jupyter
中
使用
pip
导致
Google
Dataproc
集群
中
的
内核
死机
pip
、
jupyter-notebook
、
google-cloud-dataproc
我
使用
以下命令创建了一个
Dataproc
集群
: gcloud beta
dataproc
clusters create my-cluster \ --project my-project \,gs://goog-
dataproc
-initialization-actions-${REGION}/python/conda-install.sh,gs://goog-
dataproc
-initialization-actio
浏览 13
提问于2020-01-30
得票数 1
1
回答
无法
在
Jupyter
笔记本
中
绘制Pandas数据帧
python
、
pandas
、
apache-spark
我正在通过GCP
集群
打开
的
Jupyter
笔记本
中
编写代码。我正在
使用
Spark-BigQuery连接器从BigQuery读取数据。我正在尝试获取这些数据
的
一个子集并绘制它,但是每当我尝试运行该命令时,
内核
都会断开/重新连接。以前
在
我做错了事情而没有注意到
的
地方也发生过这种情况(所以我知道这不仅仅是随机断开连接)。代码如下: 正在读取
中
的
数据: import pandas as pd imp
浏览 12
提问于2020-04-20
得票数 1
回答已采纳
2
回答
在
Dataproc
上运行星火+ Scala +木星
scala
、
apache-spark
、
jupyter-notebook
、
google-cloud-dataproc
、
apache-toree
我还没有设法让斯派克、斯卡拉和朱庇特合作.有人有简单
的
食谱吗?您
使用
了每个组件
的
哪个版本?
浏览 1
提问于2016-06-28
得票数 4
回答已采纳
1
回答
无法
在
GCP上
的
dataproc
集群
中导入pyspark
pyspark
、
google-cloud-platform
、
google-cloud-dataproc
我只是
在
Google
平台上安装了一个
集群
来运行一些火花缭乱
的
作业。最初,我
使用
ipython.sh (来自github存储库)作为
集群
的
初始化脚本。这使得
集群
能够很好地启动,但是当试图
在
Ipython笔记本中导入pyspark时,我得到了一个“无法导入名称累加器”错误。经过一些搜索之后,我认为这与Python
中
没有包含
的
pyspark安装路径有关,所以我删除了我
的
集群</e
浏览 2
提问于2016-09-19
得票数 1
2
回答
无法从'
google
.cloud‘导入名称'
dataproc
_v1’(未知位置)
python-3.x
、
google-cloud-platform
、
cloud
、
google-cloud-dataproc
、
dataproc
尝试通过
Jupyter
Notebook
使用
Dataproc
从计算机进行访问时,我
使用
pip
安装了所需
的
库。但是,
在
导入时出现错误 import
google
.cloud.
dataproc
_v1 错误信息如下: ModuleNotFoundError Traceback我还尝试了安装包python3 -m
pip
install
google
-cloud-
浏览 21
提问于2020-09-11
得票数 1
1
回答
如何在自定义
dataproc
映像
中
安装可选组件(anaconda,
jupyter
)
python-3.x
、
anaconda
、
google-cloud-dataproc
为了加快
集群
实例化时间,我
使用
可用于
dataproc
映像1.5.34-debian10 10
的
miniconda3创建了一个包含所有附加依赖项
的
自定义映像。(我遵循以下步骤:,以确保我
使用
了正确
的
python环境)。但是,当我用--可选组件ANACONDA、
jupyter
启动
集群
时,我
的
自定义依赖项将被删除,剩下
的
是anaconda和
JUPYTER
的
基本安装。我假
浏览 2
提问于2021-05-02
得票数 3
回答已采纳
1
回答
Dataproc
集群
创建失败,提供免费
的
Google
Cloud配额
apache-spark
、
google-cloud-platform
、
jupyter-notebook
、
google-cloud-dataproc
我
使用
的
是谷歌云
的
免费积分。我遵循了
Dataproc
tutorial,但是当我运行下面的命令时,我有一个关于存储容量
的
错误。--worker-machine-type=n1-standard-4 \ --optional-components=ANACONDA,
JUPYTER
\ --metadata '
PIP
_PACKAGES=<em
浏览 13
提问于2020-09-05
得票数 0
1
回答
未能在受限制
的
dataproc
安装程序
中
安装
JUPYTER
jupyter-notebook
、
google-cloud-dataproc
我希望建立一个数据
集群
与木星可选
的
组成部分。(from -r /opt/
dataproc
/
jupyter
/
jupyter
_extra_packages.requirements (line 1)) 如果只创建仅具有内部IP地址
的
Dataproc
群集,则在
浏览 3
提问于2020-11-05
得票数 2
回答已采纳
1
回答
为什么我不能创建一个同时安装了
Jupyter
和DataLab
的
Google
DataProc
集群
?
jupyter-notebook
、
google-cloud-dataproc
、
google-cloud-datalab
我想在
DataProc
中
创建一个同时安装了
Jupyter
和DataLab
的
集群
(我知道它们非常相似,但团队成员有不同
的
偏好)。我可以用它们
中
的
任何一个来创建
集群
:
使用
Jupyter
的
集群
: gcloud
dataproc
clusters create $
DATAPROC
_CLUSTER_NAME_
JUPYTER</e
浏览 36
提问于2019-04-05
得票数 1
回答已采纳
4
回答
Dataproc
:木星电火花笔记本无法导入图形框架包
pyspark
、
jupyter
、
google-cloud-dataproc
、
graphframes
在
Dataproc
星火
集群
中
,星火外壳中有图形框架包,而
jupyter
pyspark笔记本
中
却没有。Pyspark
内核
配置:下面是初始化群集
的
cmd: gcloud
dataproc
clusters create my-
dataproc
-cluster
浏览 10
提问于2016-11-30
得票数 3
回答已采纳
1
回答
找不到
Google
Dataproc
初始化脚本错误文件
shell
、
google-cloud-dataproc
我正在
使用
Google
Dataproc
初始化一个
Jupyter
集群
。首先,我
使用
了github中提供
的
"
dataproc
-initialization-actions“,它
的
工作方式非常出色。这是文档中提供
的
创建
集群
调用: --metad
浏览 10
提问于2016-08-13
得票数 1
回答已采纳
2
回答
在
google
的
数据过程
中
创建
的
Jupyter
的
默认密码是什么
google-cloud-platform
、
jupyter-notebook
、
google-cloud-dataproc
我
使用
这里
的
链接
中
的
步骤设置了数据流程 我没有设置任何密码。我运行了../root$ sudo grep -ir password并获得了以下结果,因此确认没有设置密码 .
jupyter
/
jupyter
_notebook_config.py:## Hashed passwordto use for web authenticat
浏览 10
提问于2016-12-13
得票数 5
回答已采纳
1
回答
python
中
的
dataproc
create cluster gcloud等效命令
python-3.x
、
google-cloud-platform
、
dataproc
如何在python
中
复制下面的gcloud命令?gcloud beta
dataproc
clusters create spark-nlp-cluster \ --metadata '
PIP
_PACKAGES/python/
pip
-install.sh \ --enable-component-gateway以下是我到
浏览 48
提问于2020-11-10
得票数 0
3
回答
如何在上运行Spark3.2.0?
apache-spark
、
pyspark
、
google-cloud-dataproc
目前,
google
还没有将Currently 3.2.0作为图像。最新数据为3.1.2。我想
使用
的
熊猫火花放电功能,火花已经发布了3.2.0。我正在执行以下步骤来
使用
spark 3.2.0 用这个environment.yaml创建了一个
dataproc
集群
。正确地创建了
集群</
浏览 17
提问于2021-12-07
得票数 7
回答已采纳
1
回答
仅包含可抢占工作进程
的
Dataproc
集群
pyspark
、
google-cloud-platform
、
google-cloud-dataproc
我目前正在试验
Dataproc
,我按照
Google
教程
使用
Jupyter
和Spark创建了一个Hadoop
集群
。一切都很顺利。我
使用
以下命令: --project proj-name \ --initialization-actions \ gs://
da
浏览 13
提问于2018-08-16
得票数 1
1
回答
Google
集群
是用带有
jupyter
资源
的
environment.yaml创建
的
,但是环境不能作为
jupyter
内核
使用
。
apache-spark
、
pyspark
、
jupyter-notebook
、
google-cloud-dataproc
、
dataproc
我已经
使用
特定
的
environment.yaml创建了一个新
的
dataproc
集群
。下面是我用来创建
集群
的
命令:--enable-component-gateway --bucket我已经能够将ssh放到主节点和执行器节点中,它们都有一个环境pyspark,它是用我在上面的
集群
创建命令中指定
的
e
浏览 4
提问于2021-12-05
得票数 1
1
回答
在
Visual Studio Code上编辑和运行
Google
Cloud Platform
中
的
Jupyter
笔记本
visual-studio-code
、
google-cloud-platform
、
jupyter-notebook
、
google-cloud-storage
、
google-cloud-dataproc
我有一个运行在GCP上
的
Dataproc
集群
,安装了
Jupyter
组件,它将笔记本存储到GCS上
集群
的
临时存储桶
中
,并直接通过
Dataproc
的
Jupyter
web界面进行编辑。有没有办法
使用
VSCode直接从GCS编辑和运行(
使用
jupyter
扩展)我机器上
的
笔记本,这样我仍然可以
使用
集群
的</em
浏览 41
提问于2021-08-17
得票数 2
1
回答
如何在
集群
中
安装python包
python
、
google-cloud-platform
、
google-compute-engine
、
google-cloud-dataproc
在
创建和运行
集群
之后,可以
在
集群
中
安装python包吗?
Google
的
Dataproc
文档没有提到这种情况。
浏览 1
提问于2018-05-10
得票数 11
回答已采纳
1
回答
Terraform
dataproc
群集设置问题
google-cloud-dataproc
、
service-accounts
、
terraform-provider-gcp
我正试图通过terraform
在
GCP
中
建立一个私有的
dataproc
集群
(1M,2w)。它还应该需要可选
的
组件,如docker、anaconda和
jupyter
。以下是我关心
的
问题, } 如果上面不可行的话,
浏览 3
提问于2020-03-06
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Jupyter Lab的10 个有用技巧
数据科学工具 Jupyter Notebook 教程(二)
机器学习新手必看:Jupyter Notebook入门指南
来,开始使用Jupyter
自学14天后,我毁掉了自己的数据工程师面试
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券