前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >PyCharm远程连接Spark【本地虚拟机或云主机】

PyCharm远程连接Spark【本地虚拟机或云主机】

作者头像
Lokinli
发布2023-03-09 14:01:04
2.1K0
发布2023-03-09 14:01:04
举报
文章被收录于专栏:以终为始

环境说明:

1、本地虚拟机版本是 CentOS6.9 | 连接的云主机是 Ubuntu18.04。【两个都连接成功了,方法步骤一样】

2、保证虚拟机上的 Spark 能正常运行,并且启动了Spark。

3、Spark 版本 2.4.5 。

连接步骤:

1、在虚拟机上安装 py4j 安装包。

pip install py4j

2、对本地 PyCharm 设置,依次找到以下。

Tools -> Deplovment -> Configuration。

1
1

3、点击 + ,选择 SFTP。【也可以自选其他】

1
1

4、先设置 Connetcion

Visible only for this project :确定该会话在哪些工程中显示,勾选就只在本工程中显示该会话,不勾选就在所有的工程中显示。

Type:类型自定义,这里我们一般选择 SFTP。

Host:连接的虚拟机的IP。

Port:连接的端口号,确认是开放的。

User name:登录用户名。

Test Connetcion:测试是否连接。

Root path:代表连接之后项目的所放置的根目录,默认上传目录。

Web server URL:项目在部署后的链接

04
04

5、点击 Test Connection ,会如下图所示:

05
05

6、设置 Mappings

Local path :本地项目位置

Deployment path :上传到服务器的路径,这里设置直接上传到 / 目录下,也可以不写 / ,默认继承前一个的部署位置。

Web path :不用填,默认就是之前的 URL。

下面的灰色英文就是解释。

04
04

7、 File -> settings。

07
07

8、Project:项目名 下面有一个 Project Interpreter 。

9、点击 SSH Interpreter ,选择 Existing server configuration ,选择我们配置的,192.168.52.100 ,点击 next 。

10、选择 python 位置,对于虚拟机本身自带2.7版本如果没有卸载,一般是 /usr/bin/python3 ,具体通过 whereis python 来确定。下面的路径是上传项目的临时目录,文件会上传到虚拟机该位置。

11、运行项目之前,设置 Edit Configurations

11
11

12、将 Python interpreter 选择我们之前设置的就可以了。

12
12
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-07-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 环境说明:
  • 连接步骤:
相关产品与服务
云服务器
云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档