专栏首页foochanejupyter notebook+Spark配置远程登录服务器

jupyter notebook+Spark配置远程登录服务器

1 配置远程登录服务器上的jupyter notebook

1.1 安装jupyter notebook

安装Anaconda,就已经自动jupyter notebook,没有的话自己从新安装。

1.2 生成密码

进入shell,按如下内容进行输入

$ ipython
In [1]: from IPython.lib import passwd
In [2]: passwd()
Enter password: #输入远程登陆时的密码(服务器密码)
Verify password: #确认密码
Out[2]: 'sha1:0exxxxxxxxxxxxxxxxxx3999xxx2d856'

1.3 生成mycert.pem

输入

$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

填入相关信息,生成mycert.pem文件

1.4 配置jupyter notebook

生成配置文件

$ jupyter-notebook --generate-config

修改~/.jupyter/jupyter_notebook_config.py文件:

c.NotebookApp.password = u'sha1:' #刚刚生成的SHA密钥
c.NotebookApp.certfile = u'/home/hadoop/.jupyter/mycert.pem' #mycert.pem文件位置
c.NotebookApp.ip = 'Master' #本机ip
c.NotebookApp.port = 9999 #端口

1.5 本地登录

在服务器输入:

$ jupyter notebook --ip=Master --no-browser --allow-root

之后会打印访问链接,输入到本地浏览器打开即可。

2 Jupyter连接pyspark

在服务器端,添加的~/.bashrc文件中添加如下环境变量:

#py-spark
export PYTHONPATH=/usr/local/bigdata/spark/python:$PYTHONPATH #pythonpath指向spark目录下的python文件夹
export PYTHONPATH=/usr/local/bigdata/spark/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH# 指向py4j包,没有的话下载一个
export PYSPARK_PYTHON=python3 #使用python3
export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=Master --no-browser --allow-root" 

$ source ~/.bashrc 使其生效。

在服务器终端中输入

$ pyspark

之后同样会打印出访问链接,输入到本地浏览器访问即可。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用zeppelin-solidity建立标准代币

    OpenZeppelin是一个加密合约函数库,提供了兼容ERC20的智能合约,可以使用它来简化钱包的开发过程。 使用npm进行安装

    foochane
  • TeX Live安装和配置

    下载地址:https://tug.org/texlive/ 这里下载iso文件,使用离线安装方式。在线安装方式速度太慢了。

    foochane
  • Java学习笔记(五):线程

    我们在之前,学习的程序在没有跳转语句的前提下,都是由上至下依次执行,那现在想要设计一个程序,边打游戏边听歌,怎么设计?

    foochane
  • python jupyter notebook配置 更改默认工作目录 更换皮肤主题 代码字体 大小

    想要修改iupyter notebook那些默认的配置选项,就需要在配置文件jupyter_notebook_config.py中修改相应配置选项的属性。 这...

    叶庭云
  • jupyter 实现notebook中显示完整的行和列

    jupyter notebook中设置显示最大行和列及浮点数,在head观察行和列时不会省略

    砸漏
  • 优雅部署环境

    0.导语1.pycham1.1 环境配置1.2 项目文件夹1.3 底部窗口2.Anaconda2.1 Conda配置2.2 py2与py3环境切换3.Jupyt...

    公众号guangcity
  • 如何安装Git并克隆GitHub存储库

    GitHub是一个允许开发人员使用Git版本控制系统进行协作的网站。通过Git和GitHub,来自世界各地的程序员可以在有组织的最新流程中分享想法和代码。

    Techeek
  • 一文讲透 “进程、线程、协程”

    进程-操作系统提供的抽象概念,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。程序是指令、数据及其组织形式的描述,进程是程序的实体。程序本身是没有生命...

    小灰
  • iOS开发常用之网络、网页

    GuangdongQi
  • How to download material division to CRM

    In ERP, I have created one material with division = 01:

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券