Porn Data Anaylize — Spark安装
spark默认使用的Python版本为2，可以修改.bashrc文件让spark默认使用python3。修改.bashrc增加如下行：
# anaconda
export ANACONDA_HOME=/home/dbuser/anaconda3/
export PATH=$ANACONDA_HOME:$PATH
# spark
export PYSPARK_PYTHON=/home/dbuser/anaconda3/bin/python3然后重新启动pyspark就是3了，anaconda下的python文件版本也是2。
如果要用jupyter的方式运行spark，可以通过anaconda来完成，安装完成后使用本地端口没有问题，但是如果要配置允许远程访问以及设置访问密码，需要运行：
jupyter notebook --generate-config不过如果直接运行和可能会提示：
/bin/bash: jupyter: command not found这是因为anaconda的bin目录没有加入path，可以通过将/home/dbuser/.local/bin目录加入.bashrc 或者直接通过全路径运行。
!/home/dbuser/.local/bin/jupyter notebook --generate-config在生成的配置文件中加入如下几行：
c.NotebookApp.ip="*"
c.NotebookApp.allow_remote_access=True
c.NotebookApp.open_browser=False
# passwor=whoami
c.NotebookApp.password="argon2:$argon2id$v=19$m=10240,t=10,p=8$2fROaofTc+MXONw9BE6PxA$6P3Hf4PWBnAWC0dYDn10Cg"然后执行如下命令即可远程访问jupyter notebook:
export PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
☆文章版权声明☆
* 网站名称：obaby@mars
* 网址：https://h4ck.org.cn/
* 本文标题： 《Porn Data Anaylize — Spark安装》
* 本文链接：https://h4ck.org.cn/2020/08/porn-data-anaylize-spark%e5%ae%89%e8%a3%85/
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。
分享文章：
相关文章:
- Porn Data Anaylize — Hadoop安装
- Porn Data Anaylize — 分类数据二次分析
- Porn Data Anaylize — 标签 模特信息分析(github)
- Porn Data Anaylize — TS伪娘 分类数据浅析
- Porn Data Anaylize — AI换脸 分类数据浅析(github)
- Porn Data Anaylize — 视频数据初探
- Porn Data Anaylize — 上传者 分类信息分析(github)
- UnGzip Data(PyQt4) By obaby
- 上一篇文章的代码（开源Github）
- Ubuntu 64bit 安装QQ
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020年8月25日，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
人脸融合
人脸融合（Face Fusion）可将一张人脸图像对应的人脸特征融合到模板图像中的特定人物上，生成的图片既兼具指定图像和模板图像中的人脸特征，也保持了模板图像中人物的姿态、表情、动作等属性，支持单脸、多脸、选脸融合。
腾讯云开发者
