AWS EMR:齐柏林飞艇采用python2.7中的numpy版本而不是更高版本
AWS EMR:齐柏林飞艇采用python2.7中的numpy版本而不是更高版本
提问于 2021-08-19 01:09:21
我的EMR (5.26.0)集群上有python2.7(默认)和python3.6，下面是我的引导脚本。我正在安装numpy版本的1.18.5，我可以看到它正在被安装在引导日志中。然而，在python3包中，我看到它正在选择来自Python2.7的numpy 1.14.5。如果您看到下面的屏幕截图，我可以看到版本1.18.5 dist。在python包目录中的文件，但是二进制文件是针对的，但是实际的numpy版本有1.14.5的文件。
我正在使用zeppelin笔记本，并通过将以下变量设置为python 3，将解释器python和pyspark属性更改为使用python 3。
PYSPARK_PYTHON = '/usr/bin/python3'
PYSPARK_DRIVER_PYTHON = '/usr/bin/python3'
# In zeppelin interpretor
zeppelin.pyspark.python='/usr/bin/python3'#!/usr/bin/env bash
python3 -m pip uninstall botocore --user
python3 -m pip uninstall boto3 --user
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install botocore==1.13.38 --user
sudo python3 -m pip install h5py
sudo python3 -m pip install keras==2.3.0
sudo python3 -m pip install keras_applications==1.0.8 --no-deps
sudo python3 -m pip install keras_preprocessing==1.1.2 --no-deps
sudo python3 -m pip install tqdm
sudo python3 -m pip install s3fs
sudp python3 -m pip install ipaddress==1.0.23
sudo python3 -m pip install netaddr==0.7.19
sudo python3 -m pip install matplotlib
sudo python3 -m pip install pyarrow
sudo python3 -m pip install boto3
sudo python3 -m pip install torch==1.6.0
sudo python3 -m pip install --upgrade scipy==1.4.1
sudo python3 -m pip install torchvision
sudo python3 -m pip install pydot
sudo python3 -m pip install xlrd
sudo python3 -m pip install xlwt
sudo python3 -m pip install pandas
sudo python3 -m pip install scikit-learn
sudo python3 -m pip install scikit-multilearn
sudo python3 -m pip install wrapt==1.12.0
sudo python3 -m pip install tensorflow==2.3.0
sudo python3 -m pip install tensorflow-gpu==2.0.0
sudo python3 -m pip install numpy==1.18.5此外，当我列出包时，我看到它列出了1.18.5，但是numpy version命令显示了1.14.5。
我如何强迫Python选择更高版本的numpy？
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-08-23 02:11:31
最后，使用emr-5.31.0和更低的引导配置，5.31+默认为Python3和numpy 1.16.5，即使python2存在于env中。因此，我得到了默认的更高版本的numpy，这解决了我的交叉依赖问题。
sudo python3 -m pip install h5py==2.10.0
sudo python3 -m pip install keras==2.3.1
sudo python3 -m pip install keras_applications==1.0.8 --no-deps
sudo python3 -m pip install keras_preprocessing==1.1.0 --no-deps
sudo python3 -m pip install tqdm==4.40.0
sudo python3 -m pip install s3fs
sudo python3 -m pip install ipaddress==1.0.23
sudo python3 -m pip install netaddr==0.7.19
sudo python3 -m pip install matplotlib
sudo python3 -m pip install pyarrow==0.12.1
sudo python3 -m pip install boto3
sudo python3 -m pip install torch==1.6.0
sudo python3 -m pip install --upgrade scipy==1.4.1
sudo python3 -m pip install torchvision
sudo python3 -m pip install pydot==1.4.1
sudo python3 -m pip install xlrd
sudo python3 -m pip install xlwt
sudo python3 -m pip install pandas==1.2.0
sudo python3 -m pip install scikit-learn
sudo python3 -m pip install scikit-multilearn
sudo python3 -m pip install wrapt==1.12.0
sudo python3 -m pip install tensorboard==2.1.0
sudo python3 -m pip install tensorflow==2.1.0
sudo python3 -m pip install tensorflow-estimator==2.1.0页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68840878
复制相关文章
相似问题
腾讯云开发者
