【2021微信大数据挑战赛】TI-ONE 平台环境安装指引
原创【2021微信大数据挑战赛】TI-ONE 平台环境安装指引
原创
1. 查看环境
平台已经提供了一些conda环境，可以用如下命令进行查看：
conda env list结果如下：
# conda environments:
#
base /opt/conda
JupyterSystemEnv * /opt/conda/envs/JupyterSystemEnv
mxnet_py2 /opt/conda/envs/mxnet_py2
mxnet_py3 /opt/conda/envs/mxnet_py3
python2 /opt/conda/envs/python2
python3 /opt/conda/envs/python3
pytorch_py2 /opt/conda/envs/pytorch_py2
pytorch_py3 /opt/conda/envs/pytorch_py3
tensorflow2_py3 /opt/conda/envs/tensorflow2_py3
tensorflow_py2 /opt/conda/envs/tensorflow_py2
tensorflow_py3 /opt/conda/envs/tensorflow_py3如果已有环境能够满足所需的环境依赖，则不用进行环境安装。直接激活已有的环境（E.g. source activate tensorflow_py3）或者打开某个环境的Jupyter Notebook即可，可以跳过后面的操作指引。
如果已有的conda环境无法满足需求，则需要创建一个新的conda环境。注意不要在平台提供的conda环境上进行安装，因为其位于/opt/conda/envs目录下，当Notebook实例重启时环境会丢失。具体操作步骤如下：
2. 创建环境
2.1安装路径
建议将环境依赖安装于/home/tione/notebook/envs目录下，官方提供的demo环境目录为: /home/tione/notebook/envs/wbdc2021_demo，选手可以自定义conda环境名，对应init.sh脚本中的CONDA_NEW_ENV变量。
2.2创建conda环境
使用conda create命令来创建所需的conda环境。需要注意的是，只能使用--prefix模式指定安装路径来创建，而不能用--name的方式创建。因为后者创建的环境会默认保存在/opt/conda/envs目录下，当Notebook实例重启时环境会丢失。
创建conda环境时，可自行指定python版本和依赖库，例如：
conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y python=3.6 ipykernel 也可以基于已有的conda环境进行创建，例如：
conda create --prefix /home/tione/notebook/envs/wbdc2021_demo -y --clone tensorflow_py3使用conda env list命令检查是否安装成功，预期结果如下：
# conda environments:
#
/home/tione/notebook/envs/wbdc2021_demo
base /opt/conda
JupyterSystemEnv * /opt/conda/envs/JupyterSystemEnv
mxnet_py2 /opt/conda/envs/mxnet_py2
mxnet_py3 /opt/conda/envs/mxnet_py3
python2 /opt/conda/envs/python2
python3 /opt/conda/envs/python3
pytorch_py2 /opt/conda/envs/pytorch_py2
pytorch_py3 /opt/conda/envs/pytorch_py3
tensorflow2_py3 /opt/conda/envs/tensorflow2_py3
tensorflow_py2 /opt/conda/envs/tensorflow_py2
tensorflow_py3 /opt/conda/envs/tensorflow_py3可以看到，结果中多了一个/home/tione/notebook/envs/wbdc2021_demo 环境。这个就是我们刚新建的conda环境。此时，打开Launcher也可以看到该环境的jupyter notebook，如下所示：
2.3激活环境
使用source activate激活新建的conda环境，例如：
source activate /home/tione/notebook/envs/wbdc2021_demo2.4安装依赖
可以在激活后的环境下安装依赖库:
pip install -r requirements.txt安装完后请检查依赖库是否成功安装到新建的conda环境下。
2.5重启修复
每次实例停止后再启动（需要等待一定时间），之前创建的conda环境配置都需要重新加上。实例启动成功后，打开实例，运行如下命令，将之前创建的环境加到conda配置中。
conda config --add envs_dirs /home/tione/notebook/envs最后，使用conda env list命令检查是否安装成功。
3. 运行init.sh
为了方便选手快速进行环境安装和配置，官方将以上步骤整合为一个demo脚本（init.sh）给选手参考。选手可以根据需要修改init.sh和requirements.txt文件。下面介绍该脚本运行的方法：
3.1初次安装
实例不删除，则只需执行一次。执行命令如下：
cd /home/tione/notebook/wbdc2021
./init.sh install
source activate /home/tione/notebook/envs/wbdc2021_demo如果没有init.sh的可执行权限，可以运行：
chmod a+x ./init.sh3.2重启实例
每次重启实例都需执行。
cd /home/tione/notebook/wbdc2021
./init.sh fix
source activate /home/tione/notebook/envs/wbdc2021_demo4. 提示
4.1 大家在创建完环境之后用pip安装之前，最好先which pip 看看安装的是哪一个pip。只有pip路径是创建的conda环境才能安装到这个路径下，否则可能会安装到系统默认路径下，这样重启的时候就没有了。 或者在安装的时候也可以指定pip进行安装，例如 /home/tione/notebook/envs/wbdc2021-demo/bin/pip install gensim
传送门
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。