用Modules优雅地管理服务器的环境变量

在我管理的基因组学群里,今天有人提出了这样一个问题,如果有多个版本的BLAST,并且都是用conda安装,应该如何调用不同版本的BLAST

对于这个问题,其实存在多种解决方案:

  • 用绝对路径进行调用
  • 使用conda创建多个环境,用 source activate xxx启动该环境
  • 使用 export/path/to/ncbi-blast-x.x:PATH, 将对应版本的BLAST提前

在我还是一个普通用户的时候,我用的就是上面的方法进行解决,直到有一天我成为服务器管理员,我决定用过一个更加装13的工具对环境变量进行管理,这个工具你或许也能在一些脚本看到,通常会用#进行注释,例如 #moduleload gcc/6.3.1.这种。

何为Environment Modules

大部分Linux用户管理环境变量的方式都是, exportPATH=/path/to/some/bin:/$PATH >> ~/.bashrc,长期以往,当你 echo $PATH时就会发现出现了大量的软件路径,在我眼里,降低系统对工具的搜索速度是其次的,主要是不太好看。

而Module则是由管理员将不同软件的环境配置写好,然后用户在登陆之后,只需要用 moduleload xxx在环境增加自己所需的工具即可。

一个优秀的管理员,不会让他的用户去操心软件安装的问题,用啥conda,想用啥软件用啥版本,一个module搞定。

别在评论区说docker,有些服务器的系统太老,说不定都装不了docker,而且普通用户未必有这个权限。

工具安装和配置

由于Modules本来就是给管理员用于配置服务器环境,因此下面的安装操作都是以Root权限进行。

在安装Modules之前,先确保自己的系统上安装 tcl-devel>=8.4。随后是编译的常规步骤,

git clone https://github.com/cea-hpc/modules.git
cd modules
./configure && make && make install

相对于安装,配置则是比较麻烦一些,为了保证用户在登录服务器的时候,能够调用module,你得现将module的初始化脚本复制到 /etc/profiled.d目录下

ln -s /usr/local/Modules/init/profile.sh /etc/profile.d/modules.sh
# ln -s /usr/local/Modules/init/profile.csh /etc/profile.d/modules.csh

这样子每个用户在登录服务器的时候,shell会先执行 /etc/profile,而 /etc/profile的任务之一就是执行 /etc/profile.d/下的所有shell脚本,也就将module的运行环境加入了用户登录的shell环境中。

之后是配置用户能够调用的模块。你需要先在 /usr/local/Modules/modulefiles增加不同软件的配置信息,才能用 moduleload进行加载。例如我希望用多个版本的blast,我的BLAST的软件分别安装在 /opt/biosoft/ncbi-blast-2.2.31+, /opt/biosoft/ncbi-blast-2.7.1+/bin。,我的操作如下。

先创建存放不同blast配置文件的文件夹

mkdir -p blast

然后在该目录下,我编辑了两个modulefile文件

"blast/2.2.31"为

#%Module1.0#####################################################################
## modules modulefile
module-whatis    "NCBI BLAST 2.2.31"
prepend-path    PATH           /opt/biosoft/ncbi-blast-2.2.31+/bin

"blast/2.7.1"为

#%Module1.0#####################################################################
## modules modulefile
module-whatis    "NCBI BLAST 2.7.1"
prepend-path    PATH           /opt/biosoft/ncbi-blast-2.7.1+/bin

当一个普通用户登录到服务器之后,他直接用 modulelist是没有加载任何模块的,也不能用blast

moduleload blast/2.2.31 加载环境后,用户就能在环境中找到blast

如果想要换个环境,就可以用 switch进行切换。 moduleswitchblast blast/2.7.1

如果你不需要BLAST了,那么就用 moduleunload blast/2.7.1就能在环境变量中删除这个工具。

小技巧: 对于一些依赖工具比较多的生信工具而言,用conda安装会更加方便,那么如何将 moduleconda进行整合呢?分为两步,

第一步,每一个分析流程都要新建一个环境,安装到指定的目录,以pb-assembly为例

conda create -p /opt/biosoft/pb-assembly pb-assembly

第二步,为将conda安装的软件新建一个modulefile,命名为"pb-assembly"

#%Module1.0#####################################################################
## modules modulefile
module-whatis    "FALCON"
prepend-path    PATH           /opt/biosoft/pb-assembly/bin

那么就能用 moduleload pb-assembly进行环境加载了。

推荐阅读

上面仅仅是module的简单用法,你还需要阅读https://modules.readthedocs.io/en/latest/modulefile.html`了解更多和"modulefile"有关的知识。

以及阅读https://modules.readthedocs.io/en/latest/INSTALL.html#configuration 定义一些默认加载的模块。

原文发布于微信公众号 - 生信技能树(biotrainee)

原文发表时间:2018-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

MacWiFi:一款管理Mac系统WIFI的命令行工具(包含交互式Shell)

今天给大家介绍的是一款名叫mac-wifi的命令行工具,它可以管理macOS系统的无线网络,并且还提供了交互式Shell。 ? mac-wifi mac-wif...

3048
来自专栏吴柯的运维笔记

【Linux】不得不了解的软件包管理与安装指令

软件安装包(两种格式): .rpm---<rpm package manager> .deb---<Debian系统专属的安装包格式> yum...<yello...

3719
来自专栏IT笔记

Consul+Prometheus系统监控之注册发现

缘起 前面几篇文章分别对系统服务、MySql以及Redis相关软件做了监控预警,但是大家有没有发现,在prometheus.yml里配置需要监听的服务时,我们需...

2.6K6
来自专栏程序猿DD

使用Consul做服务发现的若干姿势

来源:http://blog.bossma.cn/consul/consul-service-register-and-discovery-style/?hms...

5973
来自专栏未闻Code

从Workflowy到印象笔记

Workflowy是一个极简风格的大纲写作工具,使用它提供的无限层级缩进和各种快捷键,可以非常方便的理清思路,写出一个好看而实用的大纲。如下图所示。

1882
来自专栏黑白安全

Git 曝任意代码执行漏洞,所有使用者都受影响

Git 由于在处理子模块代码库的设置档案存在漏洞,导致开发者可能遭受任代码执行攻击,多数代码托管服务皆已设置拒绝有问题的代码储存库,但建议使用者尽快更新,避免不...

721
来自专栏有趣的Python和你

Flask学习笔记之第一个Flask程序

本系列课程使用anconda的环境,并通过下面代码创建了一个独立的环境,用于flask的学习使用。

921
来自专栏精讲JAVA

IDEA 代码生成插件 CodeMaker

Java 开发过程中经常会遇到编写重复代码的事情,例如说:编写领域类和持久类的时候,大部分时候它们的变量名称,类型是一样的,在编写领域类的时候常常要重复写类似的...

1532
来自专栏北京马哥教育

大家好,我给大家介绍一下,这是我的Linux故障排查思路

国庆和中秋放假回来后,相信或多或少你的Linux服务器都会遇到一些问题,为了帮助大家回来后在遇到问题时找到合适的解题思路,特地给大家找到了一个Linux运维工程...

3353
来自专栏云计算教程系列

Prometheus升级指南

Prometheus是一个基于Metrics的监控系统 ,与Kubernetes同属CNCF(Cloud Native Computing Foundation...

9822

扫码关注云+社区

领取腾讯云代金券