开始试用 IBM Data Science Experience Local

IBM Data Science Experience Local 基于 Kubernetes 运行,由以下类型的节点组成:

控制节点和数据存储节点:用于集群管理和高可用性。至少需要三台服务器:一个主节点管理整个集群,至少两个额外节点以实现高可用性。数据存储使用 GlusterFS 做存储管理。

计算节点:运行分析计算服务。至少需要三台服务器:一个主节点和至少两个额外节点,以实现高可用性和扩展计算资源。以后可以添加其他节点来扩展计算资源,例如,如果您希望运行资源密集型计算或者有多个同时运行的分析任务。

部署节点:用来部署机器学习模型,把机器学习嵌入业务流程中。部署节点是计算节点的生产版本,所以具有相同的硬件要求。至少需要两台服务器:一台主节点和至少一个额外节点,以实现高可用性和负载均衡。

IBM Data Science Experience Local 1.2 支持 8 节点或者 5 节点两种安装方式。建议采用 8 节点安装,以获得最佳的性能和伸缩性。

8 节点的架构如下,其计算和管理节点是分开部署的。

8 节点的安装需要以下硬件资源,可以采用虚拟机或物理机:

5 节点的架构如下,其计算和管理节点是混合部署的。

5 节点的安装需要以下硬件资源,可以采用虚拟机或物理机:

如果需要使用 SPSS Modeler for Data Science Experience 的功能,需要适当增加计算节点的资源,每个SPSS Modeler for Data Science Experience 计算任务需要额外0.5 CPU 和 8 GB 内存。

磁盘根分区上的剩余空间至少需要 30 GB。

IBM Data Science Experience Local 安装需要磁盘格式是 XFS。确保每个节点都有一个用于安装程序文件的额外磁盘分区,每个存储节点需要另一个额外的磁盘分区,并使用启用了 ftype 功能的XFS进行格式化。

XFS 磁盘的格式化方法:mkfs.xfs -f -n ftype=1 -i size=512 -n size=8192 /dev/sdb1

为了提高性能,请将 noatime 标志添加到安装程序和数据存储分区的 /etc/fstab,例:

/dev/sdb1 /installer xfs defaults,noatime 1 2

XFS 格式磁盘需要挂接到非根路径,如’/storage’和’/opt’。

XFS 格式磁盘要满足 IO 的要求:

操作系统使用 Red Hat Enterprise Linux (RHEL) Server 64 位 7.3 以上版本,每台机器需要配置好 Yum 源。如果是 RHEL 7.3 则必须安装包 libselinux-python。

主机名必须全部小写字母。

集群需要配置时间同步。

关闭防火墙 firewalld 和 iptables。

SELINUX设置为 Enforcing 或 Permissive。

所有节点必须位于同一个子网内,节点之间需要 1 GB 以上的网络带宽,并且具有静态 IP 地址。无论是否需要访问 Internet,每个节点都需要配置一个可工作的 DNS 和网关。

除了每台机器需要一个静态 IP 以外(同一个子网段),还需要申请一个没有被占用的IP (同一个子网段)作为 HA Proxy IP。如 8 个节点需要 9 个 IP 地址。HA Proxy IP 开放端口申请:IBM Data Science Experience Local 通过端口 443 (https)从外部暴露出来,允许浏览器访问。

需要用 root 安装,或者为每个节点提供一个 sudo 用户名和密码(该凭证需要sudo root 访问权限),密码不能包含单引号,双引号,井号或空格。安装后,IBM Data Science Experience Local 将以 root 身份运行。

Data Science Experience Local 运行时需要连接到数据源(例如,关系数据库,HDFS 和企业 LDAP 服务器/端口)以支持允许访问的身份验证。

Data Science Experience Local 支持 NVIDIA GPU,如果需要使用GPU 用于深度学习,则必须在 Data Science Experience Local 部署前下载并安装NVIDIA GPU 的驱动。然后按照 Data Science Experience Local 官方手册预安装相关软件包,模块和更新视频驱动程序。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180417G146N300?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券