创建 GooseFS 集群

最近更新时间:2025-04-14 15:41:02

我的收藏

简介

您可以通过 GooseFS 控制台,在 GooseFS 列表页面创建 GooseFS 集群。关于 GooseFS 集群的概念,请参见 GooseFS 集群概述。下面将为您详细介绍如何创建 GooseFS 集群。
注意:
GooseFS 集群具有地域概念,一般情况下,推荐您优先选择在您的计算业务所在的地域部署。例如,大数据分析作业在广州六区,那么 GooseFS 集群的部署地域也推荐在广州六区,以减少数据 IO 路径。

前提条件

在登录控制台使用 GooseFS 前,您需要 联系我们 开通 GooseFS 服务。

操作步骤

2. 在左侧导航中,选择 GooseFS > 实例列表,进入 GooseFS 集群列表页面。
3. 单击新建,进入 GooseFS 集群创建流程。GooseFS 集群的新建流程主要分为配置集群信息、配置集群资源和确认信息三个主要步骤。
4. 集群信息主要用于描述 GooseFS 集群的基本属性,需要配置如下参数项。



集群名称:集群唯一标记,账号下全局唯一,集群名称需要遵循命名规范,可参考 GooseFS 集群概述中的描述。
集群描述:用于表述集群的属性、用途等信息。
集群类别:集群不同类型或应用场景。分为腾讯公有云集群和 IDC 云集群。
地域:集群所在地域,一般跟计算业务所在集群的地域一致。
可用区:集群所在的可用区,一般跟计算集群同 AZ。
所属 VPC:集群所在的 VPC,一般跟计算集群同 VPC,尽量避免跨 VPC 部署的情况。
所属子网:集群所在的子网。
标签:集群标签信息。
5. 集群资源主要用于配置 GooseFS 集群需要管理的缓存存储规模。GooseFS 部署模式包括全托管、Master 托管和管控面托管三种模式,以下分别展开三种模式的集群创建说明。
全托管
Master 托管
管控面托管
全托管模式下,用户无需自行购买 Master 节点和 Worker 节点,所有节点均由腾讯云托管。腾讯云团队将负责集群的整体可用性和稳定性,确保用户可以专注于核心业务。

全托管模式用户只需选择实例容量(10TB-1000TB,步长10TB)即可。

Master 托管模式下,用户在 GooseFS 平台购买 Master 实例;Worker 节点需要由用户自己购买 CVM 实例作为节点,在完成集群创建后通过添加节点加入集群。在创建 Master托管模式的 GooseFS 集群时,相关参数说明如下:



部署模式:选择 Master 托管。
Master 规格:可以选择 Medium 版、Large 版、XLarge 版。
不同 Master 机型的规格如下:
机型规格
文件数
Medium
1亿
Large
50亿 - 70亿
XLarge
100亿 - 120亿
实例类型:选择 CVM/EMR。
缓存配置
缓存路径:GooseFS 集群 Worker 节点数据在宿主机上的存储路径。
缓存容量:集群单个 Worker 节点数据容量大小。
管控面托管模式下,GooseFS 的 Master 和 Worker 节点均需要由用户自己购买 CVM 实例作为节点。在创建管控面托管模式的 GooseFS 集群时,相关参数说明如下:
部署模式:选择管控面托管。
类型:当前支持 CVM/EMR。
实例版本:GooseFS 版本号信息。
高可用模式:若启用高可用模式,则至少需要部署3个 Master 节点。
Master 节点:选择 Master 节点。若未启用高可用模式,则选择1个 Master 节点即可。
Worker 节点:选择 Worker 节点。
Master 格式化挂载:用于格式化磁盘并进行文件系统挂载点。用户自选是否进行格式化挂载。若未启用,则在创建流程时不需要设置数据盘挂载选项,可手动或者使用脚本挂载;若启用,则需要填写设备名称,格式化系统,挂载点等参数。
挂载设备名称:需要挂载的硬件设备,一般为特定的磁盘分区,需要登录到机器上查看,一般在/dev路径下。
格式化系统:Linux 文件系统类型。
挂载点:文件系统挂载点。
示例:
如果您需要将 /dev/vdb 这块设备格式化成 ext4,并挂载到 /var/lib/docker目录下,可以这样设置:设备名称/dev/vdb,格式化系统ext4,挂载点/var/lib/docker
Worker 格式化挂载:配置说明同上述 Master 格式化挂载。
缓存配置:主要用于配置Worker 节点。
缓存路径:GooseFS 集群 Worker 节点数据在宿主机上的存储路径。
缓存存储容量:GooseFS 集群单个 Worker 节点数据容量大小。
挂载点配置:主要用于设置挂载点的详细配置信息,最关键的是单盘缓存容量。
Journal 路径:GooseFS 集群的 Journal 日志在宿主机上的存储路径。
Block 路径: GooseFS 集群的 Block 元数据在宿主上的存储路径。
Metastore 路径:GooseFS 集群的元数据在宿主机上的存储路径。
6. 按需填入上述各项参数后,单击下一步,将开始检查节点状态。系统检查无误后,单击确定执行。
7. 进入集群创建流程,可在任务中心中查看集群部署的详细进展。

后续步骤

创建好 GooseFS 集群后,可以根据业务需要登录集群进行下一步的节点管理、命名空间管理、客户端管理、配置管理等操作。具体操作可以参考下述文档: