本文档主要提供 GooseFS 快速部署的相关指引,用户无需编写代码或运行程序,直接在GooseFS 控制台上创建 GooseFS 集群,并将对象存储(Cloud Object Storage,COS)作为远端存储的步骤指引。
准备工作
账号与权限准备
1. 注册腾讯云账号。
在使用腾讯云数据加速器 GooseFS 服务前,您需要先注册一个腾讯云账号。请点击下方按钮开始注册。(如果您已注册,请跳过该步骤。)
2. 完成实名认证。
3. 开通 GooseFS 服务。
4. GooseFS 授权。
开通 GooseFS 服务后需要预设角色并授予数据加速器 GooseFS 相关权限,请单击授权按钮进行授权。


单击同意授权,如果您没有授权权限请将该链接复制给主账号或有授权权限的子账号进行角色授权。


授权完成后,即可正常创建 GooseFS 集群。
5. 关联存储桶和节点。
集群部署
步骤1:创建GooseFS集群
1. 登录 数据加速器 GooseFS 控制台。在左侧导航栏中选择 GooseFS > 实例列表,进入 GooseFS 集群列表页面。
2. 单击新建,进入 GooseFS 创建流程。
3. 填写 GooseFS 集群信息,需要配置如下参数项。


集群名称:集群唯一标记,账号下全局唯一,集群名称需要遵循命名规范,可参考 GooseFS 集群概述中的描述。
集群描述:用于表述集群的属性、用途等信息。
集群类别:集群不同类型或应用场景。分为腾讯公有云集群和 IDC 云集群。
地域:集群所在地域,一般跟计算业务所在集群的域一致。
可用区:集群所在的可用区,一般跟计算集群同 AZ。
所属 VPC:集群所在的 VPC,一般跟计算集群同 VPC,尽量避免跨 VPC 部署的情况。
所属子网:集群所在的子网。
集群标签:集群标签信息。
4. 集群资源用于配置 GooseFS 集群需要管理的缓存存储规模。
GooseFS 部署模式包括全托管、Master 托管、管控面托管三种模式。
全托管模式下,用户无需自行购买 Master 节点和 Worker 节点,所有节点均由腾讯云托管。腾讯云团队将负责集群的整体可用性和稳定性,确保用户可以专注于核心业务。
管控面托管模式下,GooseFS 的 Master 和 Worker 节点均需要由用户自己购买 CVM 实例作为节点。
下面以全托管集群为例创建集群:
全托管模式下用户只需要选择需要的实例容量(10TB-1000TB,步长10TB)。


5. 按需填入上述各项参数后,单击下一步,确认信息无误后,单击确定执行。
6. 进入集群创建流程,可在任务中心查看集群部署的详细进展。
步骤2:新增节点
1. 选择需要新增节点的 GooseFS 集群,进入集群详情页面,在侧边栏中选择节点管理选项,进入节点管理子页面。
2. 在节点管理页面,单击新增节点,填写如下参数。


实例类型:当前仅支持添加 CVM 实例。
节点类型:支持 Worker 节点和 Client 节点,全托管只支持 Client 节点。
节点 IP:选择需要添加的节点。
格式化挂载:用于格式化磁盘并进行文件系统挂载点。用户自选是否进行格式化挂载。如果不启用,那么在创建流程时不需要设置数据盘挂载选项,可手动或者使用脚本挂载;如果启用,那么需要填写设备名称,格式化系统,挂载点等参数。
设备名称:需要挂载的硬件设备,一般为特定的磁盘分区,需要登录到机器上查看,一般在/dev 路径下。
格式化系统:Linux 文件系统类型。
挂载点:文件系统挂载点。
3. 按需填入各项操作所需参数,确认无误后单击确定执行,即可新增节点。
步骤3:创建命名空间
GooseFS 通过命名空间组织和管理缓存数据。GooseFS 的命名空间是 GooseFS 集群访问数据的统一访问接口,可以挂载多种底层存储系统,包括对象存储 COS、云 HDFS 等。
1. 选择需要创建命名空间的 GooseFS 集群,进入集群详情页面,在侧边栏中选择命名空间选项,进入命名空间子页面。
2. 在命名空间页面,单击新增命名空间 ,填写如下字段。


存储桶来源:可选择本账号或其他账号的存储桶。注:选择其他账号存储桶请保证该账号有对应存储桶读写权限。
COS 存储桶:选择需要挂载的存储桶。
空间名称:命名空间的名称。
挂载范围:可选择整个存储桶/指定目录前缀。
UFS URI:用于访问和操作UFS文件系统中文件的地址。
读策略:用于管理从GooseFS读数据时,数据在GooseFS集群中的缓存策略。当前只支持 CACHE。
写策略:用于管理通过GooseFS写数据时,数据在GooseFS集群中的缓存策略。当前支持CACHE_THROUGH和THROUGH。
UFS 属性:用于设置访问底层存储的配置信息,如访问密钥等。
fs.cosn.bucket.region:所选存储桶地域,如ap-beijing。
fs.cosn.flush.enabled:是否启用数据刷新机制,默认为true。
fs.cosn.upload.part.size:分块上传的单个分片大小,默认为 8MB。
fs.cosn.userinfo.secretId:用于标识 API 调用者身份。一个 APPID 可以创建多个云 API 密钥。
fs.cosn.userinfo.secretKey:腾讯云账户的加密签名密钥,用于验证请求合法性。
注意:SecretId 和 SecretKey 合称为云 API 密钥,是用户访问腾讯云 API 进行身份验证时需要用到的安全凭证, 请在 访问管理 页面创建。在左侧导航栏选择访问密钥 > API 密钥管理,单击新建密钥获取。SecretKey 只能在新建密钥页面获取,请注意保存。


3. 按需填入各项操作所需参数,确认无误后单击确定执行, 即可创建命名空间。
步骤4:添加客户端
新增节点并创建命名空间后,需要给新增的节点添加 GooseFS-FUSE 客户端,访问命名空间。
1. 选择需要添加客户端的 GooseFS 集群,进入集群详情页面,在侧边栏中选择客户端管理选项,进入客户端管理子页面。
2. 在客户端管理页面中,进行新增客户端操作,用于在一个指定节点中部署 GooseFS 客户端,可选参数如下。


实例类型:当前仅支持添加 CVM 实例。
客户端类型:当前仅支持 FUSE 类型,有关 GooseFS FUSE 客户端介绍可参考 GooseFS FUSE 工具。
节点 IP:需要添加客户端的节点。
注意:
管控面托管和 Master 托管模式下,可以将客户端部署在 GooseFS 集群的 Worker 节点和 Client 节点上。
全托管模式下,只能将客户端部署在 GooseFS 集群的 Client 节点上。
挂载信息:用于添加本地文件系统挂载点,添加后用户可以通过客户端访问 GooseFS 上的缓存文件。可选参数如下:
本地挂载目录:FUSE 客户端本地挂载目录,用于访问 GooseFS 集群上的缓存文件,默认为/data/goosefs。
GooseFS 目录:GooseFS 文件系统目录,即 GooseFS 命名空间中的路径,例如/0-aaa-int-1250000000/data。若未指定,默认挂载命名空间根路径,例如/0-aaa-int-1250000000。
挂载参数:FUSE 客户端的挂载参数,默认挂载参数 allow_other 表示允许其他用户访问;direct_io 表示启用直接 I/O。更多参数可参考 FUSE 挂载参数列表。
批次并发度:控制同时执行的任务数(默认1),适用于批量批量挂载客户端。
批次失败策略:任务失败后策略,可选择继续执行或种植后续批次的执行。
3. 按需填入各项操作所需参数,确认无误后单击确定执行, 即可添加客户端。
步骤5:挂载验证
现在存储桶已经挂载到了对应的 Client 节点上,登录节点 CVM,进入节点本地挂载目录/data/goosefs,即可查看命名空间关联存储桶中的所有文件。

