创建网关

最近更新时间:2019-08-15 19:39:16

安装前注意事项

1.安装网关的机器可以是 CVM 主机,也可以是用户本地环境的 VMware 虚拟主机,主机配置需要满足如下要求:

网关类型 最低机器配置 推荐机器配置 磁盘配置
卷网关 4 核 CPU/8GB 内存/4Mbps 带宽 8 核 CPU/16GB 内存/10Mbps 带宽 最少 2 块 10G 以上磁盘
文件网关 4 核 CPU/4GB 内存/8Mbps 带宽 8 核 CPU/16GB 内存/120Mbps 带宽 最少 2 块 10G 以上磁盘
磁带网关 4 核 CPU/8GB 内存/4Mbps 带宽 8 核 CPU/16GB 内存/10Mbps 带宽 最少 2 块 10G 以上磁盘
高IO版网关(高速上传、适合于有专线连接的情况) 8 核 CPU/64GB 内存/400Mbps 带宽 - 无需配置磁盘
注意:

如果系统低于最低机器配置要求,存储网关可能无法正常运行。更多机器配置、磁盘及内存限制请参见 系统限制及注意事项

2.登录存储网关控制台的机器(发起激活)必须与安装存储网关的机器(被激活)可以网络互通(内网/外网均可);如果使用的是 CVM 部署 CSG, 请使用 CVM 的外网 IP 进行激活

3.为了可以正常激活以及保障存储网关的通讯,请为安装存储网关的机器开启下列要求的端口。

端口 协议 用途 开放建议
22 端口 TCP 使用该端口通过 SSH 访问并管理 CSG 主机 可以选择性对内部网络内的主机开放
80 端口 TCP 使用该端口激活网关 需要对 登录腾讯云控制台执行激活存储网关操作的主机 开放(如果是使用腾讯云 CVM ,只需要使用外网 IP 激活即可)
3260 端口 TCP 使用该端口连接卷 对需要挂载卷的客户端开放
111,662,892,2049,8082,32803 端口 TCP 使用该端口连接文件系统 对需要挂载文件系统的客户端开放
111,662,892,2049,32769 端口 UDP 使用该端口连接文件系统 对需要挂载文件系统的客户端开放

4.网络带宽设置

存储网关的带宽设置需要满足“每日可上传数据量” > “每日写入数据量”。 请根据您业务每天写入的数据量来为存储网关分配出口带宽及限速。例如,每日往存储网关 A 写入 500GB 数据,若全天不限速(上传时间为 24小时 X 60 分 X 60 秒),则最小出口带宽设置为50Mbps。

5.上传缓冲区与缓存区磁盘配置

a.上传缓冲区与缓存区(卷网关、磁带网关)

为保护您的读写操作正常运行,系统要求上传缓冲区与缓存区容量比例需要符合3:2的比例。

  • 当【缓存区:上传缓冲区 < 3:2】时,会导致系统无法正常工作,此时还需要用户继续添加缓存区的存储。
  • 当【缓存区:上传缓冲区 >= 3:2】时,系统会自动将两个区域的容量实际使用比例调节成 3:2。因此,若比例大于 3:2 时,缓存区会有部分容量空闲,此时您可以继续增加上传缓冲区来利用空闲的缓存区容量。
说明:

本地磁盘一旦设置用途后不允许更改(仅可新增或者删除)。若在本地磁盘列表中未找到自己的磁盘,请单击【刷新】按钮。

b. 缓存区与元数据磁盘配置(文件网关)

分别需要大于等于 10GB 即可。

开始部署网关

进入 CSG 控制台之后, 在列表左上角单击【创建网关】按钮,进入创建向导

选择地区

由于不同地区的网关跟云服务器之间无法之间互通,建议您根据业务主要分布的地区选择网关所在地区。单击【下一步】。

注意:

创建时,设置网关所在地区后将无法修改。

选择网关类型及网关性能

根据您的业务使用场景,在页面中选择 "卷网关" 或 "文件网关" 或者 "磁带网关"。

  • 卷网关:提供 iSCSI 访问接口,本地缓存频繁访问的热数据,全部数据存储于 COS。
  • 文件网关:提供 NFS v3.0 / v4.0 访问协议,通过文件网关访问存储在 COS 上的文件。
  • 磁带网关: 提供 iSCSI 访问接口,模拟虚拟磁带库(VTL),将归档存储作为最终的后端存储,为用户提供更持久、更低廉的存储。

选择网关运行的平台

网关支持运行于 VMware 及 CVM 的 Linux 下。如果您需要在本地环境中创建网关,请下载并部署网关 VM,然后激活网关。如果您需要在 CVM 实例上创建网关,请在 CVM 镜像市场中选中包含网关 VM 镜像并启动运行,然后激活网关。

在 VMware 上部署 CSG 网关

在当前页面下载带有 VM 镜像的压缩包。

将网关 VM 部署到 VMware 主机

  • 连接到您的管理程序主机
    通过 Windows 上的 VMware vSphere 客户端,输入该主机的 IP 和密码后登录。

  • 打开 OVF 模板部署向导
    在 vSphere 客户端的 "文件" 菜单上,单击【部署 OVF 模板】。

  • 选中网关镜像文件
    在 "源" 窗格中,选择刚刚解压后存储网关 CSG.ova 文件所在的路径,然后单击【下一步】。

  • 输入名称
    在 "名称和位置" 窗口中,输入 VM 的名称,然后单击【下一步】。

  • 设置数据存储
    当您的主机仅有一个数据存储时,则直接进入下一步。
    当您的主机有多个数据存储时,您需要在列表中选择要从中部署 VM 的数据存储,然后单击【下一步】。

  • 设置磁盘格式
    在磁盘格式设置窗口中,选择 "厚置备延迟置零" 或者 "厚置备置零",然后单击【下一步】。
    说明:设置厚置备格式为网关正常运行提供足够的磁盘。

  • 完成设置
    按照上述设置步骤,完成 VM 的配置。

注意:

为了防止来自公网的 iscsi 连接,建议网关所在机器将 22 端口及 80 端口全部开放,3260 端口只对内网 IP 开放。

设置 VM 时间、与主机时间同步

  • 在 vSphere 客户端中选择【编辑设置】,在 "选项" 选项卡中选择 "VMware Tools"。勾选 "同步客户机时间与主机时间" 选项。

  • 设置主机时间与 NTP 服务器同步。
    在【时间设置】中选择【属性】。

    在弹出的时间设置窗口中设置时间和日期。

    单击上面窗口的【选项】按钮,在弹窗中单击添加 NTP 服务器 IP 或 完整域名,您可以输入 pool.ntp.org 的域名。

    在【常规】单击【启动】按钮以启动服务,再单击【确认】。

为网关 VM 预配置本地磁盘存储

如果创建的是 卷网关 或者 磁带网关,则需要从本地磁盘、DAS 或 SAN 存储中为网关 VM 分配 "上传缓冲区" 及 "缓存" 磁盘。缓存区:上传缓冲区至少要达到3:2,否则网关将无法正常运行。

注意:

存储网关分配的上传网络带宽最少可使每天写入的数据顺利上传至云端。

  • 缓存:用于缓存频繁读取的热数据,由业务所需频繁读取数据量决定。例如,每天产生 100 GB 数据,一个月之内数据会频繁读写,一个月之前的数据很少读取。则用户需要准备 100 * 30GB, 约3TB的空间作为缓存区。

而缓存区容量更大,因此上传缓冲区为缓存区的2/3,即

缓存区= 3TB
上传缓冲区=缓存区(3TB)/1.5= 2TB

若创建的是文件网关,则需要从本地磁盘、DAS 或 SAN 存储中为网关 VM 分配 "缓存" 及 "元数据" 磁盘。

  • 缓存:用于存储待上传数据及经常访问的热数据。其中,为上传部分推荐容量为业务 "每日写入数据量" 的 120% 。例如,每日写入数据为 300GB ,则最小容量为 360 GB;而为热数据保留的缓存空间可以任意容量,如果期望提高读数据的性能,建议预留越多越好。>!存储网关分配的上传网络带宽最少可使每天写入的数据顺利上传至云端。

  • 元数据:用于存储文件的元数据信息存储,用户可以在本地更快的查询和搜索文件信息。每 1GB 存储空间可存储 10 万个文件元数据信息,而每块元数据磁盘中有 512MB 空间为作为系统预留。建议按照文件系统中预计文件数量的 1.2 倍配置元数据磁盘。请评估业务文件数量选择合适侧存储量。

    注意:

    元数据磁盘写满后,会导致文件无法正常访问,若存储使用率达到90%请及时添加磁盘。

请按照下列步骤为网关 VM 预配置本地磁盘。

  • 单击【编辑设置】按钮。

  • 在弹出窗口中,单击【添加】按钮,并选择 "硬盘"。

  • 在弹出窗口中,选择 "创建新的虚拟磁盘".

  • 设置磁盘大小(需要大于10 GB)和磁盘置备为 "厚置备延迟置零" 或者 "厚置备置零"。

  • 完成磁盘创建。

配置磁盘 ID

由于网关需要通过磁盘 ID 来挂载,还需要为上面步骤创建的磁盘添加 ID 信息。

  • 在 "选项" 选项卡中选择 "常规"。单击【同配置参数】按钮。

  • 在弹出的窗口内,单击【添加行】按钮。然后在增加的行内,名称栏填入 "disk.EnableUUID", 值栏填入 "true"。单击【确认】按钮,并退出。

在 CVM 上部署 CSG 网关

在创建网关的第三步,选择 "去 CVM 上部署"。从 CSG 控制台页面,跳转到 CVM 购买页。或者,也可以在 CVM 处直接创建新的主机。

选择 CVM 地域与机型

跳转到 CVM 购买页后,选择计费模式、地域、可用区、系列及机型。

注意:

部署网关的 CVM 可以与 CSG 分布在不同的地域,但是跨地域访问会产生相应的网络流量。同时,为了保证网关正常运行, 请根据本篇第一章要求选择合适的主机配置。若选择低于该配置的主机,存储网关将无法正常启动。

选择 CSG 镜像

若是从 CSG 的控制台跳转到 CVM 购买页,则此处仅需确认镜像为 CSG 镜像即可。

若是直接购买 CVM,则需要选择 "服务市场" 选项,在弹出的窗口中搜索 "存储网关" 并选择所需要的网关类型。
说明:CSG 镜像包含的系统为 CentOS 7.2 版本。

选择存储与网络

为存储网关配置存储及网络。在购买 CVM 流程中不用选择数据盘(数据盘设置为 0GB)

设置服务器相关信息并购买机器

为该存储网关设置主机名称及安全组。 端口开放需求请参考存储网关安全组要求,设置完成后确认购买机器。

说明:

处于安全原因考虑,运行存储网关的云服务器暂不提供 root 权限(即使此处配置了 root 也无效。请使用下面用户名/密码进行登录到存储网关主机并维护。

Username: csguser
Password: csg123

为服务器增加磁盘

购买完云服务器后,需要回到CVM 控制台。 在 CVM 控制台新建至少 2 块 10GB 以上的云硬盘并挂载到该主机上(网关正常运行至少需要 2 块以上磁盘,请根据业务需要选择缓存/上传缓冲磁盘/元数据磁盘大小,磁盘后期还可根据需要自行添加)。

注意:

为了保障卷网关、磁带网关的读写性能,缓存磁盘的容量必须为上传缓冲磁盘容量的 1.5 倍以上。


连接到网关

在网关控制台上输入网关所在主机 IP, 单击【连接到网关】,激活过程将网关与您的腾讯云账户关联。您的网关 VM 必须正在运行才能成功激活。

  • 网关运行于本地主机
    从网关 VM 本地控制台或管理程序客户端获取 IP 地址。

  • 网关运行在 CVM 实例上
    从腾讯云 CVM 控制台获取 IP 地址。

说明:

若激活失败,请检查您输入的 IP 地址是否正确。如果该 IP 地址正确,则请确认已将网络设置为”允许浏览器访问”。

激活网关

配置网关时区、填写网关名称及时区以激活网关。

对于卷网关,在此处可以选择数据写入模式,即,

  • 高速模式:数据先写入内存,然后从内存写入磁盘。说明:该模式数据写入速度较快,但如果遇到异常掉电等情况可能会造成内存中缓存数据丢失。

  • 稳定模式:数据直接写入磁盘。说明:该模式数据写入后稳定性高,异常掉电等情况也可以从磁盘中进行数据恢复。

如果创建的是磁带网关,在该步骤可以选择介质转换器及磁带驱动。注,暂时仅支持STK-L700及IBM-UTL3580.

配置本地磁盘并完成创建

卷网关及磁带网关磁盘配置

在获取本地磁盘信息后,请根据业务情况将各个磁盘分别设置为 "上传缓冲区" 或 "缓存"。设置完毕后,单击【完成】并退出网关创建向导。

说明:

说明:本地磁盘一旦设置用途后不允许更改(仅可新增或者删除)。若在本地磁盘列表中未找到自己的磁盘,请单击【刷新】按钮。

  • 上传缓冲区:用于存储待上传数据,推荐容量为业务 "每日写入数据量" 的120% 。例如,每日写入数据为 300GB ,则上传缓冲区容量为 360 GB。

    注意:

    存储网关分配的上传网络带宽最少可使每天写入的数据顺利上传至云端。

  • 缓存区:用于缓存频繁读取的热数据,由业务所需频繁读取数据量决定。例如,每天产生100GB数据,一个月之内数据会频繁读写,一个月之前的数据很少读取。则用户最少需要准备 100 * 30 GB, 约3TB的空间作为缓存区。

而缓存区容量更大,因此上传缓冲区为缓存区的 2/3 或更小,即

缓存区= 3TB
上传缓冲区=缓存区(3TB)/1.5= 2TB

注意:

网关正常运行,至少需要配置一个 "上传缓冲区" 和 一个 "缓存" 磁盘,且缓存磁盘容量必须是上传缓冲区容量的 1.5 倍及以上。 若您没有在创建时为网关分配本地磁盘,网关将处于 "待配置" 状态,需要等待配置本地磁盘后才能正常运行,请参照 管理磁盘配置 进行配置。

文件网关磁盘配置

在获取本地磁盘信息后,请根据业务情况将各个磁盘分别设置为 "缓存区" 和 "元数据"。设置完毕后,单击【完成】并退出网关创建向导。

说明:

说明:本地磁盘一旦设置用途后不允许更改(仅可新增或者删除)。若在本地磁盘列表中未找到自己的磁盘,请单击【刷新】按钮。

  • 缓存:用于存储待上传数据及经常访问的热数据。其中,为上传部分推荐容量为业务 "每日写入数据量" 的120% 。例如,每日写入数据为 300GB ,则最小容量为 360 GB;而为热数据保留的缓存空间可以任意容量,如果期望提高读数据的性能,建议预留越多越好。

    注意:

    存储网关分配的上传网络带宽最少可使每天写入的数据顺利上传至云端。

  • 元数据:用于存储文件的元数据信息存储,用户可以在本地更快的查询和搜索文件信息。每1GB存储空间可存储10万个文件元数据信息,而每块元数据磁盘中有512MB空间为作为系统预留。建议按照文件系统中预计文件数量的1.2倍配置元数据磁盘。请评估业务文件数量选择合适侧存储量。

    注意:

    元数据磁盘写满后,会导致文件无法正常访问,若存储使用率达到90%请及时添加磁盘。

注意:

网关正常运行,至少需要配置一个 "缓存区" 和 一个 "元数据" 磁盘。 若您没有在创建时为网关分配本地磁盘,网关将处于 "待配置" 状态,需要等待配置本地磁盘后才能正常运行,请参见 管理磁盘配置 进行配置。