基于腾讯云COS对象存储的文件存储网关部署 单目录挂载1PB!

一、方案目的介绍

  • 目标客户群体:企业文件共享,大数据企业等使用内部文件服务实现云端灾备服务,实现目录挂载1PB
  • 方案目标:实现企业云端或本地文件服务器的云端海量数据存储和备份,支持热点数据实时调备
  • 使用产品:腾讯云COS对象存储、4核8G云服务器CVM、1核1G测试机CVM、10G云盘、30G云盘

二、技术架构

腾讯云COS文件储网关架构

三、方案部署

1.登陆腾讯云控制台,创建存COS对象存储桶

2.创建腾讯云主机

注:建议用4核8G内存配置以上的云主机配置

2.1选择创建与存储桶相同可用区下的云主机

2.2为云主机安装云市场中的“文件存储网关”镜像

2.3为云主机配置至少两块云数据盘(这里我添加了10G和30G的云盘)

注:存储网关有缓存盘和元数据存储盘,元数据存储盘至少要比缓存盘大1.5倍

2.4配置放通端口安全策略(仅限共享传输协议端口)

注:此处必须放通这些端口的安全策略,否则后面是挂在不上NFS的

最终配置结果:

2.5登陆存储网关云主机的登陆账号

账户:csguser 密码:csg123

3.创建激活文件存储网关,关联存储桶。

3.1创建存储网关

注:这里可以填写公网或者内网IP;

3.2设置缓存的两块云盘

另外设置两块硬盘时记住,元数据存储盘比缓存盘大1.5倍(该处一次性设置不可更改的)

3.3创建文件系统关联COS对象存储桶

4.创建一台测试的云主机,系统盘50G,CenterOS7.5系统。

5.挂在NFS文件存储网关

5.1在测试云主机上安装NFS-util

Yum –y install nfs-utils ##安装挂载软件需求包

5.2挂在NFS存储网关

mout –t nfs 【共享存储路径】 【挂载路径】 ##挂载命令

df -h ##查看挂载命令

注:本次可以看到挂载的是1PB大小的一个存储桶。

6.测试验证。

上传一个视频文件到云主机,然后再将该文件移动到nfs挂载目录中

移动&查看

7.总结:

本次测试是基于腾讯云的-COS对象存储网关部署实践,是想拓展腾讯云COS对象存储+云主机CVM的共享存储解决方案实践,

(1) 存储资源分配、海量存储

(2) 冷热数据分离、备份及归档

(3) 灾难恢复、数据处理及分发

8.实践问题汇总:

(1)配置存储网关的配置至少要4核8G,1核1G带不动

(2)安装存储网关时至少需要两块云盘,并且元数据存储盘比缓存盘大1.5倍。

(3)存储网关在云上共享的是10.0.0.0内网地址,不能挂在本地的IDC电脑上,只能挂在相同可用区的云主机上,或者VPC内网中。

(4)存储网关的安全策略一定要放通以下共享协议端口,自己是全放通才执行成功。

22、80、3260、111、562、892、2049、8082、32803、662、32769等

(具体参考官网文档https://cloud.tencent.com/document/product/581/12274)

注:原理详解参考链接https://cloud.tencent.com/developer/article/1075806

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python攻城狮

GitHub 系列之「团队合作利器 Branch」1.什么是分支?2.分支的常用操作3.基本的团队协作流程4.Git Flow

Git 相比于 SVN 最强大的一个地方就在于「分支」,Git 的分支操作简直不要太方便,而实际项目开发中团队合作最依赖的莫过于分支了,关于分支前面的系列也提到...

831
来自专栏娱乐心理测试

小程序开发者调试工具使用说明

微信开发者工作是微信官方提供的针对微信小程序的开发工具,集中了开发,调试,预览,上传等功能。微信团队发布了微信小程序开发者工具、微信小程序开发文档和微信小程序设...

5703
来自专栏架构师小秘圈

大型网站图片服务器架构的演进

作者:丁浪,非著名架构师。关注高并发、高可用的架构设计,对系统服务化、分库分表、性能调优等方面有深入研究和丰富实践经验。热衷于技术研究和分享。 声明:版权归丁浪...

7814
来自专栏程序员互动联盟

【答疑解惑第九讲】如何在linux下面编译一个简单的c语言程序

存在问题: 习惯了用IDE,习惯了点击执行按钮。在linux就不能这样了,该咋办? 解决方案: 随着android的大热,在linux下搞开发的人也越来越多,好...

38111
来自专栏Python中文社区

构建一个pip安装的车辆路径显示的Python包

專 欄 ❈treelake,Python中文社区专栏作者。 简书: http://www.jianshu.com/u/66f24f2c0f36 ❈ 最近有一些...

24410
来自专栏xingoo, 一个梦想做发明家的程序员

安装nodejs

NodeJS现在也是很火的一门技术,使得javascript跻身到服务器端的行列。 为了使用一款轻量级的httpserver,只好安装了nodejs,其实平...

3677
来自专栏大数据实战演练

Linux NTP时钟同步

时钟同步在大数据方向,用到的地方很多。举个例子来说吧,像Zookeeper、RegionServer服务都是需要实时和各节点进行通信的。假如各节点差超过30s,...

5042
来自专栏java思维导图

从一笔金币充值去思考分布式事务

考虑支付重构的时候,自然想到原本属于一个本地事务中的处理,现在要跨应用了要怎么处理。拿充值订单举个栗子吧,假设:原本订单模块和账户模块是放在一起的,现在需要做服...

944
来自专栏Java架构沉思录

从一笔金币充值去思考分布式事务

考虑支付重构的时候,自然想到原本属于一个本地事务中的处理,现在要跨应用了要怎么处理。拿充值订单举个栗子吧,假设:原本订单模块和账户模块是放在一起的,现在需要做服...

1113
来自专栏格子的个人博客

XenServer 7.3安装和使用教程

最近整个人又进入了一种小忙碌的状态,朝九晚六,看看书,打打游戏,也不算瞎忙。 忙碌内容涉及服务器虚拟化的东西比较多,虽然对于有经验的人来说,都不是难事儿,但是...

1203

扫码关注云+社区

领取腾讯云代金券