前言: 本文是基于笔者个人的实践,不代表任何官方的观点。 超融合的概念,近两年确认非常火。实际上,超融合架构起初是受到 Google、Facebook 等大型互联网公司通过软件定义技术构建大规模数据中心的启发,结合虚拟化技术和企业IT的场景,为企业实现可扩展的 IT 基础架构。超融合的架构的基础是计算虚拟化、存储虚拟化再加上部分的网络虚拟化功能。很多公司有HCI的软件方案,比如VMware的vSphere+vSAN+vCenter有的公司还有HCI的一体机,比如华为的FusionStorag
GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。
# 1 启停和开机启动 systemctl start glusterd.service systemctl enable glusterd.service systemctl status glusterd.service #2 为存储池添加/移除服务器节点 gluster peer probe <SERVER> gluster peer detach <SERVER> 注意,移除节点时,需要提前将该节点上的Brick移除。 # 3查看所有节点的基本状态(不包括本节点): gluster peer
Glusterfs是一个开源的分布式文件系统,容量可以按比例的扩展,且性能却不会因此而降低。 廉价且使用简单,完全抽象在已有的文件系统之上。 扩展和容错设计的比较合理,复杂度较低 适应性强,部署方便,对环境依赖低,使用,调试和维护便利。
如下List-1所示三台机器,hostname分别是node1/node2/node3,之后将List-1的内容写入/etc/hosts
先说添加ovirt节点最近遇到了添加失败,ovirt engine上会显示installfailed,查看日志后发现,有下述信息
近两年,SDS挺火。做SDS的厂商也很多,如VMware的vSAN,Nutanix,传统存储厂商EMC也有自己的SDS产品。有调查机构显示,SDS在未来将超过传统存储,看起来SDS的前景还是光明的。
查看peer的情况,当前的glusterfs集群中,有当前节点和11、12三个节点组成。
集群使用三台服务器组成Glusterfs集群,其中两台服务器提供NFS和Rsync服务用于备份
在GFS Server Maseter节点(192.168.1.104)上执行命令:
正常的集群中可以通过gluster peer detach force强制踢出故障节点。
理论和实践上分析,GlusterFS 目前主要适用于大文件存储场景,对于小文件尤其是海量小文件,存储效率和访问性能都表现不佳。建议存放文件大小大于 1MB
GlusterFS 3.8版本是3.8.X系列的最初稳定版,该版本是一个长线稳定版(Long-Term-Stable versions),每个月都会更新,而且这些更新只会修复bug和提高稳定性,不会新增任何功能,这个版本可以安全地安装在生产环境中。
为了充分保证系统的稳定性和性能,要求所有glusterfs服务器硬件配置尽量一致,尤其是硬盘数量和大小。机器的RAID卡需要带电池,缓存越大,性能越好。一般情况下,建议做RAID10,如果出于空间要求的考虑,需要做RAID5,建议最好能有1-2块硬盘的热备盘。
声明 本文为笔者根据自身的项目经验,以及参考大量文档书写而成。文中提到很多厂商的解决方案和概念,第一不方案之间的优劣评判,第二不进行厂商间的相互攻击,第三文中仅代表个人观点,不代表任何厂商的官方立场。 目前业内主流的双活存储技术 双活这个概念,2013年前后比较火热,那时候笔者有幸参与了IBM的一些双活项目,如GPFS A-A,PowerHA/HyperSwap等。因此本文也是有感而发,经验之谈。 谈到双活,首先这是一个很宽泛的概念。广义上说,双活是两个或多个数据中心,每个都具有独立运行生产应用所需要的所有
1. 集群设计虚拟机容量70-100台,占用1个机柜,全部由1U服务器组成,其中存储服务器6台,300G*8,节点服务器10台;
分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源并不直接与本地节点相连,而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成,结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储数据时,服务器指引其将数据分散的存储到多个存储节点上,以提供更快的速度,更大的容量及更好的冗余特性。 目前流行的分布式文件系统有许多,如MooseFS、FastDFS、GlusterFS、Ceph、Mogile
Glusterfs 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller PHP 手札 Netkiller Python 手札 Netkiller Testing 手札 Netkiller Cryptography 手札 Netkiller Linux 手札 Netkiller Debian 手札 Netkiller CentOS 手札 Netkiller FreeBSD 手札 Netkiller
GlusterFS (Gluster File System) 是一个开源的分布式文件系统,主要由 Z RESEARCH公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS 借助 TCP/IP 或 InfiniBand RDMA 网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS 基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。
GlusterFS (Gluster File System) 是一个开源的分布式文件系统,主要由 Z RESEARCH 公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS 借助 TCP/IP 或 InfiniBand RDMA 网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS 基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。
术语简介 GlusterFS是一个开源的分布式文件系统。更多特性介绍附录的参考文档。 Brick:GFS中的存储单元,通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识,如'SERVER:EXPORT' Client: 挂载了GFS卷的设备 Extended Attributes:xattr是一个文件系统的特性,其支持用户或程序关联文件/目录和元数据。 FUSE:Filesystem Userspace是一个可加载的内核模块,其支持非特权用户创建自己的文件系统而不需要修改内核代码。
之前已经简单地对GlusterFS分布式文件系统做了介绍,下面就该环境部署做一记录: 0)环境准备 GlusterFS至少需要两台服务器搭建,服务器配置最好相同,每个服务器两块磁盘,一块是用于安装系统,一块是用于GlusterFS。 192.168.10.239 GlusterFS-master(主节点) Centos7.4 192.168.10.212 GlusterFS-slave (从节点) Centos7.4 192.168.10.213 Client
说明 涉及到的参数依据每个服务器的配置而不同,请参照服务器配置来设定关于内核和glusterfs的性能参数 volume信息 $ gluster volume info Volume Name: dht-vol Type: Distribute Volume ID: dd150400-ef24-4b7a-bb11-93092e7c4100 Status: Started Snapshot Count: 0 Number of Bricks: 3 Transport-type: tcp Bricks: B
前言: 谈到U2L,顾名思义,就是UNIX to X86Linux。那么,我们为什么要做这件事呢?技术考量?成本考量?还是别的因素。本文将为您进行详细讲述。 谈到U2L,顾名思义,就是UNIX
glusterfs可以动态的增加副本,但是由于采用的hash方式动态计算出的数据存储位置,因而新增加的副本并不会有数据,需要手动执行磁盘数据平衡才行
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源并不直接与本地节点相连,而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成,结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储数据时,服务器指引其将数据分散的存储到多个存储节点上,以提供更快的速度,更大的容量及更好的冗余特性;
前面已经介绍了GlusterFS分布式存储集群环境部署记录,现在模拟下更换故障Brick的操作: 1)GlusterFS集群系统一共有4个节点,集群信息如下: 分别在各个节点上配置hosts、同步好系统时间,关闭防火墙和selinux [root@GlusterFS-slave data]# cat /etc/hosts 192.168.10.239 GlusterFS-master 192.168.10.212 GlusterFS-slave 192.168.10.204 GlusterFS-sla
GlusterFS 是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数据方面有强大的横向扩展能力。GlusterFS主要由存储服务器、客户端及NFS/Samba存储网关(可选组件)组成。GlusterFS架构中最大的设计特点是没有元数据服务器组件,也就是说没有主/从服务器之分,每一个节点都可以是主服务器。 . 1、Gluster相关参考文档如下(我下面的配置是基于本地yum配置的,若需要搭建最新版本,可直接按照下面的文档链接进行配置): . Gluster官网 :https://wiki.centos.org/SpecialInterestGroup/Storage/gluster-Quickstart 基于centos7/Redhat安装Gluster官方文档:https://blog.csdn.net/daydayup_gzm/article/details/52748812 . 2、 GlusterFS相关术语: .
https://github.com/kubernetes/kubernetes/tree/master/examples/volumes
GlusterFS是一个网络文件系统,能够处理数PB的数据和数千个用户。 对于数据中心Linux服务器,GlusterFS可能是本地存储所需的文件系统。
GlusterFS是一种分布式文件系统,项目中使用它作为数据文件冷备存储后台。GlusterFS的技术特点是采用无元数据中心的架构,采用Xlator以调用栈的形式组织各功能模块,Xlator之间通过RPC进行通信,客户端与服务端共用某些Xlator,下图就是Gluster客户端与服务端的Xlator栈示意图。
注:使用源码安装的原因主要是使用yum安装glusterfs服务端时出现一些依赖库问题
接着上一篇Centos7下GlusterFS分布式存储集群环境部署记录文档,继续做一些补充记录,希望能加深对GlusterFS存储操作的理解和熟悉度。 ========================清理glusterfs存储环境========================= 由上面可知,该glusterfs存储集群有四个节点: [root@GlusterFS-master ~]# cat /etc/hosts ....... 192.168.10.239 GlusterFS-master 192.1
最小化安装的CentOS 7.5 内存大于1GB 关闭selinux,防火墙端口放行(port:24007,111)(测试建议关闭firewalld) 一、环境部署 所有软件包离线安装,原因是yum安装的不能很好的控制版,用到的软件包统一放到/gfs目录,包已整理好 测试用的磁盘分配以及服务器架构图 📷 basic代表服务器本来使用的磁盘,基础上再添加上图相应的磁盘,由于是测试用,为方便直观理解,磁盘大小就是后面的数字:如sdb3,该磁盘大小为3GB。 卷的分布方案 卷名称 卷类型 空间大小
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源并不直接与本地节点相连,而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成,结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储数据时,服务器指引其将数据分散的存储到多个存储节点上,以提供更快的速度,更大的容量及更好的冗余特性;
针对很多客户关注的KVM虚拟化方案,笔者应邀,针对金融行业一些关注KVM虚拟化方案的客户进行了讲解。为了使由于各种原因没能参加课堂的朋友也能了解到讲解的内容,笔者特将讲解过程中的内容录成了视频,以便大
Linux.com和The New Stack曾联合起来做过一项调查:你认为的最受欢迎的开源云项目是哪些?调查涵盖了hypervisors、IaaS、PaaS、管理和服务开通和其它类别的开源项目。
k8s中部署有状态应用等需要持久化数据的应用,必不可少得用存储,k8s支持很多中存储方案,我司目前使用的存储有glusterfs(分为容器化和裸机方式)、nfs供应用选用,本次就简单实战下glusterfs配合k8s做数据存储。
glusterfs01和glusterfs02 组成分布式 glusterfs03和glusterfs04 组成分布式 glusterfs05和glusterfs06 组成分布式 然后在组成镜像
工作中经常发现公司机房里有些服务器上的硬盘空间不足,但还存在一些服务器上有很多空余空间,所以一直在想如何高效利用这些硬盘空间的问题。最初的解决方案是NFS,即在有空余空间的服务器上开启NFS服务器,然后需要硬盘空间的服务器通过NFS挂载过去。用过一段时间后发现存在以下问题: 有空余空间的服务器数量还很多,得作好记录哪个服务器由于什么用途export了哪些目录出去了,export的目录被谁挂载了。 NFS文件共享方式不存在数据冗余存储,主要依靠底层的存储技术如RAID来保证数据的安全。 后来在深度实践KVM这
我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。把这多台存储服务器的存储合起来做成一个整体再通过网络进行远程共享,共享的方式有目录(文件存储),块设备(块存储),对象网关或者说一个程序接口(对象存储)。
本文将详细介绍相关技术栈的构成组件,包括 HAProxy、Corosync、Pacemaker、dnsmasq、cloud-init、LVM、Gluster、Docker 等概念。
添加hosts文件,其实通过IP地址也能做集群,但是不建议这种方式,因为我们通过域名你就是替换节点ip地址只要是域名不变,我们的glusterfs集群还能使用
版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。 https://blog.csdn.net/wh211212/article/details/79412081
分布式存储 环境 系统 主机 ip 角色 存储 配置 Centos7.7 node1 192.168.150.61 存储节点 两块硬盘分别50G,10G 联网状态,拥有所有主机的hosts记录,关闭防火墙selinux Centos7.7 node2 192.168.150.62 存储节点 两块硬盘分别50G,10
检查硬盘是否有故障 smartctl -H /dev/sdm1 查看进程文件描述符 # ps -ef|grep 169810 root 107496 175632 0 16:21 pts/
Sonar可以从以下七个维度检测代码质量,而作为开发人员至少需要处理前5种代码质量问题。
使用glusterfs做持久化存储 我们复用kubernetes的三台主机做glusterfs存储。 以下步骤参考自:https://www.xf80.com/2017/04/21/kubernetes-glusterfs/ 安装glusterfs 我们直接在物理机上使用yum安装,如果你选择在kubernetes上安装,请参考:https://github.com/gluster/gluster-kubernetes/blob/master/docs/setup-guide.md # 先安装 gluste
qemu-kvm 该软件包主要包含KVM内核模块和基于KVM重构后的QEMU模拟器。KVM模块作为整个虚拟化环境的核心工作在系统空间,负责CPU和内存的调度。QEMU作为模拟器工作在用户空间,负责虚拟机I/O模拟。 依赖包qemu-img 主要用来QEMU磁盘镜像的管理,如新建一块磁盘镜像给虚拟机。
此文档主要说明怎样基于GitLab进行持续集成和持续交付,该持续集成与交付集成了gitlab-runner 、mvnw、Docker、harbor、k8s等技术,同时展示了在k8s平台利用EFK(elasticsearch,fluentd,kibana)技术完成了集群统一日志管理,使用kube-prometheus技术进行集群实时监控以及kube-dashboard管理集群中的应用部署,为了不引入网络问题,本环境的相关VPC机器已经关闭了本机防火墙。
领取专属 10元无门槛券
手把手带您无忧上云