展开

关键词

ceph -块(RBD)搭

管理池1.1 池PG数量的预估 集群中单个池的PG数计算公如下:PG 总数 = (OSD 数 * 100) 最大副本数 池数 (结果必须舍入到最接近2的N次幂的值)#ceph osd pool-name} {pg-num} $ ceph osd pool create test_pool 512 512 replicatedpool test_pool created1.2 删除池 ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-itpool test_pool removed1.3 重命名池 管理块设备镜像2.1 块设备镜像#rbd create --size {megabytes} {pool-name}{image-name},如果pool_name不指定,则默认的pool是rbd。 下面的命令将一个10GB大小的块设备: $ rbd create --size 10240 test_image -p test_pool2.2 删除块设备镜像#rbd rm {pool-name}

65820

ceph -文件(CephFS)搭

元数据服务器1.1 安装mdsPG数量的预估 集群中单个池的PG数计算公如下:PG 总数 = (OSD 数 * 100) 最大副本数 池数 (结果必须舍入到最接近2的N次幂的值)#ceph-deploy 池2.1 池数据#ceph osd pool create cephfs_data $ ceph osd pool create cephfs_data 128pool cephfs_data created2.2 池元数据#ceph osd pool create cephfs_metadata $ ceph osd pool create cephfs_data 128pool cephfs_metadata created2.3 查看池$ ceph osd lspools1 rbd,2 test_data,3 test_metadata,5 test,6 benmark_test 用户空间挂载ceph文件系统6.1 安装ceph-fuse$ yum install ceph-fuse6.2 目录$ sudo mkdir mntmycephfs-fuse6.3 用户#ceph

43730
  • 广告
    关闭

    对象存储COS专场特惠,1元礼包限时抢

    一站式解决数据备份、共享、大数据处理、线上数据托管的云端存储服务,新用户享四重好礼

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ceph-对象(RGW)搭

    相关软件包1.1 安装软件包PG数量的预估 集群中单个池的PG数计算公如下:PG 总数 = (OSD 数 * 100) 最大副本数 池数 (结果必须舍入到最接近2的N次幂的值)#在管理节点的工作目录下 S3用户4.1 S3用户#想正常的访问RGW,需要相应的RGW用户,并赋予相应的权限,radosgw-admin命令实现了这些功能。 #一个名为testuser的用户 $ radosgw-admin user create --uid=testuser --display-name=First User2017-11-15 15: swift -K {swift_secret_key} list` `#替换{IP ADDRESS}、{port}、{swift_secret_key}等相关参数,其中{swift_secret_key}为

    66320

    longhorn

    1 简介Longhorn是用于Kubernetes的开源系统; 如今,基于云和容器的部署规模日益扩大,系统也正变得越来越复杂,单个控制器上的volume数量在不断增加。 2000年代初,控制器上的volume数量只有几十个,但现代云环境却需要数万到数百万的卷。控制器变成了高度复杂的系统。 本身比其他形(如文件系统)更简单。无论系统中有多少volume,每个volume只能由单个主机进行装载。 replica是在底层磁盘或网络上精简配置的。为每个volume一个专用的控制器:这可能是与大多数现有的系统相比,Longhorn最具特色的功能。 大多数现有的系统通常采用复杂的控制器软件来服务于从数百到数百万不等的volume。

    5010

    DCache 系统|List 缓模块的与使用

    List 模块简介 List 缓模块获取 DCache 接口文件服务代理调用 List 缓模块服务List 模块读写操作实例其它 List 缓模块服务接口总结DCache 是一个基于 TARS 框架开发的 NoSQL 系统,支持多种数据结构,包括了 key-value(键值对),k-k-row(多键值),list(列表),set(集合),zset(有序集合)等,满足多种业务需求 前面的文章我们已经介绍过缓模块的,各类型缓模块流程是相似的,这部不再赘述过程类似,这里命名为 TestDemoList,cache 类型 选择 List(MKVCache)?? 前面的文章中我们提到过,一个应用后会自动一个路由服务和代理服务,并通过 TestDemo 介绍了如何服务代理来调用服务。 通过 TestDemo 代理服务的代理对象和模块名 TestDemoList,我们就能够调用前面的 List 缓模块的接口了。本部将通过简单示例,介绍 list 类型缓模块部接口的使用。

    12210

    DCache 系统|安装部署与应用

    随着微服务与云的发展,架构的需求变得越来越普遍,Web 上的数据类型不再单一,数据量呈爆发增长。传统的 SQL 结构化方案已经跟不上脚步, NoSQL 便出现了。 DCache 作为基于 TARS 的 NoSQL 缓系统,完美支持 TARS 服务,能够方便地在 TARS 服务中使用,本系列文章将着重介绍 DCache 的安装与使用。 为了解决这一问题,NoSQL 数据库诞生了,它通过将数据缓到内中,使用时直接从内中调用,大大减少磁盘 IO 的开销,提升查询效率,与结合还能够实现海量数据的处理。 DCacheDCache 是一个基于 TARS 框架开发的 NoSQL 系统,数据采用内,同时支持连接后端 DB 实现数据持久化,结合了 NoSQL 和 SQL 的优势,具备以下特点高性能引擎 TARS 可以在考虑到易用性和高性能的同时快速构系统并自动生成代码,帮助开发人员和企业以微服务的方快速构自己稳定可靠的应用,从而令开发人员只关注业务逻辑,提高运营效率。

    25040

    Ceph之对象

    4、为S3访问新一个RADOSGW用户为了使用 REST 接口, 首先需要为 S3 接口初始化一个 Ceph 对象网关用户. 然后为 Swift 接口新一个子用户. sudo radosgw-admin user create --uid=yuanfan2020 --display-name=yuanfan2012 test 5、一个SWIFT用户如果要通过 Swift 访问,必须一个 Swift 子用户。需要两步完成,第一步是用户,第二步密钥。 在 gateway host 主机上进行如下操作:1) Swift 用户:sudo radosgw-admin subuser create --uid=yuanfan2020 --subuser= 2)用户的密钥:sudo radosgw-admin key create --subuser=yuanfan2020:swift --key-type=swift --gen-secret?

    39230

    DCache 系统|Key-Value 缓模块的与使用

    随着微服务与云的发展,架构的需求变得越来越普遍,传统的 SQL 结构化方案已经跟不上脚步,于是 NoSQL 出现了。 DCache 作为基于 TARS 的 NoSQL 缓系统,完美支持 TARS 服务。 DCache 是一个基于 TARS 框架开发的 NoSQL 系统,支持多种数据结构,包括了 key-value(键值对),k-k-row(多键值),list(列表),set(集合),zset( 每个缓模块支持一种缓数据结构,通过在一个应用中多个不同数据结构的缓模块,能够实现多种数据类型的,满足多种需求。本文将介绍如何 KV 模块,其他数据类型相关内容将在之后的文章中享。 确认好已配置信息后,点击 安装发 即可完成发。到这里,我们就可以在其它服务中使用该缓模块来缓 Key-Value 数据了。总体来说,模块的过程为三步:模块、模块配置和服务配置。

    17820

    DCache 系统|Set, ZSet 缓模块的与使用

    TARS 框架开发的 NoSQL 系统,支持多种数据结构,包括了 key-value(键值对),k-k-row(多键值),list(列表),set(集合),zset(有序集合)等,满足多种业务需求 同样地,与其它模块相似,使用 set 和 zset 缓服务的步骤如下 SetZSet 缓模块获取 DCache 接口文件服务代理调用 SetZSet 缓模块服务接下来将继续基于 TestDemo 介绍如何和使用 SetZSet 缓模块。 image.png 前面的文章我们已经介绍过缓模块的,各类型缓模块流程是相似的。 还不了解的朋友请移步DCache 系统|Key-Value 缓模块的与使用 image.png 本部将通过简单示例,介绍 set 和 zset 类型缓模块部接口的使用。

    14840

    Ceph(一)

    2.网络文件系统----做远程共享 非 nfs 网络文件系统--称之为nas(网络附加 hdfs 网络文件系统 glusterfs 网络文件系统,不需要管理服务器 ceph 网络文件系统,块,对象 #文件系统特点 1.共享的是文件系统。 1.不一定是对象,所有的对象一定是 2.文件系统的元数据服务器的各个数据的位置信息 3.对象服务的的元数据服务器的是数据的属性信息 ​ ​ 非文件系统 ; ​ 低成本 系统的自动容错、自动负载均衡机制使其可以构在普通的PC机之上。 ​ 、的对象

    12020

    CentOS7下搭ScaleIO集群

    ScaleIO是EMC SDS软件定义的一套解决方案,利用企业现有服务器打造共享的块架构,提高企业资源利用效率,并满足企业IT的可扩展性和容量需求。 通过使用ScaleIO立起的横向扩展server SAN架构,可让企业从数台服务器到数千台服务器拥有线性能力的增长。 1、下载ScaleIO CentOS7相关rpm包 http:ftp.ufanet.rupubscaleioRH2.5.0.254RHEL72、准备三台CentOS7的机器用于搭集群 IP及主机名如下 datascaleioexport GATEWAY_ADMIN_PASSWORD=123456rpm -ivh datascaleioEMC-ScaleIO-gateway-2.5-0.254.x86_64.rpm 5、向导安装部署 ScaleIO集群 登录node1,用户名admin,密码为GATEWAY_ADMIN_PASSWORD 123456使用导入csv方添加节点,csv模板数据如下 开始安装部署集群 查看集群部署安装情况

    34372

    05-传统对比

    传统经过这些年的发展,目前已经进入逐步沦落为烂大街的现象;而这几年在如火如荼的发展中,尤其是在X86服务器作为硬件的事实标准下大大降低了的准入门槛,引发了无数的新兴业公司涌入领域 ,逼迫传统厂商不得不做出一些变革和技术新。 4-5年的时候厂家停止维保,生命周期周期结束)3)生命周期结束之前1年,客户要进行新采购和数据迁移4)容量和性能水平扩展性有限5)数据迁移期间业务有感知,各种协调业务 2.的优点1)硬件标准化 ,和传统一样价格高昂;反正都是价格高昂,但是可以避免后面一系列的因为产品寿命到期替换折腾。 2)贵是贵在软件上;传统不仅软件贵,硬件也同样贵3)特指产品的架构,可以scale-out4)完全可以满足各种业务场景(如数据库、海量文件等) ?

    75520

    DCache 系统|K-K-Row 缓模块的与使用

    随着微服务与云的发展,架构的需求变得越来越普遍,传统的 SQL 结构化方案已经跟不上脚步,于是 NoSQL 出现了。 DCache 作为基于 TARS 的 NoSQL 缓系统,完美支持 TARS 服务。 是一个基于 TARS 框架开发的 NoSQL 系统,支持多种数据结构,包括了 key-value(键值对),k-k-row(多键值),list(列表),set(集合),zset(有序集合)等 我们在文章 Key-Value 缓模块的与使用中介绍了 key-value 类型的使用,也提到了其在结构化数据上的缺点。而 k-k-row 类型就是一种结构化方案。 在文章 Key-Value 缓模块的与使用 中,我们已经介绍过如何 Key-Value 缓模块,各类型缓模块流程是相似的,这部不再赘述,仅介绍不同的部

    17620

    K8s 上的集群搭(Rookceph)

    本篇文章将手把手带你在 K8s 上搭集群(Rookceph)1 环境准备 1.1 基础环境3台配置一致的虚拟机:虚拟机配置:4c 8g虚拟机操作系统:cents7硬盘:vda:40G vdb ,要使用单独的裸盘进行,也就是一个新的磁盘,挂载到宿主机,不进行格化,直接使用即可。 Rook本身并不是一个系统,而是利用 Kubernetes 平台的强大功能,通过 Kubernetes Operator 为每个提供商提供服务。 它是一个“编排器”,可以使用不同的后端(例如 Ceph、EdgeFS 等)执行繁重的管理工作,从而抽象出很多复杂性。Rook 将系统转变为自我管理、自我扩展、自我修复的服务。 目前主流使用的后端是Ceph ,Ceph 提供的不仅仅是块;它还提供与 S3Swift 兼容的对象文件系统。

    10930

    系统Cassandra

    网上查了一下这个Cassandra的资料,找到一篇较详细的中文资料:Cassandra数据模型下面一段引自这篇文章:各种NoSQL数据库有很多,我最关注的还是BigTable类型,因为它是一个高可用可扩展的计算平台 而Friendfeed则是反其道而行之,利用关系型数据库MySQL,采用了去关系化的设计方法,去实现自己的KeyValue。所以NoSQL的本质是No Relational。

    57180

    文件-FastDFS

    1.1 FastDFS简介1.1.1 FastDFS体系结构FastDFS是一个开源的轻量级文件系统,它对文件进行管理,功能包括:文件、文件同步、文件访问(文件上传、文件下载)等,解决了大容量和负载均衡的问题 FastDFS为互联网量身定制,充考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭一套高性能的文件服务器集群提供文件上传、下载等服务。 可以将storage称为服务器。?1.1.2 上传流程? 客户端上传文件后服务器将文件 ID 返回给客户端,此文件 ID 用于以后访问该文件的索引信息。 数据两级目录:storage 服务器在每个虚拟磁盘路径下的两级目录,用于数据文件。文件名:与文件上传时不同。 是由服务器根据特定信息生成,文件名包含:源服务器 IP 地址、文件时间戳、文件大小、随机数和文件拓展名等信息。

    29310

    Glusterfs部署

    GlusterFS卷: 在192.168.1.10操作(在其中一台服务器上即可),以下类型可选则适合自己环境的一种进行。 (1) 卷(distribute voulme),既DHT,是GlusterFS的默认模,在卷时,默认选项是卷。 在该模下,并没有对文件进行块处理,而是通过hash算法到所有brick server上,只是扩大了磁盘空间,类似window中的跨区卷 distribute voulme特点: 文件在不同的服务器 (2) 条带卷(stripe volume)条带模,既Striped,类似RADI 0,在该模下,根据偏移量将文件成N块(N个条带节点),轮询地在每个Brick Server节点。 先组成RAID1,然后组成RAID0 RAID 10(又叫RAID 1+0)特点: 先按RAID 0成两组,再别对两组按RAID 1方镜像 兼顾冗余(提供镜像)和性能(数据条带形)gluster

    29750

    是什么

    最近知乎上有个问题,是什么? 总的来说,我们理解一个概念时,总会试图找到某个角度,并在脑中立一个模型,以熟悉的模子去刻画他。下面以我一些浅薄的经验,从两方面来解释下:用户侧和实现侧。 因此在系统诞生之初,会寻求简化接口,以将精力放在处理系统的带来的复杂性上。 小结总结一下,从底层实现来看,将数据到多台机器上,并且解决可用性、可靠性和一致性等问题,近年来有很多实践经验,也慢慢沉淀出来了一些模。 以这些通用实现为底座,可以包装出不同的用户接口,比如文件系统,关系型数据库,对象等等,以满足不同用户海量数据的、查询、处理等多元需求。

    26931

    FastDFS 文件

    FastDFS 文件什么是FastDFS?FastDFS是一个开源的轻量级的文件系统。他解决了大量数据和负载均衡等问题。 FastDFS是一款开源的轻量级文件系统,他是由纯 C 实现,支持Linux,FreeBSD等UNIX系统类,不是通用的文件系统,只能通过专有的API访问,目前提供了C、Java和PHP API为互联网应用量身定做 ,解决大容量文件问题,追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair系统,称作文件服务更为合适。 为了避免单个目录下的文件数太多,在storage第一次启动时,会在每个数据目录里2级子目录,每级256个,一共65536个目录,新写的文件会以hash的方被路由到其中某个子目录下,然后将文件数据直接作为一个本地文件到该目录中 (如果当前storage同步到的时间戳为10,文件时间戳为8,说明这个文件已经被同步)4,文件时间戳 == storage 被同步到的时间戳,且(当前时间-文件时间戳) > 同步一个文件的最大时常

    97431

    SANServer的演进

    但随着视频等业务的出现,采用FC-SAN难以保证未来的可扩展性,开始出现了,而且将成为未来的趋势。 ? 一、传统的SAN架构在很多问题。 另外,传统的SAN无法很好的支持水平容量扩展,空间的上限永远是一个固定的值。 还有,SAN不同机头管辖内的很难实现共享,多机头管理复杂。 二、应运而生。 基于传统服务器,性价比高。 理论上没有性能瓶颈,数据1:3,可同时多台服务器同时读写操作。 扩容、删除节点非常简单。? 三、不同的使用场景使用不同的设备 我们没有强调比FC-SAN好。在实际使用场景中,议:低于100TB的数据直接使用FCSAN更便宜,而大容量可以直接采用。 这样的应用场景,原因是管理服务器的投入,并且1:3的多数据副本机制造成利用不高。而FCSAN采用一个机头、RAID5等机制保障安全。

    48330

    相关产品

    • 归档存储

      归档存储

      腾讯云归档存储(Cloud Archive Storage, CAS)是面向企业和个人开发者提供的低成本、高可靠且易于管理的云端离线存储服务,适用于海量、非结构化数据长时间备份,实现数据的容灾和c。归档存储采用分布式云端存储,您可以通过 RESTful API 对存储的数据进行访问。归档存储易于管理,您无需关心硬件维护及容量扩展;按实际使用量付费,为您节省额外成本。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券