展开

关键词

对比

FEATURES GAIA SIA STORJ IPFS HDFS Filecoin User controls where data is hosted 用户可以控制托管数据存的位置 √ √ √ Data Deleted data space is reclaimed回收已删除的数据空间 √ √ √ √ √ Data lookups have predictable performance数据查找具有可预测的性

25810

Cassandra

网上查了一下这个Cassandra的资料,找到一篇较详细的中文资料:Cassandra数据模型下面一段引自这篇文章:各种NoSQL数据库有很多,我最关注的还是BigTable类型,因为它是一个高可用可扩展的计算平台 NoSQL并不简单的理解为No SQL,其本质应该是No Relational,也就是说它不是基于关型的理论基础,而我们所有传的数据库都是基于这套理论而发展起来的,所以SQL并不是问题的关键所在, 而Friendfeed则是反其道而行之,利用关型数据库MySQL,采用了去关化的设计方法,去实现自己的KeyValue存。所以NoSQL的本质是No Relational。 在园子里发现老赵同志也在研究No SQL:MongoDB与Tokyo Tyrant性比较(1):基础CRU操作,从这篇文章回复中发现Inrie也在做相应的数据库选型,其中也提到了Cassandra,说实在的

57180
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Ceph介绍

    上一篇文章给大家简单介绍了GlusterFs(查看),今天再给大家来一个目前最流行的Ceph的介绍,Ceph是开一个开源的项目,它的创始人是Sage Weil,作为当时的博士论文一部,目前 Ceph已经得到很多厂商的支持,具有很好的生态,它同时具有自己的开源社区,活跃度极高。

    41420

    System||从Dubbo+Zookeeper开始实现

    键值存是很常见的中间件,例如Redis。专业的收口课要求我们以实现一个键值对存,并且除了Zookeeper和RPC框架之外不允许使用其他中间件。 如果使用Zookeeper来进行存,性会惨不忍睹。因此,现在的架构多以Zookeeper作为注册中心存metadata,涉及性的data自己处理。 需求规约基本架构我们的具有三个原语,实现最简单的APIREAD(key)PUT(key,value)DELETE(key,value)客户端对于Master请求应该根据key转发给对应的数据节点 相比于停机而言,我们的增加Data节点几乎毫无代价,可以平稳连续进行。 在这个中,最合理的锁显然是读写锁。zookeeper的临时顺序节点有效帮助。

    10540

    Go语言实现

    Distributed-Storage介绍:本项目是学习胡世杰作者的对象存课程的训练项目;使用说明:测试环境: go 1.10.4 ; Fedora 28; RabbitMQ 3.6.16包安装 , type: fanout创建超级用户 yaoxu yaoxu , 拥有最高权限请依次运行tools 中脚本:ip.sh : 配置虚拟IP 方便测试initenv.sh : tmp 文件中, 创建存文件 startenv.sh : 批量开启服务器关闭:stop.sh : 关掉所有的服务进器程实现功:REST 接口可扩展性、使用消息队列进行解耦GitHub地址:https:github.comyaowenxuDistributed-Storage

    12320

    2-1 文件存Ceph

    文件存Ceph1 文件存Ceph Ceph是一个一的,设计初衷是提供较好的性、可靠性和可扩展性。 高扩展性:Ceph本身并没有主控节点,扩展起来比较容易,并且理论上,它的性会随着磁盘数量的增加而线性增长。 特性丰富:Ceph支持三种调用接口:对象存,块存,文件挂载。三种方可以一同使用。 ,它规定了数据冗余的类型和对应的副本策略。 , 负责把对象存到本地文件, 必须要有一块独立的磁盘作为存。 1.3 Cephfs管理集群创建完后, 默认没有文件, 我们创建一个Cephfs可以支持对外访问的文件

    57510

    Ceph之CephFS文件

    本文参考http:docs.ceph.org.cnstartquick-cephfs1、添加元数据服务器至少需要一个元数据服务器才使用 CephFS ,执行下列命令创建元数据服务? 3、一个 Ceph 文件需要至少两个 RADOS 存池,一个用于数据、一个用于元数据创建cephfs_data_pool和 cephfs_meta_data_pool 两个 RADOS 存池ceph 8、可以在dashboard中查看cephfs文件状态信息 ??

    61710

    可靠性:量化估算

    一、引言 我们常常听到衡量好坏的两个指标:可用性和可靠性指标。 可用性指的是服务的可用性。 我们常说的数据可靠性11个9,在对象存中就意味着存一千亿个对象大概会有1个文件是不可读的。由此可见,数据可靠性指标给带来的挑战不言而喻。 其中,第1类的硬件故障中又以磁盘故障最为频繁,坏盘对于从事运维的同学来说再正常不过了。 因此,我们接下来从磁盘故障这个维度来尝试量化一下一个的数据可靠性。 为了对的数据可靠性作一个量化估算,进一步析得到影响存数据可靠性的因素主要有: N:磁盘的总数,可以很直观理解,磁盘的数量是和可靠性强相关,N的大小与数据的打散程度有很大关。 ,在当中比如对象存和文件存当中,还有一种方可以根据的可靠性和可用性进行调整CopySets的数量,就是在随机放置情况下,使用小文件合并成大文件的存策略,可以通过控制大文件的大小从而控制每个磁盘上大文件的数量

    21730

    可靠性:量化估算

    一、引言我们常常听到衡量好坏的两个指标:可用性和可靠性指标。可用性指的是服务的可用性。 我们常说的数据可靠性11个9,在对象存中就意味着存一千亿个对象大概会有1个文件是不可读的。由此可见,数据可靠性指标给带来的挑战不言而喻。 本文就重点来析一下的数据可靠性的量化模型。二、背景数据的重要性不必多说,基本上数据可以称得上是企业生命力的核心,是企业赖以生存的根本。 其中,第1类的硬件故障中又以磁盘故障最为频繁,坏盘对于从事运维的同学来说再正常不过了。因此,我们接下来从磁盘故障这个维度来尝试量化一下一个的数据可靠性。 为了对的数据可靠性作一个量化估算,进一步析得到影响存数据可靠性的因素主要有: N:磁盘的总数,可以很直观理解,磁盘的数量是和可靠性强相关,N的大小与数据的打散程度有很大关

    7910

    可靠性:量化估算

    一、引言我们常常听到衡量好坏的两个指标:可用性和可靠性指标。可用性指的是服务的可用性。 我们常说的数据可靠性11个9,在对象存中就意味着存一千亿个对象大概会有1个文件是不可读的。由此可见,数据可靠性指标给带来的挑战不言而喻。 其中,第1类的硬件故障中又以磁盘故障最为频繁,坏盘对于从事运维的同学来说再正常不过了。因此,我们接下来从磁盘故障这个维度来尝试量化一下一个的数据可靠性。 为了对的数据可靠性作一个量化估算,进一步析得到影响存数据可靠性的因素主要有:N:磁盘的总数,可以很直观理解,磁盘的数量是和可靠性强相关,N的大小与数据的打散程度有很大关。 ,在当中比如对象存和文件存当中,还有一种方可以根据的可靠性和可用性进行调整CopySets的数量,就是在随机放置情况下,使用小文件合并成大文件的存策略,可以通过控制大文件的大小从而控制每个磁盘上大文件的数量

    10620

    纠删码技术

    纠删码简介随着计算机技术和存技术的发展,数据正以爆炸的速度增长,海量数据对存提出了巨大的挑战。 为了保障存的CAP,Consistency(一致性)、 Availability(可用性)、Partition tolerance(区容错性),对于可用性来说常见的2种技术是多副本和纠删码,多副本就是把数据复制多份别存到不同地方以实现冗余备份 ,这种方法容错性较好但存利用率低,比较典型的3副本磁盘利用率仅33.33%,当数据量很大时,多副本带来巨大的额外存空间消耗,导致TCO居高不下。 目前,纠删码技术在中的应用主要有三类,阵列纠删码(Array Code: RAID5、RAID6等)、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity 20200706170655.pngReed-Solomon实现原理假设存由n块磁盘组成,我们将它为k个磁盘来保存数据,这样m=n-k个磁盘保存编码信息,别对数据进行编码,允许最多m个磁盘出现故障

    1.3K10

    随着互联网的发展,单一节点部署的方已经无法满足需求,需要通过增加节点来线性扩展的负载和性,因此架构也由原来的集中架构向架构转变。 主要由以下几个特征:性:节点在空间上任意对等性:节点没有主从之。 数据副本冗余数据,防止数据丢失,服务副本指多个节点提供相同服务,一个节点宕机,服务仍然可用并发性缺乏全局时钟:很难定义事件的先后顺序故障总是发生环境面临的主要问题:通信异常:需要各个节点之间相互通信 CAP和BASE理论为了构建一个兼顾可用性和一致性的,诞生了CAP和BASE理论。CAP理论CAP理论:一个不可同时满足一致性、可用性和区容错性,最多只满足两个。 在中,区容错性应该是必选的,然后再在一致性和可用性中寻求平衡。

    31820

    腾讯开源 DCache, NoSQL 存

    听说最近腾讯开源了一个 NoSQL 存 DCache,它的典型应用场景就在缓存。 是软件的一种架构模,在中,多个硬件或软件组件在不同计算机上,彼此之间通过消息传递进行通信,对外表现为一个整体,提供一化的服务。 有一种普遍的观点是,数据库 SQL 与之间存在天然对立性,山宝银的理解是:“因为数据散在不同的节点,所以像 SQL 的联表、事务等操作需要全局的锁保护,这样处理起来比较复杂,并且影响性 用武之地作为一个,DCache 的应用场景没有限制在缓存上,山宝银介绍,对于有高性 NoSQL 存需求的场景,都可以使用 DCache,而且因为 DCache 具备容量淘汰与过期自动清理数据的功 嘉宾介绍山宝银,腾讯后台高级工程师,专注于 NoSQL 存领域的技术研发工作,参与腾讯多个自研存的开发,在、高可用与高性服务等领域有较丰富的经验。?

    46620

    技术:存之数据库

    经常思考一个问题,为什么我们需要?很大程度或许是不得已而为之。如果摩尔定律不会失效,如果通过低成本的硬件就解决互联网日益增长的计算存需求,是不是我们也就不需要了。 列一:存之数据库篇 回看这几年,领域出现了很多新东西,特别是云和 AI 的崛起,让这个过去其实不太 sexy 的领域一下到了风口浪尖,在这期间诞生了很多新技术、新思想,让这个古老的领域重新焕发生机 站在 2010s 的尾巴上,我想跟大家一起聊聊令人振奋的进化路程,以及谈一些对 2020s 的大胆猜想。无论哪个时代,存都是一个重要的话题,今天先聊聊数据库。 作为一个工程师,我对任何不水平扩展的架构都会觉得不太优雅。 SQL数据库登上舞台ACID全面回归   回想几年前 NoSQL 最风光的时候,大家恨不得将一切都使用 NoSQL 改造,虽然易用性、扩展性和性都不错,但是多数 NoSQL 都抛弃掉了数据库最重要的一些东西

    54820

    FastDFS轻量级文件

    FastDFS是什么FastDFS是使用c语言编写的开源高性文件是由淘宝开发平台部资深架构师余庆开发,FastDFS孵化平台板块他对文件进行管理,功包括文件存,文件同步,文件访问等,解决了大容量存和负载均衡的问题特别适合文件载体的在线服务 即文件同步后,认为经过最大同步时间后,文件肯定存在文件创建时间同步延迟阀值,即经过同步延迟阀值,认为文件肯定同步了 新增storage server 组内新增一台storage server A时,由自动完成已有数据同步 FDFS_STORAGE_STATUS_ONLINE,否则tracker server将其状态设置为FDFS_STORAGE_STATUS_WAIT_SYNC, 进入第二步的处理.2.假设tracker server

    49810

    事务

    首先面对的问题是事务当我们采用来提高时,首先面对的问题是面对和处理事务。 处理数据:数据区:把数据块放在不同的服务器上,采用一致性hash;数据镜像:让所有服务器都有相同的数据,提供相同的服务;第一种问题,单台机器出现问题,会存在数据丢失的问题。 数据服务的高可用只通过第二种方完成数据冗余存。存节点越多,跨服务的事务数据一致性就越复杂。数据不丢失,通过冗余手段,数据的区都需要数据冗余处理。 这就是数据副本:出现某个节点的数据丢失时可以从副本读到,数据副本是解决数据丢失的唯一手段。 方:MS方,读写离,主从;MM方,多个主节点,都做读写;2PC3PC,阶段提交,每个节点都知道自己成功失败,无法知道其他节点状态,需要引入一个协调者一掌控所有节点的操作结果,最终指示节点是否把操作结果进行真正的提交

    40881

    DCache v1.0 发,基于 TARS 的 NoSQL 存

    作者 | 山宝银 编辑 | TARS小助手DCache是基于TARS框架的NoSQL存,数据基于内存存,同时提供持久化功,主要应用于缓存。 继2019年4月发体验版后,今天v1.0正版在github发,项目地址https:github.comTencentDCache本次发的v1.0正版具备了完善的运维功,极大提升了运维效率,用户可以轻松的在 web运维界面完成服务部署、扩缩容、服务迁移、批量发、批量停止重启、批量下线等操作,并对扩缩容、迁移、主备切换等操作进度进行类管理和展示。 另外,为了提升运维效率,DCache为常用的服务发、停止、重启、下线功提供了批量操作支持。 ▲ 图6 特性监控⑤其他优化和修复默认关闭主备自动切换功,用户可修改RouterServer配置文件开启该功;修复体验版web平台bug;修复RouterServer自动降级bug;优化特性监控功

    31320

    数据存kudu使用总结

    Kudu是Cloudera开源的新型列,专门为了对快速变化的数据进行快速的析。 在国内,小米和神策都已经采用了kudu。 我们使用了kudu 1.3.0版本存用户行为数据,现在已经使用了一段时间。 首先它的插入性还是不错的,设置足够的内存以后,插入速度轻轻松松就达到了百万条每秒。 查询速度还算中规中矩,用spark SQL或者impala在上面都有不错的查询速度,至少比hbase快多了,当然前提是要合理设置range区,让每次的查询进行提前剪枝。 当然在使用过程中遇到了几个小坑,希望大家够避免kudu有个设置项authn_token_validity_seconds,默认值是7天,也就是说它的client不保持长连接......我第一次看见数据库客户端不保持长连接的 tablet server并不会马上删除该表的所有tablet,而是在一段时间内删除,如果所有tablet完全删除之前创建一个同名的table,master和tablet server就会很长时间内不正常工作

    63290

    在CentOS 7上安装Ceph

    Sage Weil 读博士的时候开发了这套牛逼的,最初是奔着高性文件去的,结果云计算风口一来,Ceph 重心转向了块存(Block Storage)和对象存(Object Storage),现在文件 CephFS 还停在 beta 阶段。 Ceph 现在是云计算、虚拟机部署的最火开源存解决方案,据说有20%的 OpenStack 部署存用的都是 Ceph 的 block storage.Ceph 提供3种存:对象存,块存和文件 (包括 ceph-adm 哦)做一点基本配置,比如关闭 SELINUX、打开防火墙端口、同步时间等:在每台 osd 服务器上我们需要对10块 SAS 硬盘区、创建 xfs 文件;对2块用做 journal 的 SSD 硬盘5个区,每个区对应一块硬盘,不需要创建文件,留给 Ceph 自己处理。

    87570

    基于Raft构建大型

    但是呢,这些算法的潜力并不仅限于此,基于这样的一致性算法构建一个完整的可弹性伸缩的高可用的大规模存,是一个很新的课题,我结合我们这一年多以来在 TiKV 这样一个大规模数据库上的实践, 其实最近这两年也有很多的文章开始关注类似 Paxos 或者 Raft 这类的一致性算法,但是主要内容还是在介绍算法本身和日志复制,但是对于如何基于这样的一致性算法构建一个大规模的存介绍得并不多 先聊聊 Scale其实一个的核心无非两点,一个是 Sharding 策略,一个是元信息存,如何在 Sharding 的过程中保持业务的透明及一致性是一个拥有「弹性伸缩」力的存的关键。 但是,在一个大规模存上,这是一个很重要的事情,由于支持弹性伸缩的一般来说整个片数量,数据片的具体都是不固定的,会根据负载和容量进行自动均衡和扩展,人工手动维护主从关,数据故障恢复等操作在数据量及片数量巨大的情况下几乎是不可完成的任务 总结构建健壮的是非常复杂的。我享了一些基于Raft共识算法构建大型的关键设计思想。如果你对我们如何实现TiKV感兴趣,欢迎你深入阅读我们的TiKV源代码和TiKV文档。

    83730

    相关产品

    • TDSQL PostgreSQL 版

      TDSQL PostgreSQL 版

      TDSQL PostgreSQL版是腾讯自主研发的分布式数据库系统。集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身。采用no sharding 的集群架构,提供容灾、备份、恢复的能力。并完整兼容PostgreSQL与Oracle数据库。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券