首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

资格门在获得Beta及其他方面的作用

这篇文章我们来讨论,为每个主要里程碑建立的非常重要的资格门:Pioneer 1(beta 1),Pioneer 2(beta 2)和VoyagerVoyager(production)。看看官方在满足这些大门方面的立场。下面为官方说法!

No.1

背景

我们与Tardigrade的目标雄心勃勃:我们的目标是提供第一个真正的企业级,分散式云存储服务。这意味着我们不仅要提供分散的安全性,规模和隐私承诺,还必须提供企业级的持久性,可用性,性能和支持。这也必须衡量或与成熟的云服务提供商相媲美 - 我们的目标也只是其价格的一小部分。我们还需要为我们庞大且不断增长的存储节点运营网络,开源合作伙伴和需求方合作伙伴提供适当的经济支持和激励措施。

这不是一件容易的事。引入任何新的存储技术是非常困难的,云存储有一个更大的艰难战斗,特别是考虑到世界上一些大公司提供的完善且通常备受推崇的云服务。在分散的网络上实现这些崇高的目标,具有企业级特征比构建集中式云服务困难得多。事实上,它以前从未做过。

Storj的V2网络(2017年推出)迅速扩大规模。我们达到了150PB的容量,超过100,000个全球分布式节点,并且使用率比预期更快。但是,我们没有提供与集中式播放器相当的耐用性和性能。并且V2中的扩展因子为8(即,每存储1GB消耗8GB的总存储量)使得网络难以经济地工作。为确保V3网络具有可持续的企业级,我们采用了不同的方法。我们符合S3标准,扩展系数为2.7,并且具有更好的耐用性,性能和可用性。我们也进行了更多的升级,不仅强调代码和网络增长,还强调网络质量,稳定性和性能。

No.2

资格门槛

如果你听了我们上次的会议,你就知道我们为我们的两个Tardigrade测试版建立了一系列正式的资格认证大门,这已经告诉我们投入生产。通常,您只有一次机会在云存储空间中赢得客户。因此,为了确保我们真正的企业级,我们坚持这些大门。大门是我们必须满足的特定客观标准才能正式进入特定阶段。有了这篇文章,我想详细介绍一下我们的各个阶段以及我们现在的立场。

我们为进入每个主要阶段建立了一套15种认证大门。

您将在下表中找到这些门的子集。在第一列中,我们列出了门。在第二列中,我们列出了我们现在所处的位置。在第三到第五列中,您将看到我们进入Pioneer 1(beta 1),Pioneer 2(beta 2)以及最终Voyager(生产)的大门。绿色的任何项目都已满足。

你会发现我们不仅遇到了所有进入测试阶段的大门,但在很多情况下,我们也达到或超过了我们的β2和生产大门。

No.3

文件耐用性

这可能是最重要的门户。我们的目标是不丢失任何文件。在2.5个月前完成我们上一次主要的alpha发布之后,我们没有丢失单个文件或段(即100%的持久性)。我们的生产目标是99.9999999%(九,九 - 意味着你更有可能赢得彩票或被闪电击中而不是失去Tardigrade的文件)。

我们不仅通过随机下载大量文件来测量耐久性,还通过查看段耐久性来测量耐久性。虽然随机测试是一个样本,但细分市场的耐久性着眼于整个细分群体。

提醒一下,每个文件被分成一个或多个64 MB的段。每个片段(使用Reed Solomon)分为80个片段,其中任何29个片段都可用于重构片段。80个部分中的每个部分位于网络中的不同存储节点上。如果可用件数减少到29以下,则会丢失一段。但是,在此之前很久,我们将通过重新构建所有80件来启动修复过程。理论上,我们永远不应该丢失文件,因为节点具有低相关风险,在不同的硬件,不同的电源,不同的网络,不同的运营商等上运行。

从下图中可以看出,我们不断测量网络中可用于段的可用件数。我们报告每个段的中间件数,件的分布以及具有最少件数的段。这意味着“最不健康”的细分市场从未低于57件,中位数稳定在75左右。与我们的许多指标一样,耐用性应该随着我们向网络添加更多节点而更加广泛节点分布。

细分健康图表(细分必须至少有29件需要重新构建)

No.4

服务可用性

服务可用性衡量卫星的可用性。我们目前在生产卫星上的可用率为99.95%(这意味着整个服务在任何一个月内只能在四分钟内无法使用)。我们的生产目标是99.995%(即,服务应该在任何给定的月份中不可用两分钟,或者每天约四秒钟)。

No.5

细分可检索性

这可以衡量每天下载某个细分受众群的成功次数。我们每分钟测试一个随机选择的片段,并且(到目前为止)看到成功率高于99.93%(即,在第一次尝试中,少于一次尝试中的一次尝试不成功)。这并不意味着文件消失了(耐久性是100%); 这只意味着第二次尝试是必要的。通常,这是因为Satellite不可用或少于30个节点可用于服务(因为它们暂时脱机或因为它们处于最大容量)。当我们达到我们的生产目标时,我们试图将此数字更高,以确保可检索由多个段组成的非常大的文件。随着我们向网络添加更多节点,可检索性也应该得到改善。

No.6

上传效果

我们测量上传10 MB文件所需的时间,然后我们重复此测试100个文件。然后,我们将结果与AWS进行比较,AWS通常被认为是集中式云服务的黄金标准。我们不仅要查看上传的中位时间,还要看长尾性能。在广泛的文件大小和位置范围内,我们可以与AWS相媲美(有时甚至更快)。对于测试版而言,这非常令人鼓舞。而且,我们的分布非常紧张。我们的第95百分位时间比我们的中位数时间慢了.16秒。(即上传的最慢的5个文件几乎与中位数一样快)。这指向权力下放的力量,并且应该变得更好,因为我们添加更多节点并继续添加更接近最终用户的节点(最终,光速成为一个因素)。

上述结果是从弗吉尼亚州(即美国东部)与爱荷华州的卫星(即美国中部)一起上传的。

当我们看到从比利时上传到爱荷华州的卫星时,时代看起来仍然非常好。

注意:我们打算在Beta 2之前发布不同文件大小和不同地理位置的结果。我们也在探索COSBench基准测试。

No.7

下载性能

我们测量下载和重建10 MB文件所需的时间。我们对100个文件重复此测试,然后将结果与AWS进行比较。在广泛的文件大小和位置范围内,我们可与AWS相媲美(有时甚至更快)。我们的中位下载时间是1.69秒。我们对我们的紧密分销感到特别兴奋。我们的第95百分位时间比我们的中位数时间慢了.19秒。(即上传的最慢的5个文件几乎与中位数一样快)。这指向权力下放的力量,并且应该变得更好,因为我们添加更多节点并继续添加更接近最终用户的节点(最终,光速成为一个因素)。

以上结果将与爱荷华州的一颗卫星(即美国中部)一起下载到弗吉尼亚州(即美国东部)的某个地点

当我们看到在爱荷华州与卫星一起下载到比利时的一个地方时,看起来仍然非常好。

注意:我们打算在Beta 2之前发布不同文件大小和不同地理位置的结果。我们也在探索COSBench基准测试。

No.8

经证实的能力

我们的SNO运营商为网络提供了超过8 PB的容量。但是,为了与我们的“信任但验证”方法保持一致,我们倾向于考虑已证明的容量。Storj Labs和我们的合作伙伴都在alpha期间向网络上传了大量测试和生产数据。(超过2 PB的数据到网络。)我们的生产目标是达到6 PB的容量,我们希望大幅超过这个目标。

请注意,虽然我们认为网络容量明显较高,但我们仍然坚持使用这种更加保守且经过验证的数字。这个数字比V2网络低一个数量级,V2网络的峰值容量为150 PB。虽然我们有几个合作伙伴和测试版客户拥有几PB的容量,但我们的目标是逐步增加网络,因此我们一般只有三个月的过剩容量。这有助于我们确保所有节点都能获得经济上有意义的支出。

No.9

验证节点数

这是当前可用的经过审查的节点数。当节点首次加入网络时,存在试用期,在此期间节点必须证明自己(例如,维持一定的正常运行时间和性能水平,通过所有内容审核)。在该审查期间,节点仅接收少量非关键数据。经过审查后,节点可以开始接收更多数据(而不仅仅是测试数据),但必须继续保持正常运行时间和审计要求,以避免取消资格。上表中的审核节点数量(现在超过1,500个节点)不包括任何试用节点,任何临时离线的节点,任何自愿退出网络的节点,以及任何被取消资格的节点(例如由于缺少正常运行时间或审计要求)。我们的生产目标是5,000个节点 - 仍然是V2数量的一小部分。

No.10

Vetted Node Churn

我们当前的节点流失(不包括试用节点)为3.07%。我们的beta 1门是5%,我们的beta 2门是3.0%,所以我们几乎就在那里。我们尚未实现2%的生产目标,但我们已经接近了......我们的系统非常有弹性,可以让任何单个节点(甚至很大比例的节点)流失。但是,性能,经济性和大多数统计数据都会更好,因为我们会降低平均节点流失率。

No.11

其他盖茨

我们有各种各样的大门。其中包括代码质量和测试覆盖范围,用户和存储节点运营商设置成功率,各种功能,支付成功率,峰值网络等。我们还有关于非Storj Labs Tardigrade卫星的启用,并且目标是 在生产之前成为“混沌猴”甚至“混沌大猩猩”的弹性。我们击中Beta 1的所有七个门,并且还打了两个门Beta 2。

No.12

注意事项

到目前为止,我们已经在一个相当小规模的网络上取得了成果,除了我们自己(包括大量的OSPP合作伙伴)之外,还有约75名用户在测试网络。我们在候补名单上有超过11,000名开发人员,包括一些具有非常大数据要求的大客户。随着我们扩大规模,我们当然希望能够遇到一些小问题并遇到意想不到的问题,这就是为什么我们增加了额外的测试周期并且谨慎地提高我们向网络添加新用户和新SNO的速度。然而,迹象看起来非常积极,我们希望在接下来的几个月里完全关闭大部分制动器。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190826A0JBY400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券