分布式存储绝不简单——UCan下午茶-武汉站纪实

说起分布式存储,大家可能都会觉得这是一个老生常谈的问题,虽然分布式存储并不是一个年轻的技术,许多开发者也对分布式存储耳熟能详,但分布式存储却并不是像想象中的那种简单的技术,它是一个涉及到文件系统、存储系统、网络、算法、管理等多方面技术的汇聚,因此,要想真正的掌握分布式存储技术,绝不是一件轻松的事。

而在11月10日举办的UCan下午茶武汉站的活动中,四位分布式存储的专家为冒雨到场的近百位开发者朋友奉上了一场分布式存储的技术盛宴,为这个斜风细雨、略显凉意的深秋下午增添了些许知识的温暖。UCloud分布式文件系统架构解析UCloud文件存储研发工程师邓瑾首先为到场的观众带来了UCloud分布式文件系统架构的解析。

接着邓瑾介绍了UFS的发展历程,他表示,UFS是吸收了基于开源软件GlusterFS的原型系统之后设计的一套完全自主研发、面向公有云业务设计,支持多类型主机、标准协议NFSv3/v4(SMBiscoming)的高可用、高可靠的文件存储服务。邓瑾还简单介绍了UFS1.0的整体架构、索引层、数据层以及UFS1.0的局限。

李明宇接着介绍了典型“存储区块链”中的数据分布算法,他表示,存储区块链是分布式存储(P2P存储)+区块链,并通过Token激励,鼓励大家贡献存储资源,参与构建一个全世界范围的分布式存储系统,其代表项目是Sia、Storj以及IPFS+filecoin,李明宇还简单介绍了Chord和Kademlia算法。

而要实现这样的目标,UDisk对以下几个方面进行优化:首先,对IO路径进行了优化,通过去掉老架构中的IO接入层Proxy,减少了一次IO转发,以及IO数据的拷贝。写IO发给主副本,由主副本同步两份到从副本,读IO直用从主副本读一份就可以,可以看到读IO相比老机构减少了一层,读IO的延时降低了0.2-1ms,写IO的尾部延时有效降低。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181114A18ZVJ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券