前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >拥抱云原生,数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

拥抱云原生,数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

作者头像
云存储
发布2021-08-18 20:37:38
5630
发布2021-08-18 20:37:38
举报
文章被收录于专栏:腾讯云存储

01 ​前言

数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储(Cloud Object Storage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,加速海量数据分析、机器学习、人工智能等业务访问存储的性能。

近年来,云原生概念的兴起进一步加速了计算资源的弹性化。腾讯云容器服务(Tencent Kubernetes Engine,TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性。

越来越多的大数据业务架构中采用了容器服务,减少了集群的资源冗余情况,有效降低了大数据业务成本

02 GooseFS助力Fluid数据缓存实现

Fluid是CNCF基金会旗下云原生环境中数据密集型应用的高效支撑平台。云原生环境下,计算存储分离架构提升系统弹性的同时,给大数据/AI等数据密集型应用带来了计算性能和管理效率方面的挑战。

现有云原生编排框架运行此类应用时,存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。

近期 Fluid 0.6 版本正式发布,在该版本中,GooseFS 作为新增的缓存引擎正式亮相,同时支持缓存引擎高可用并新增公有云缓存引擎

为了满足不同环境用户对缓存系统的需求,Fluid 提供了可插拔的分布式缓存 Runtime 接入框架。

在 Fluid v0.6 中,来自腾讯云的社区贡献者基于该框架开发了 GooseFS Runtime,新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 GooseFS Runtime 使用 GooseFS 缓存能力访问和缓存腾讯云 COS 中的文件,可以实现数倍加速业务访问。

腾讯云容器服务 TKE和EKS 为快速部署 GooseFS 提供了便捷易用的途径,用户只需要在应用市场上选择 GooseFS 应用,为对应集群快速创建并部署应用即可在 Fluid 上使用和部署 GooseFS Runtime 。

GooseFS 作为分布式文件系统,采用了 Master-Worker 架构,提供了高可用的存储服务。在分布式文件系统中,高可用性包含两个方面:一是整个文件系统的可用性,二是数据的完整和一致性

Master 作为全局元数据管理组件,通过 Master High-Availability 保证文件系统的高可用;通过 Raft 算法实现选主、状态机同步等操作保证日志和元数据的完整和一致性。

在 Fluid v0.6中,来自腾讯云的社区贡献者设计实现高可用运行时功能,用户只需要指定期望 master 个数,如果个数为大于1的奇数,将自动使用高可用模式。

腾讯云对象存储和容器团队为用户提供了丰富的文档支持,您可以参照文档快速入门并在容器平台上运行 GooseFS,运行您的大数据或者AI等数据密集型业务。

03 结语

数据湖加速器 GooseFS加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性。减少集群的资源冗余情况,有效降低了大数据业务成本。

将来我们也会不忘初心,为您提供更安全的云服务!关于了解更多请前往:https://cloud.tencent.com/document/product/436/59358

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 01 ​前言
  • 02 GooseFS助力Fluid数据缓存实现
  • 03 结语
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档