由中国信息通信研究院、工信部新闻宣传中心联合主办,开放数据中心委员会(ODCC)、《人民邮电》报、风向Talks联合组织的“2021数据中心高质量发展大会”,于5月13日在国家会议中心召开,在2021年世界电信和信息社会日即将来临之际,共襄数据中心行业高质量发展。
腾讯云存储专家工程师-程力老师,将参与发展大会的“数据中心存储”分论坛,并发表“存算分离架构下的数据湖架构”专题演讲。
随着网络技术不断发展,存算一体的架构因其吞吐速度低、维护成本高、网络带宽利用率不足等原因,导致业务效率低下,已不再适用,存算分离架构应运而生。存算分离架构解耦计算和存储负载,使系统的资源利用率提高,可以满足业务快速增长的需求。
但是,业务的快速增长又带来了业务多样性问题,业务间数据共享变得困难,而数据湖是一个集中式存储池,支持多种数据源,无缝对接各种计算分析和机器学习平台,实现数据处理与分析,打破数据孤岛。
腾讯云的数据湖方案中针对存算分离架构带来的性能问题和数据本地性的减弱,设计构建了新一代分布式计算端缓存层。该缓存不仅兼容 Hadoop 和对象语义,同时具备了结构化元数据管理的特性,还充分利用了对象存储COS的弹性伸缩和低成本的优势。本次专题演讲,将就腾讯云的数据库实践方案,进行对象存储COS私有化场景下的架构设计、如何解决计算数据本地性等问题的探索。
扫码下方海报中的二维码,可了解更多大会信息。
云+社区「腾讯云存储团队」主页,涵盖了腾讯云存储团队最新动态、团队信息、产品矩阵、技术文档、视频教程等,欢迎关注或留言,给出您的宝贵建议。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。