分布式资源管理

DRM(分布式资源管理)

大型的分布式系统中存在很多的配置文件,分布式资源管理解决了配置文件同步更新的问题,不仅仅是配置文件,此技术还可以支持缓存数据的同步一致,下面将简单介绍一下基于消息机制的分布式资源管理系统。

01

传统的配置同步问题

配置文件作为静态的config.xml文件存储在各个节点上,不可动态改变,修改配置需要重新部署应用,在大型实时系统中很不友好不易扩展。

02

缓存+单机DB

将配置信息存储在缓存中,当修改了缓存后可以将信息同步到数据库中,每一次更新都要查询数据库不太现实。

03

定时轮询技术

一台机器修改了数据库的配置信息后,其他机器定时轮询进行更新,轮询的时间设置是个关键,时间设置长了会导致数据长时间不同步,时间设置的短了会导致频繁访问数据库造成资源的浪费,所以该方法也不适合对于读多写少的分布式系统。

04

Drm Version1

基于配置中心的发布-订阅模型(publish-subscribe)Drm服务器是发布者,应用服务器是订阅者,Drm为应用的每一个配置项生成一个唯一标识的字符串,注册到配置中心,配置中实时将值推送给订阅者。但是这些配置值如果全部存在配置中心内存中会占用很大的空间因此也具有一定的缺点。

05

DRM Version2

配置发生更变后通知DrmServer,相应的配置值直接写入到DrmData缓存中,然后将指令发布到配置中心中,配置中心不存储数据而是将指令push到应用服务器端,应用服务器在接到推送指令后向缓存中pull相应的指令。

06

总结

DRM主要用于有读多写少任务的分布式系统中,其保证了最终一致性,且必须由后台去调用,如果报漏给前端,会造成大量调用,给配置中心带来压力。其原理是基于发布订阅模型和消息的数据同步,应用的场景不仅在配置文件中,例如:集群中各个节点初始化后需要将将数据库的内容缓存到本机,但是如果对数据库内容进行了改变,则需要有机制来通知各节点进行缓存的更新,drm在这种场景下可以很好的发挥作用。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏KaliArch

Kafka-manager部署

1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。

1875
来自专栏CSDN技术头条

ZooKeeper故障节点替换过程详解

一、环境描述 我的生产环境ZooKeeper 版本3.4.6,5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HB...

2865
来自专栏腾讯开源的专栏

TARS为SpringCloud提供高性能的RPC能力

8315
来自专栏运维小白

25.1 Docker简介

Docker介绍 Docker流行的特性:在于快速部署交覆 比如在企业中做开发,还是在线上跑一些服务,跑一些业务,都需要去部署很多的环境,如lnmp,mysq...

3507
来自专栏Danny的专栏

【Hadoop学习笔记】——HDFS

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

642
来自专栏苍云横渡学习笔记

【Docker学习笔记(一)】简介、核心概念、安装以及常用命令

Docker 是一个虚拟环境容器,可以将你的开发环境、代码、配置文件等一并打包到这个容器中,并发布和应用到任意平台中

491
来自专栏容器化

一个典型的kubernetes工作流程 - kubernetes

1852
来自专栏编程坑太多

『中级篇』RoutingMesh之Ingress负载均衡(48)

PS:负载均衡解决了单一入口负载到多个容器上问题, 但是由于容器调度之后可能落到多个机器上, 假如某些主机上面没有工作的容器,而对外服务时候又希望服务可以被访问...

502
来自专栏Spark学习技巧

Kafka单节点至集群的安装部署及注意事项

kafka简介 kafka的重要作用: 发布和订阅 像消息传递系统一样读写数据流。 处理 编写实时响应事件的可伸缩流处理应用程序 存储系统 将数据流安全地存储...

2467
来自专栏腾讯架构师的专栏

从 10 Gb 到 40 Gb,从百万级到千万级转发,打造高性能 TGW

TGW 是一套实现多网接入的负载均衡系统,为腾讯业务提供着外网接入服务。随着 TGW 影响力的提升,越来越多的业务接入 TGW,对于 TGW 的整体负载能力要求...

9710

扫描关注云+社区