分布式资源管理

DRM(分布式资源管理)

大型的分布式系统中存在很多的配置文件,分布式资源管理解决了配置文件同步更新的问题,不仅仅是配置文件,此技术还可以支持缓存数据的同步一致,下面将简单介绍一下基于消息机制的分布式资源管理系统。

01

传统的配置同步问题

配置文件作为静态的config.xml文件存储在各个节点上,不可动态改变,修改配置需要重新部署应用,在大型实时系统中很不友好不易扩展。

02

缓存+单机DB

将配置信息存储在缓存中,当修改了缓存后可以将信息同步到数据库中,每一次更新都要查询数据库不太现实。

03

定时轮询技术

一台机器修改了数据库的配置信息后,其他机器定时轮询进行更新,轮询的时间设置是个关键,时间设置长了会导致数据长时间不同步,时间设置的短了会导致频繁访问数据库造成资源的浪费,所以该方法也不适合对于读多写少的分布式系统。

04

Drm Version1

基于配置中心的发布-订阅模型(publish-subscribe)Drm服务器是发布者,应用服务器是订阅者,Drm为应用的每一个配置项生成一个唯一标识的字符串,注册到配置中心,配置中实时将值推送给订阅者。但是这些配置值如果全部存在配置中心内存中会占用很大的空间因此也具有一定的缺点。

05

DRM Version2

配置发生更变后通知DrmServer,相应的配置值直接写入到DrmData缓存中,然后将指令发布到配置中心中,配置中心不存储数据而是将指令push到应用服务器端,应用服务器在接到推送指令后向缓存中pull相应的指令。

06

总结

DRM主要用于有读多写少任务的分布式系统中,其保证了最终一致性,且必须由后台去调用,如果报漏给前端,会造成大量调用,给配置中心带来压力。其原理是基于发布订阅模型和消息的数据同步,应用的场景不仅在配置文件中,例如:集群中各个节点初始化后需要将将数据库的内容缓存到本机,但是如果对数据库内容进行了改变,则需要有机制来通知各节点进行缓存的更新,drm在这种场景下可以很好的发挥作用。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户画像

3.2.6工作集

工作集(或驻留集)是指在某段时间间隔内,进程要访问的页面集合。经常被使用的页面需要在工作集中,而长时间不被使用的页面要从工作集中被丢弃。为了防止系统出现抖动现象...

581
来自专栏流浪猫的golang

mongodb 学习随笔 及golang 连接mongoDB

Mogondb 不支持事务。所有有事务要求的需求慎用,比如银行的转账操作慎用,转1个亿美金,因为网络,电力的故障导致交易没有完成,不能回滚,交易无法撤回。所有慎...

671
来自专栏开源优测

性能测试必备监控技能windows篇13

前言 在手头没有专门的第三方监控时,该怎么监控服务指标呢?本篇就windows下监控进行分享,也是我们在进行性能测试时,必须掌握的。下面我们就windows下常...

3385
来自专栏眯眯眼猫头鹰的小树杈

猫头鹰的深夜翻译:持久化容器存储

临时性存储是容器的一个很大的买点。“根据一个镜像启动容器,随意变更,然后停止变更重启一个容器。你看,一个全新的文件系统又诞生了。”

945
来自专栏我是攻城师

Spark Streaming如何使用checkpoint容错

3787
来自专栏阿杜的世界

Java Web技术经验总结(十一)

832
来自专栏容器云生态

linux系统性能分析对策

解决系统性能问题的一般思路 下面从影响操作系统性能的因素、性能优化工具、系统性能评价标准三个方面介绍优化Linux的一般思路和方法。 影响Linux性能的...

1949
来自专栏熊训德的专栏

Hbase Replicaition 在腾讯云中应用概述

Hbase 的 Repliation 是通过 Zookeeper 的协助,从 Master 集群异步往 Slave 集群写 WAL 实现的。可以实现典型的 Ma...

5245
来自专栏进击的程序猿

深入浅出Google File System

GFS,顾名思义就是谷歌文件系统,和Big Table,Map Reduce并称谷歌三驾马车。 大部分谷歌服务的基石(Search, Cloud Drive, ...

674
来自专栏Albert陈凯

Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署

Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署 参考:oozie\package-info.java 项目进度 模块名称 完成...

3459

扫码关注云+社区