首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    zookeeper入门(1)「建议收藏」

    维护配置信息 如java编程经常遇到配置项,比如数据路连接的url,password等等。通常这些配置文件需要放在服务器上,但需要更改配置文件的时候需要去服务器上更改。但是随着分布式系统的兴起,由于许多服务器都有配置文件,一台台的更改配置文件相当麻烦,因此需要一种服务,能够高效且可靠的完成配置项的更改等操作,并保证各配置项在每台服务器上的一致性。所以有必要将zookeeper当成所有集群的一个配置中心,当zookeeper中过的配置发生变华的时候,会通知集群中的服务器重新获取最新的配置信息。 分布式锁 分布式环境中,一个服务可能部署在多台机器上,一个调用也可能设计多台机器多个进程,zookeeper提供了一种临时有序节点机制,可以生成分布式锁,进而保证分布式环境下的数据一致性。 集群管理 一个集群中的某些服务器宕机或者加入到该集群时,zookeeper会将这些消息通知给集群中的其他服务器,以调整存储和计算等任务的分配和执行等,此外zookeeper还会对故障的服务器做出诊断并尝试修复 生成分布式ID 在过去的单表单库型系统中,通常可以使用数据库字段自带的AUTO_INCREMENT属性来属性来唯一标识一条记录。此时我们就可以用zookeeper在分布式环境下生成全局唯一ID。做法如下:每次要生成一个新的id时,创建一个持久顺序节点,创建操作返回的节点序号,然后把比自己节点小的删除即可。

    02

    Kafka OffsetMonitor:监控消费者和延迟的队列

    一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。 KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置(偏移量)。 你可以查看当前的消费者组,每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否 很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的producer和consumer,你完全知道你的系统将 会发生什么。 这个web管理平台保留的partition offset和consumer滞后的历史数据(具体数据保存多少天我们可以在启动的时候配 置),所以你可以很轻易了解这几天consumer消费情况。 KafkaOffsetMonitor这款软件是用Scala代码编写的,消息等历史数据是保存在名为offsetapp.db数据库文件中,该数据 库是SQLLite文件,非常的轻量级。虽然我们可以在启动KafkaOffsetMonitor程序的时候指定数据更新的频率和数据保存 的时间,但是不建议更新很频繁,或者保存大量的数据,因为在KafkaOffsetMonitor图形展示的时候会出现图像展示过 慢,或者是直接导致内存溢出了。 所有的关于消息的偏移量、kafka集群的数量等信息都是从Zookeeper中获取到的,日志大小是通过计算得到的。 消费者组列表

    017
    领券