专栏首页星汉技术CDH5之时钟偏差问题 原

CDH5之时钟偏差问题 原

一、介绍

主机时钟偏差的问题,是分布式中各个主机之间存在系统时差,或者和ntp服务器的时间不同步造成的。如果集群之中没有配置ntp服务,那么时钟偏差会非常频繁,如下图:

由上图可由看出,这个问题的严重性,如果你配置了邮件预警,那么恭喜你,几分钟之内你的接收邮箱将要爆炸,但是这个问题也不严重,所以很烦人。

要解决这个问题,有两个方法:

  • 其一,修改CDH中主机的ntp偏差值,将这个值变大,增加容错。可见其治标不治本。
  • 其二,增加ntp服务,在集群中配置ntp服务,用来进行集群的时间同步。

二、解决方法

1、修改主机配置

在CDH的web管理页面中,点击主机,选择所有主机,到达主机显示界面。

由于这个配置是针对每个主机的,所以如果你要是跟配置邮件预警一样去Cloudera Management Service界面找的话,你会一无所获。

如下图,进入主机显示界面之后,点击主机名称,进入主机详情页面。

进入主机页面之后,选择配置,在搜索框中输入ntp,就能找到主机时钟偏差的控制项了,根据情况修改就行了,如下图:

这个方法需要修改所有主机的配置,CDH集群中有多少台服务器,就需要修改多少台服务器。 当然,也可以那台服务器报错了,修改那台。

2、配置ntp服务

时钟偏差的问题,从根本上解决,还是要配置ntp服务器,这样就可以从根本上解决问题了。

配置ntp服务器,请参见ntp服务搭建

配置ntp服务器的时候,个人建议,最好配置成本地的,不要去访问公网上提供的ntp服务器,还有,配置之前,将CDH的相关服务提前进行关闭。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • NTP服务搭建 原

    如果是单独安装这个服务,请直接开始即可。如果是为了解决hadoop集群的时针偏差问题,配置ntp服务时,务必先关闭chd的相关服务。

    云飞扬
  • Hadoop问题:DataNode线程不见了

    云飞扬
  • Azkaban Solo Server模式部署

    将solo server模式的安装包,拷贝到自己的规划目录中,然后解压,解压命令如下:

    云飞扬
  • ntp服务配置

    在linux系统中,为了避免主机时间因为长时间运行下所导致的时间偏差,进行时间同步(synchronize)的工作是非常必要的。linux系统下,一般使用nt...

    用户1173509
  • 给uglify配置drop_console来避免IE8及以下版本console未定义

    如果开发的时候习惯性用console.log来协助定位问题,就需要发布工具来规避忘了删console导致IE报错。

    libo1106
  • 目标检测知识集锦(一)

    目标识别算法是所有目标检测算法的核心。 目标识别算法是指在一张给定的图像中识别出给定的物体。将整张图像作为输入,然后输出类别的标签并给出图像中出现物体的概率。

    种花家的奋斗兔
  • 通过重写模板生成的少量的自然语言(CS.CL)

    谷歌Assistant、Alexa和Siri等虚拟助手能够让用户在网上使用自然语言与大量服务和APIs交互。响应生成模块将策略模块生成的动作转换为自然语言语句。...

    用户7236395
  • 要强大的“黑匣子”,还是“可解释”的机器学习?| 清华AI Time激辩

    要不要用准确性换可解释性?这可能是许多资源有限的创业公司,在技术研发中面临的重要问题,同时也是机器学习可解释性研究中的重要议题。

    大数据文摘
  • 要强大的“黑匣子”,还是“可解释”的机器学习?| 清华AI Time激辩

    要不要用准确性换可解释性?这可能是许多资源有限的创业公司,在技术研发中面临的重要问题,同时也是机器学习可解释性研究中的重要议题。

    数据派THU
  • 要强大的“黑匣子”,还是“可解释”的机器学习?| 清华AI Time激辩

    要不要用准确性换可解释性?这可能是许多资源有限的创业公司,在技术研发中面临的重要问题,同时也是机器学习可解释性研究中的重要议题。

    统计学家

扫码关注云+社区

领取腾讯云代金券