Hadoop 最佳实践

最近更新时间:2019-08-02 11:48:05

Hadoop 部分包含了分布式文件系统 HDFS、资源调度框架 YARN 以及迭代式计算框架 MR,腾讯的 Hadoop 版本集成了腾讯云对象存储,让您以 hadoop fs 命令行的方式使用对象存储从而实现计算存储分离,这里的最佳实践包含如下内容。

  1. HDFS
    无论您是 HA 集群还是非 HA 集群,请务必记住不能格式化 namenode,否则会造成数据丢失,如果是您格式化 namenode 造成的数据丢失腾讯云不承担任何责任。

  2. YARN
    腾讯云默认开启的是公平调度,您可以根据您的实际需要修改调度器。