前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

作者头像
梅花
发布2020-09-28 10:20:06
3150
发布2020-09-28 10:20:06
举报

环境问题:

    出现Temporary failure in name resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到,

    那就在hadoop的slaves 配置文件中 重新写一下主机名

    如果还是没有成功启动,就将slaves 文件删除,然后重新创建,可能原因就是因为在windows 环境下打开编辑

    文本中给添加了字符

集群基准测试(实际环境中必须的):

      集群搭建完成以后

          1. 基本测试:(创建目录、上传文件、Yarn运行程序、看看服务是否启动、是否可能、简单应用、)

              hdfs:读写操作 上传文件、读取内容

              yarn :运行一个程序 将mapreduce程序运行在yarn上

           2.基准测试 :

              测试集群性能

                hdfs:写数据、读数据

            监控集群:

                Cloudera

                 Cloudera Manager

                      * 部署 安装集群

                      * 监控集群

                      * 配置 同步集群

                      * 预警

             (现在学习的搭建方式是手工搭建,如果机器多了,这种手工搭建的方式,就不适用了)

              以后都是图形界面的工具化搭建方式!

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-09-30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档